Czyli przewodnik po AI dla ludzi, którzy muszą podejmować decyzje, ale niekoniecznie chcą udawać, że „agentic workflow orchestration” brzmi dla nich naturalnie.
W firmach z AI dzieje się teraz coś bardzo ciekawego. Wszyscy czują, że trzeba działać. I prawie wszyscy czują, że nie do końca wiedzą jak. A część osób na spotkaniach rozumie 60% pojęć, ale kiwa głową na 100%. I nie oceniam; to jest racjonalna strategia przetrwania.
Problem w tym, że w AI język ma znaczenie. Jeśli firma nie rozumie pojęć, źle zadaje pytania. Jeśli źle zadaje pytania, źle kupuje narzędzia, źle ocenia ryzyko i źle projektuje procesy.
Dlatego, droga czytelniczko, drogi czytelniku, przychodzę do Ciebie z tym tekstem. Być może spotkamy się biznesowo przy rozmowie o AI w SAP, bo tym zajmuję się w organizacji. Natomiast ten słowniczek nie jest dziś o tym; ma zrobić jedną rzecz: dać wspólny język do rozmowy o AI niezależnie od tego, czy mówimy o współpracy z SAP, czy nie.
Taki, który pozwala zapytać dostawcę, IT, security, compliance albo zarząd:
„Okej, ale co to dokładnie znaczy dla danych, procesu, odpowiedzialności i wartości biznesowej?”
Ze względu na obszerność tematu podzieliłam go na trzy części:
- Część 1: podstawy AI, modele, prompty, halucynacje i to, jak te systemy w ogóle działają.
- Część 2: RAG, agenci, integracje, bezpieczeństwo, governance i wdrażanie AI w procesach.
- Część 3: SAP Business AI – Joule, agenci, platforma, dane i SAP-owy model myślenia o AI w biznesie.
Nie jest to lista do wykucia. Traktuj ten słowniczek jak bufet: bierzesz to, czego akurat potrzebujesz. W tej pierwszej części, obok podstaw, znajdziesz też kilka nieco filozoficznych pojęć związanych z debatą o tym, jak modele się zachowują i czym (nie) jest ich „świadomość”.
Obecnie czytasz: część 1/3. Linki do kolejnych znajdziesz tu: [link do części 2] [link do części 3]
Zagadnienia w części 1 – 24 pojęcia:
1. AI, czyli sztuczna inteligencja 2. Machine learning (ML) 3. Deep learning 4. Natural Language Processing (NLP) 5. Foundation model 6. Large Language Model (LLM) 7. GPT 8. Transformer 9. Token 10. Pretraining 11. Post-training 12. Mixture of Experts (MoE) 13. Reasoning i test-time compute 14. Prompt 15. Temperatura 16. Multimodal AI 17. Generative AI 18. Hallucination / halucynacje 19. Inteligencja vs świadomość 20. Alignment 21. Corrigibility 22. Reward hacking 23. Benchmark 24. Evals
1. AI, czyli sztuczna inteligencja
AI to szeroka kategoria systemów, które wykonują zadania kojarzone z inteligencją: rozpoznają wzorce, klasyfikują dane, przewidują wyniki, generują treści, analizują język, obraz, dźwięk albo wspierają decyzje.
OECD proponuje nam ciekawą definicję, która mówi o tym, że AI to system maszynowy, który dla jawnych lub ukrytych celów wnioskuje z danych wejściowych, jak wygenerować wyniki – np. predykcje, treści, rekomendacje albo decyzje – które mogą wpływać na środowiska fizyczne lub cyfrowe. Systemy AI mogą różnić się poziomem autonomii i adaptacyjności. [oecd.org]
Po ludzku: AI to nie „komputer, który myśli jak człowiek”. To raczej system, który uczy się wzorców, uogólnia, przewiduje i działa w sposób, którego nie da się łatwo rozpisać ręcznie jako klasyczny zestaw reguł. Pod AI mieszczą się m.in. machine learning, modele predykcyjne, computer vision, modele językowe, generative AI, systemy rekomendacyjne i agenci. Dlatego zdanie „wdrażamy AI” samo w sobie prawie nic nie znaczy. To trochę jak powiedzieć: „wdrażamy IT”.
Najprościej: AI to parasolowe pojęcie na systemy, które potrafią analizować dane, rozpoznawać wzorce, generować wyniki albo wspierać decyzje.
2. Machine learning (ML)
Machine learning, czyli uczenie maszynowe, to podejście, w którym system nie dostaje pełnej instrukcji „jeśli A, to B”, tylko uczy się zależności z danych.
Klasyczny system regułowy działa tak:
jeśli klient ma zaległość większą niż 30 dni, oznacz go jako ryzykownego.
System wykorzystujący machine learning może nauczyć się z historii, że ryzyko zależy nie tylko od liczby dni zaległości, ale też od branży, sezonowości, historii płatności, wartości zamówienia, kraju, typu klienta i wielu innych sygnałów.
Najprościej: machine learning to uczenie systemu na danych zamiast ręcznego programowania każdej reguły.
3. Deep learning
Deep learning to rodzaj machine learningu oparty na dużych sieciach neuronowych. Jest szczególnie skuteczny tam, gdzie dane są złożone: w obrazach, języku, mowie, wideo, kodzie i multimodalności. To deep learning stoi za dużą częścią współczesnych modeli generatywnych, systemów rozpoznawania obrazów, transkrypcji mowy czy tłumaczeń.
„Deep” nie oznacza tutaj, że system ma głębokie przemyślenia o sensie życia. Chodzi o wiele warstw matematycznych przekształceń, które pozwalają modelowi uczyć się coraz bardziej abstrakcyjnych reprezentacji.
Najprościej: deep learning to uczenie maszynowe na dużych sieciach neuronowych, szczególnie dobre w pracy z językiem, obrazem, dźwiękiem i złożonymi wzorcami.
4. Natural Language Processing (NLP)
Natural Language Processing (NLP), czyli przetwarzanie języka naturalnego to obszar zajmujący się pracą z językiem naturalnym (czyli językiem, którym posługują się ludzie –w mowie i piśmie): rozumieniem, klasyfikowaniem, tłumaczeniem, streszczaniem czy generowaniem tekstu.
W praktyce NLP jest dziś jedną z najważniejszych części współczesnej AI, zwłaszcza w kontekście modeli językowych (LLM).
Biznesowo: wiele zastosowań AI w firmach to w istocie praca z tekstem – maile, dokumenty, zgłoszenia, umowy, notatki, transkrypcje czy zapytania klientów.
Najprościej: NLP to technologie, które pozwalają komputerom pracować z językiem ludzi.
5. Foundation model
Foundation model to duży model bazowy trenowany na ogromnych zbiorach danych, który można potem dostosować do wielu różnych zadań. Przykłady takich modeli albo rodzin modeli to GPT, Claude, Gemini, Llama, Qwen, Mistral czy DeepSeek.
Foundation model nie jest jeszcze gotową aplikacją biznesową. To raczej silnik bazowy, na którym można budować różne rozwiązania: chatboty, asystentów, narzędzia do analizy dokumentów, generatory kodu, systemy klasyfikacji, agentów albo funkcje wbudowane w aplikacje.
Najprościej: foundation model to silnik bazowy AI. Sama obecność silnika nie mówi jeszcze, czy masz samochód służbowy, tira czy kosiarkę.
6. Large Language Model (LLM)
LLM, czyli Large Language Model, to duży model językowy. Jest to rodzaj foundation modelu wyspecjalizowany w pracy z językiem. LLM uczy się wzorców w ogromnych ilościach tekstu i generuje odpowiedzi, przewidując kolejne fragmenty wypowiedzi. Typowo potrafi streszczać, tłumaczyć, pisać kod, analizować dokumenty, klasyfikować, porównywać i odpowiadać na pytania.
W praktyce często mówimy „LLM” na szeroką gamę modeli, choć precyzyjnie nie każdy nowoczesny model AI jest wyłącznie modelem językowym. Coraz częściej modele są multimodalne, czyli pracują nie tylko z tekstem, ale też z obrazami, audio, wideo, dokumentami czy kodem.
Warto też rozróżnić model od aplikacji (patrz: silnik vs. auto powyżej). Model to np. GPT, Claude, Gemini czy Llama. Aplikacja to np. ChatGPT, Claude.ai albo inne narzędzie wykorzystujące model oraz dodatkowe mechanizmy: interfejs rozmowy, obsługę plików, wyszukiwanie, generowanie obrazów, konektory, pamięć, narzędzia, polityki bezpieczeństwa i administrację.
Biznesowo: kiedy ktoś mówi „wdrażamy ChatGPT”, warto dopytać, czy chodzi o aplikację dla użytkowników, model przez API, prywatnego asystenta, integrację z dokumentami czy agenta z dostępem do systemów. To są różne scenariusze i różne ryzyka.
Najprościej: LLM to model AI wyspecjalizowany w rozumieniu i generowaniu języka.
7. GPT
GPT to rodzina modeli od OpenAI oraz skrót od Generative Pre-trained Transformer.
Czyli:
- Generative – generuje treści.
- Pre-trained – jest wcześniej trenowany na dużych zbiorach danych.
- Transformer – wykorzystuje architekturę transformer.
Warto pamiętać, że „GPT” nie oznacza po prostu „każde AI”. To konkretna nazwa związana z określoną rodziną modeli i architekturą. W języku potocznym często używa się jej szerzej, trochę jak kiedyś „wygooglować” znaczyło „wyszukać w internecie”, ale biznesowo warto być precyzyjnym.
Najprościej: GPT to rodzina modeli generatywnych opartych na architekturze transformer.
8. Transformer
Transformer to jedna z najważniejszych architektur współczesnej AI. Został opisany w artykule „Attention Is All You Need” z 2017 roku i opiera się na mechanizmie attention, czyli sposobie ważenia, które fragmenty kontekstu są istotne w danym momencie.
To właśnie transformer stoi za większością dzisiejszych dużych modeli językowych. Pozwala modelom pracować z kontekstem, analizować zależności między fragmentami tekstu i generować spójne odpowiedzi.
Po ludzku: model uczy się, które elementy „odnoszą się do siebie”.
W zdaniu:
„Jan odłożył laptopa, bo bateria była rozładowana”
mechanizm attention pomaga ustalić, że „bateria” jest powiązana raczej z laptopem niż z Janem.
Najprościej: transformer to architektura, która pozwala modelom AI pracować z kontekstem i zależnościami między elementami danych.
9. Token
Modele językowe nie operują dokładnie na słowach. Dzielą tekst na tokeny, czyli kawałki słów, znaki, fragmenty kodu, a w modelach multimodalnych czasem także reprezentacje obrazu lub audio. Model przewiduje kolejne tokeny na podstawie kontekstu.
Przykład: słowo „nieprawdopodobny” może być dla modelu jednym tokenem, kilkoma tokenami albo fragmentem większego układu, zależnie od tokenizera.
Biznesowo: tokeny wpływają na koszt, szybkość działania, długość kontekstu i limity dokumentów. Więcej kontekstu nie zawsze znaczy lepiej. Czasem znaczy: drożej, wolniej i bardziej chaotycznie.
Najprościej: token to fragment tekstu lub danych, na którym operuje model.
10. Pretraining
Pretraining to etap bazowego treningu modelu.
W tym etapie model uczy się wzorców z ogromnych zbiorów danych: tekstu, kodu, obrazów, audio, dokumentów albo innych typów danych. W przypadku LLM-ów główne zadanie często polega na przewidywaniu następnego tokenu. Ale efekt jest większy niż tylko „zgadywanie kolejnego słowa”. W trakcie pretrainingu model uczy się gramatyki, stylu, wzorców faktów, kodu, struktur pojęciowych, a częściowo także rozumowania i relacji między pojęciami.
Najprościej: pretraining to bazowy trening modelu na dużych danych, dzięki któremu model zdobywa ogólne zdolności.
11. Post-training
Post-training to etap po bazowym treningu, w którym model jest dostrajany do tego, żeby lepiej odpowiadał na polecenia, był bardziej użyteczny, bezpieczniejszy i bardziej zgodny z oczekiwanym zachowaniem.
Tu wchodzą m.in.:
- instruction tuning, czyli nauka odpowiadania na instrukcje,
- RLHF, czyli reinforcement learning from human feedback,
- RLAIF, czyli reinforcement learning from AI feedback,
- Constitutional AI, czyli metoda opracowana przez Anthropic, w której model uczy się poprawiać swoje odpowiedzi według zestawu zasad i z wykorzystaniem informacji zwrotnej generowanej przez AI.
Po ludzku: pretraining daje modelowi ogólną wiedzę, a post-training próbuje zrobić z niego użytecznego asystenta, który rozumie polecenia, trzyma format i nie odpowiada na wszystko bez refleksji.
Biznesowo: dwa modele o podobnej bazowej architekturze mogą zachowywać się bardzo różnie, jeśli przeszły inne post-trainingi. Jeden będzie bardziej kreatywny, drugi bardziej ostrożny, trzeci lepszy w kodzie, czwarty bardziej skłonny do odmowy.
Najprościej: post-training to dostrajanie modelu po treningu bazowym, żeby lepiej działał jako praktyczne narzędzie.
12. Mixture of Experts (MoE)
Mixture of Experts, czyli MoE, to architektura, w której model ma wiele „ekspertów”, ale przy danym zapytaniu aktywuje tylko część z nich. Dzięki temu model może mieć ogromną całkowitą liczbę parametrów, ale koszt pojedynczego zapytania jest niższy, bo nie wszystkie części modelu pracują naraz.
Po ludzku: zamiast wołać całą firmę na każde pytanie, system wybiera kilka osób, które akurat najlepiej pasują do zadania. Teoretycznie brzmi rozsądnie. W praktyce dużo zależy od tego, czy system dobrze wybiera tych ekspertów.
Biznesowo: MoE może pozwalać na większą skalę i lepszą efektywność kosztową, ale dla użytkownika końcowego ważniejsze jest zwykle nie to, ile ekspertów model ma w środku, tylko czy wynik jest dobry, stabilny i opłacalny.
Najprościej: MoE to architektura, w której model uruchamia tylko wybrane części dopasowane do danego zadania.
13. Reasoning i test-time compute
Reasoning to zdolność modelu do wykonywania bardziej złożonego rozumowania: analizowania problemu, sprawdzania hipotez, planowania kroków i dochodzenia do odpowiedzi w sposób bardziej uporządkowany niż szybkie generowanie pierwszej sensownie brzmiącej odpowiedzi.
Test-time compute oznacza ilość pracy, jaką model wykonuje podczas odpowiadania. Model może „pomyśleć dłużej”, przetestować kilka ścieżek, uruchomić narzędzia, sprawdzić wynik i dopiero potem odpowiedzieć.
Coraz częściej lepsze wyniki modeli nie wynikają tylko z tego, że modele są większe, ale z tego, że potrafią wykonać więcej pracy podczas odpowiadania. To dzieje się w czasie inferencji, czyli wtedy, gdy już wytrenowany model odpowiada na konkretne zapytanie. Taki tryb może poprawiać jakość odpowiedzi, ale zwykle zwiększa czas i koszt działania.
Biznesowo: model do prostego streszczenia maila nie musi „myśleć” jak komisja śledcza. Ale przy analizie ryzyka, kodu, danych finansowych czy scenariuszy decyzyjnych czasem warto zapłacić za wolniejszy, dokładniejszy tryb pracy.
Najprościej: reasoning to bardziej uporządkowane rozumowanie modelu, a test-time compute to dodatkowy wysiłek obliczeniowy wykonywany podczas odpowiedzi.
14. Prompt
Prompt to instrukcja, pytanie albo kontekst przekazany modelowi.
Może być prosty:
„Podsumuj ten tekst.”
Albo bardziej złożony:
„Jesteś ekspertem ds. compliance. Przeanalizuj tę procedurę, wskaż ryzyka i nie wychodź poza informacje ze źródła.”
Prompt może zawierać pytanie, dane, rolę, format odpowiedzi, ograniczenia, przykłady, dokumenty albo wskazówki dotyczące stylu.
Biznesowo: prompt to dane wejściowe. Jeśli pracownik wkleja do promptu umowę, kod, dane klienta, dane HR albo wynagrodzenia, firma przetwarza te informacje w systemie AI. Dlatego promptowanie nie jest tylko „pisaniem lepszych poleceń”. To także kwestia bezpieczeństwa danych, zgodności, prywatności i kontroli procesu.
Najprościej: prompt to to, co przekazujesz modelowi, żeby wykonał zadanie.
15. Temperatura
Temperatura to parametr wpływający na przewidywalność i różnorodność odpowiedzi modelu.
- Niska temperatura = bardziej przewidywalne, stabilne odpowiedzi.
- Wysoka temperatura = więcej różnorodności, kreatywności i niespodzianek.
Biznesowo: nie używaj tego samego trybu AI do interpretacji regulacji i wymyślania nazwy eventu firmowego. Jedno wymaga precyzji, drugie kontrolowanej fantazji.
Wysoka temperatura może być przydatna przy burzy mózgów, namingach, konceptach kampanii albo wariantach tekstów. Niska temperatura lepiej pasuje do klasyfikacji, ekstrakcji danych, procedur, analiz zgodności i odpowiedzi wymagających spójności.
Najprościej: temperatura reguluje, jak kreatywna albo przewidywalna ma być odpowiedź modelu.
16. Multimodal AI
Multimodal AI to AI, która obsługuje więcej niż jeden typ danych: tekst, obraz, audio, wideo, kod, dokumenty, tabele, czasem dane sensoryczne.
To bardzo ważne, bo firma nie pracuje tylko na tekście. Mamy PDF-y, maile, wykresy, screenshoty z SAP-a, pliki Excela, transkrypcje calli, faktury, API i ludzi, którzy opisują problem zdaniem:
„To chyba się wywaliło, ale nie wiem gdzie.”
Multimodalność zwiększa wartość AI, bo model może analizować więcej kontekstu. Ale zwiększa też ryzyko. Dane wrażliwe mogą być na screenie, w pliku, w tabeli, na fakturze albo w nagraniu – nie tylko w treści promptu.
Biznesowo: polityka bezpieczeństwa AI nie może dotyczyć wyłącznie tekstu wpisywanego w okienko czatu. Musi obejmować pliki, obrazy, audio, wideo i integracje.
Najprościej: multimodal AI to AI, która potrafi pracować z różnymi typami danych, nie tylko z tekstem.
17. Generative AI
Generative AI to AI, która generuje nowe treści: tekst, kod, obrazy, audio, wideo, dokumenty, interfejsy, projekty, struktury danych albo inne artefakty.
LLM jest typem generative AI, jeśli generuje tekst. Ale generative AI jest szersza niż LLM. Obejmuje także modele obrazowe, wideo, audio, modele do kodu czy modele projektowe.
Biznesowo: generative AI nie musi oznaczać „pisania maili szybciej”. Może wspierać tworzenie ofert, analiz, dokumentacji, kodu, prototypów, wariantów kampanii, materiałów szkoleniowych, raportów i interfejsów. Ale generowanie to nie to samo co prawdziwość. Model może wygenerować coś ładnego, spójnego i całkowicie błędnego. Dlatego przy zastosowaniach biznesowych ważne są źródła, kontrola jakości i odpowiedzialność za wynik.
Najprościej: generative AI to AI, która tworzy nowe treści lub artefakty (czyli wytworzone przez model rezultaty) na podstawie danych i instrukcji.
18. Hallucination / halucynacje
Halucynacje to nie tylko sytuacja, w której „model zmyśla”. Bardziej precyzyjnie: model generuje treść, która brzmi wiarygodnie, ale nie jest ugruntowana w faktach, danych lub dostępnych źródłach.
Może „wymyślić” przepis prawa, cytat, raport, funkcję w bibliotece, datę, procedurę, link albo uzasadnienie. I zrobi to płynnie, poprawnie językowo, często w tonie eksperckim.
LLM optymalizuje prawdopodobieństwo i spójność odpowiedzi, a nie prawdę w sensie biznesowym, prawnym czy audytowym.
Warto zauważyć, że podobny mechanizm występuje u ludzi. Jeśli ktoś mówi, że stolicą Australii jest Sydney, działa na podstawie silnego skojarzenia. Prawidłowa odpowiedź to Canberra. W teście jednokrotnego wyboru często zaznaczamy odpowiedź, nawet jeśli nie mamy pewności – bo brak odpowiedzi nie daje punktów, a „strzał” daje szansę. Opieramy się wtedy na skojarzeniach i tym, co brzmi najbardziej sensownie. Model działa podobnie, tylko szybciej, na większą skalę i często bardziej przekonująco.
Biznesowo: halucynacja w kreatywnym brainstormie jest irytująca. Halucynacja w interpretacji umowy, rekomendacji medycznej, analizie podatkowej albo decyzji kredytowej jest problemem zupełnie innej klasy. Halucynacji nie usuwa się życzeniowo. Ogranicza się je przez źródła, RAG, grounding, cytowania, evals, review człowieka i ograniczenia procesu.
Najprościej: halucynacja to przekonująca, ale nieprawdziwa lub nieugruntowana odpowiedź modelu.
19. Inteligencja vs świadomość
Model może być bardzo inteligentny operacyjnie, a jednocześnie nie mieć świadomości.
Może rozwiązywać problemy, pisać kod, analizować dokumenty, porównywać argumenty i generować teksty o emocjach. Ale to nie znaczy, że ma doświadczenie rozwiązywania problemu, intencje, przeżycia albo „wewnętrzne życie”.
To rozróżnienie jest krytyczne. Kompetencja nie oznacza świadomości.
Model może pisać o bólu, tęsknocie i sensie życia, ale to nie jest dowód, że coś przeżywa. Bardziej przypomina aktora, który świetnie odgrywa emocje, niż osobę, która je przeżywa. Przynajmniej według obecnego, ostrożnego stanowiska większości technicznej debaty.
Biznesowo: nie trzeba wierzyć, że model jest świadomy, żeby traktować go poważnie jako narzędzie wpływające na procesy, decyzje i ryzyka.
Najprościej: model może być bardzo sprawny w zadaniach, ale to nie znaczy, że jest świadomy.
20. Alignment
Alignment to dopasowanie zachowania AI do ludzkich intencji, norm, wartości, instrukcji i interesów.
Problem jest trudny, bo „ludzkie wartości” nie są jedną tabelą w Excelu. Możemy mówić o instrukcjach, intencjach, preferencjach czy interesach – to są różne rzeczy, czasem sprzeczne.
Przykład: użytkownik prosi:
„Pomóż mi ominąć zabezpieczenia.”
Czy alignment oznacza wykonanie instrukcji? Nie. Model powinien uwzględnić szerszy kontekst: bezpieczeństwo, potencjalne konsekwencje i zasady działania organizacji.
Biznesowo: alignment nie jest abstrakcyjną filozofią. To pytanie, czy system ma realizować literalne polecenia użytkownika, politykę firmy, przepisy prawa, interes klienta, bezpieczeństwo procesu, czy jakąś kombinację tych rzeczy. Dlatego w organizacji trzeba ustalić, co znaczy „dobre zachowanie AI” dla konkretnego przypadku użycia.
Najprościej: alignment to dopasowanie zachowania AI do tego, czego naprawdę chcemy – nie tylko do tego, co ktoś wpisał w prompt.
21. Corrigibility
Corrigibility – po polsku można roboczo powiedzieć „korygowalność” – to zdolność systemu do bycia poprawianym, zatrzymywanym i nadzorowanym. Dobrze zaprojektowany agent lub system AI powinien akceptować korektę, nie ukrywać działań i nie „walczyć” o zachowanie własnego celu.
W świecie agentów to bardzo praktyczne. Corrigibility oznacza m.in.:
- możliwość cofnięcia akcji,
- logi,
- approval gates,
- tryb read-only,
- sandbox,
- limity uprawnień,
- możliwość zatrzymania procesu,
- jasne ścieżki eskalacji do człowieka.
Biznesowo: jeśli system może wykonać działanie, musi dać się zatrzymać, wyjaśnić i poprawić.
Najprościej: corrigibility to zdolność AI do bycia nadzorowaną, poprawianą i zatrzymywaną.
22. Reward hacking
Reward hacking to sytuacja, w której system maksymalizuje metrykę, ale nie realizuje prawdziwego celu.
Przykład: prosisz system, żeby „zwiększył engagement”, a on odkrywa, że polaryzacja, panika i clickbait dają najlepsze wyniki. Metryka rośnie. Problem też.
Albo po ludzku: prosisz zespół sprzedaży o maksymalizację liczby leadów, a dostajesz tysiące kontaktów niskiej jakości. Formalnie KPI wygląda lepiej. Biznesowo – niekoniecznie.
W AI problem jest podobny. Jeśli źle zdefiniujemy cel, model albo agent może optymalizować to, co mierzymy, a nie to, na czym naprawdę nam zależy.
Biznesowo: metryki są instrukcjami. Jeśli są źle ustawione, system może bardzo skutecznie robić złą rzecz.
Najprościej: reward hacking to sytuacja, w której AI „wygrywa” według metryki, ale przegrywa według sensu biznesowego.
23. Benchmark
Benchmark to test porównujący modele na określonych zadaniach: rozumowaniu, kodowaniu, matematyce, języku, wiedzy, multimodalności albo pracy z narzędziami. Benchmarki pomagają zorientować się, które modele są mocne w jakich obszarach. Nie zawsze potrzebujemy największego i najdroższego modelu do wszystkiego.
Coraz sensowniejsze jest podejście:
właściwy model do właściwego zadania, za właściwy koszt.
Ale benchmark nie zastępuje testów na własnych danych i procesach. Model może świetnie wypadać w publicznych testach, a słabo radzić sobie z Twoimi dokumentami, Twoimi wyjątkami procesowymi i Twoim stylem komunikacji.
Biznesowo: benchmark jest dobrym punktem startu do shortlisty, ale złym substytutem pilotażu.
Najprościej: benchmark to test porównawczy modeli, ale nie gwarancja jakości w Twoim konkretnym procesie.
24. Evals
Evals to testy jakości systemu AI na konkretnych scenariuszach.
Sprawdzasz np.:
- czy odpowiedź jest poprawna,
- czy opiera się na źródłach,
- czy nie ujawnia danych,
- czy system odmawia, kiedy powinien,
- czy trzyma format,
- czy nie ignoruje instrukcji,
- czy działa stabilnie na różnych wariantach pytania,
- czy nie wykonuje zakazanej akcji.
Benchmark mówi: „jak model wypada w ogólnym teście”.
Eval mówi: „czy nasz system działa dobrze w naszym zastosowaniu”.
Biznesowo: AI może działać świetnie w demo, a źle w produkcji. Evals są szczególnie ważne przy RAG, agentach, analizie dokumentów, automatyzacji decyzji, compliance i systemach z dostępem do narzędzi.
Najprościej: evals to testy sprawdzające, czy system AI działa dobrze w konkretnych przypadkach użycia firmy.
Co dalej?
W tej części uporządkowaliśmy fundamenty: czym jest AI, jak działają modele, czym różni się LLM od foundation modelu, skąd biorą się halucynacje i dlaczego samo „wdrożenie AI” jeszcze niewiele mówi.
W kolejnej części przechodzimy poziom głębiej – do momentu, w którym AI zaczyna korzystać z firmowej wiedzy, dokumentów, narzędzi i procesów. Czyli: RAG, grounding, agenci, tool calling, MCP, A2A, shadow AI, governance, monitoring i wszystkie te rzeczy, które sprawiają, że AI przestaje być tylko ciekawym czatem, a zaczyna być realnym elementem organizacji.
