AI quality engineering
Kurs: Ewaluacje LLM i agentów — regresje, datasety i quality gates
Zaprojektujesz dataset, kryteria oceniania i quality gate, który rozróżnia poprawę, regresję oraz brak wystarczających danych.
Program
Zakres materiału
10 modułów tekstowych, kalkulator niepewności, laboratoria i projekt systemu ewaluacji.
Program — 10 pozycji
- „Czy model jest dobry?” nie jest pytaniem pomiarowym.
- Dataset jest modelem świata, nie magazynem promptów.
- Najpierw oracle. Potem człowiek. Model tylko z kalibracją.
- 87% bez liczebności i populacji to etykieta, nie dowód.
- Poprawna odpowiedź nie unieważnia złego skutku.
- Quality gate jest polityką, nie leaderboardem.
- Eval dataset może być najwrażliwszą bazą błędów firmy.
- Harness także może skłamać.
- Offline pass otwiera canary. Nie kończy ewaluacji.
- Zbuduj eval, który może zakończyć się „inconclusive”.
Rezultat
Efekt końcowy
Eval charter, datasety, slices, graderzy, statystyka, trajektorie agentów, CI, safety, canary, drift i reprodukowalna brama release.
Dopasowanie
Dla kogo jest ten kurs?
Dla architektów, seniorów i liderów odpowiedzialnych za bezpieczeństwo, niezawodność oraz produkcję.
Przed rozpoczęciem: Przykładowy system LLM lub agent oraz dane testowe, które możesz wykorzystać w ewaluacji.
Metoda EAIS
Jak pracujesz z materiałem
Najpierw poznajesz kontekst i ograniczenia, następnie wykonujesz konkretne kroki, a na końcu porównujesz rezultat z kryteriami jakości. Materiał pozostaje dostępny online po zalogowaniu.
- 01Zrozum kontekst
- 02Wykonaj proces
- 03Sprawdź wynik
Próbka przed zakupem
Co jest przedmiotem ewaluacji?
Oceniasz konkretny system — model, prompt, retrieval, narzędzia, polityki i środowisko — dla populacji, scenariusza oraz decyzji. Verification pyta o zgodność ze specyfikacją, validation o przydatność w kontekście, a evaluation charakteryzuje zachowanie według miar.
Fragment materiału. Pełny zakres znajdziesz w programie powyżej.
Cena i uprawnienia
Wybierz zakres korzystania
Dostęp jednej osoby do nauki i ćwiczeń. Do zastosowania wiedzy i rezultatów w firmie wybierz licencję komercyjną.
Zastosowanie wiedzy, metod i własnych rezultatów w jednej firmie. Nie obejmuje udostępniania ani odsprzedaży materiałów.
Osobisty dostęp do obecnych i przyszłych kursów przez 365 dni. Nie obejmuje licencji komercyjnej.
Każdy wariant: 365 dni od potwierdzenia płatności i nadania dostępu, aktualizacje opublikowane w tym okresie, płatność jednorazowa i brak automatycznego odnowienia. Konto jest przeznaczone dla jednej osoby; licencja komercyjna nie oznacza dostępu dla całego zespołu ani prawa do udostępniania materiałów.
Autor
Łukasz Kretowicz
Autor kursów EAIS i twórca projektów EAIS.pl, E37.pl, ZaITorobie.pl oraz LexAgent.pl. Zobacz publiczne projekty i sprawdź próbkę materiału przed zakupem.
Poznaj autora i jego projektyPrzed zakupem
Wiesz, co kupujesz i kto obsługuje sprzedaż.
- 10 modułów tekstowych, kalkulator niepewności, laboratoria i projekt systemu ewaluacji.
- materiał online po polsku, we własnym tempie