RAG pod lupą testera: retrieval, faithfulness, cytowania i halucynacje
OPIS WARSZTATU:
Podczas warsztatu rozłożymy cały proces na warstwy i nauczymy się rozróżniać, czy problem powstał na etapie retrievalu, rankingu dokumentów, budowania kontekstu czy samej generacji odpowiedzi.
Uczestnicy zbudują własny zestaw testowy z dokumentami aktualnymi, archiwalnymi, sprzecznymi i celowo niepełnymi, a następnie sprawdzą m.in. trafność źródeł, świeżość informacji, poprawność cytowań, zachowanie przy braku odpowiedzi oraz odporność na halucynacje.
Zmierzymy jakość systemu przy użyciu metryk takich jak Context Precision i Faithfulness, a wyniki przełożymy na golden set, klasy defektów i przypadki regresyjne, które można później uruchamiać po zmianie modelu, promptu, danych lub konfiguracji RAG.
Efektem warsztatu będzie praktyczny schemat testowania aplikacji opartych o wiedzę, który uczestnik będzie mógł przenieść do chatbota, wyszukiwarki semantycznej, systemu knowledge assistant lub innego rozwiązania wykorzystującego RAG.
Warsztat będzie miał praktyczną formę. Uczestnicy będą pracować na przygotowanych dokumentach i samodzielnie wykonywać zapytania, analizować wykorzystane źródła, oceniać odpowiedzi i klasyfikować znalezione problemy. Efektem będzie własny eval set / golden set, który może stać się punktem wyjścia do regresyjnego testowania aplikacji RAG.
PROGRAM:
- Czym jest RAG i dlaczego poprawna odpowiedź nie zawsze oznacza poprawne działanie systemu.
- Rozłożenie procesu RAG na etapy: pytanie, retrieval, kontekst, generacja i cytowanie.
- Jak rozróżnić problem z wyszukaniem źródła od problemu z wygenerowaniem odpowiedzi.
- Przygotowanie małego zestawu dokumentów testowych: źródła aktualne, archiwalne, sprzeczne i niepełne.
- Budowa pytań testowych: pytania typowe, parafrazy, konflikty źródeł, pytania bez odpowiedzi i przypadki historyczne.
- Testowanie trafności retrievalu i sprawdzanie, czy system korzysta z właściwego dokumentu i właściwego fragmentu.
- Testowanie aktualności informacji i zachowania systemu przy wielu wersjach tego samego dokumentu.
- Faithfulness, czyli sprawdzanie, czy odpowiedź rzeczywiście wynika z dostarczonego kontekstu.
- Testowanie cytowań: poprawne źródło, właściwy fragment oraz przypadki, w których odpowiedź jest poprawna, ale cytowanie błędne.
- Halucynacje i zachowanie przy braku informacji: kiedy system powinien odpowiedzieć, a kiedy przyznać, że nie posiada wystarczających danych.
- Ocena jakości przy użyciu metryk takich jak Context Precision i Faithfulness oraz interpretacja wyników z perspektywy testera.
- Klasyfikacja typowych defektów RAG: wrong retrieval, outdated source, wrong citation, unfaithful answer, hallucination i over-refusal.
- Budowa golden setu zawierającego pytania, oczekiwane źródła, oczekiwane odpowiedzi i kryteria oceny.
- Tworzenie przypadków regresyjnych pozwalających porównywać zachowanie systemu po zmianie modelu, promptu, dokumentów lub konfiguracji RAG.
- Analiza wyników i przygotowanie praktycznej checklisty testowania systemów wykorzystujących RAG.
Krzysztof Kołodziejczyk
Data: 29.01.2027 r. (online)
Czas trwania: 9:00-17:00
Przygotowanie do warsztatów:
Wymagania techniczne:
- Laptop z aktualną przeglądarką internetową, rekomendowany Google Chrome.
- Stabilne połączenie z Internetem.
- Uprawnienia administratora umożliwiające instalację i konfigurację narzędzi wymaganych podczas warsztatu.
- Zainstalowane Git oraz Node.js w aktualnej wersji LTS.
- Zainstalowane i uruchomione narzędzie umożliwiające obsługę kontenerów, np. Docker Desktop, Rancher Desktop lub Colima.
- Możliwość korzystania z terminala / wiersza poleceń oraz uruchamiania lokalnych aplikacji dostępnych przez localhost.
- Arkusz kalkulacyjny lub równoważne narzędzie umożliwiające zapisywanie i porównywanie wyników testów.
Nie jest wymagane wcześniejsze doświadczenie z budowaniem aplikacji RAG ani umiejętność programowania. Środowisko, dokumenty testowe oraz materiały potrzebne do wykonania ćwiczeń zostaną przygotowane tak, aby uczestnicy mogli skupić się przede wszystkim na projektowaniu testów, analizie retrievalu, weryfikacji odpowiedzi i cytowań, identyfikowaniu halucynacji oraz ocenie jakości działania systemu.
W przypadku korzystania z komputera firmowego należy wcześniej sprawdzić, czy polityki bezpieczeństwa pozwalają na swobodną instalację aplikacji i uruchamianie skryptów z poziomu terminala.