SEDNO / AI, media i wiarygodność
AI zmyślało opisy filmów. Skąd brały się błędy
Płynna odpowiedź brzmi jak wiedza, nawet gdy powstała z podobieństwa słów. Gracenote sprawdziło to na 2600 filmach i serialach. Model odpowiadający wyłącznie na podstawie danych treningowych potrafił zachować właściwy tytuł, a jednocześnie dopisać do niego cudzą fabułę, obsadę i datę premiery.
W skrócie
Najważniejsze ustalenia.
- 506 z 2600 tytułów miało błędne wszystkie sprawdzane metadane.
- Badanie dotyczyło modelu odpowiadającego bez dostępu do aktualnej bazy referencyjnej.
- Podobne tytuły i nowe produkcje zwiększały ryzyko wiarygodnie brzmiącego błędu.
- Najważniejszym zabezpieczeniem jest możliwość przejścia od odpowiedzi do sprawdzalnego źródła.
Co dokładnie sprawdzono
Badanie objęło 2600 popularnych filmów i seriali z 13 państw. Odpowiedzi modelu bez dostępu do aktualnej bazy porównano z odpowiedziami opartymi na globalnych danych wideo Gracenote. Weryfikowano elementy, które można sprawdzić jednoznacznie: tytuł, opis fabuły, obsadę, gatunek, rok premiery i czas trwania.
W 506 przypadkach błędne były wszystkie mierzone metadane. To prawie jedna piąta próby. Wyniku nie należy jednak rozszerzać na każdy model, każde pytanie i całą generatywną sztuczną inteligencję. Test dotyczył konkretnego sposobu pracy: odpowiedzi bez podłączenia do aktualnego, zweryfikowanego źródła wiedzy.
Najbardziej mylą tytuły podobne i nowe
W jednym z opisanych przypadków model poprawnie rozpoznał tytuł i rok filmu Heel, ale fabułę, gatunek i obsadę pobrał z serialu Heels. W innym połączył dwa filmy noszące tytuł Trucker. Błąd nie brzmi jak losowy bełkot. Jest wiarygodnie podaną składanką elementów, które statystycznie pasują do pytania.
Problemy rosły również przy nowych produkcjach, których model nie mógł znać z wcześniejszych danych. Dla widza różnica między brakiem wiedzy a pewnie podanym fałszem jest kluczowa. System, który nie potrafi powiedzieć, że czegoś nie wie, zamienia lukę informacyjną w pozorną odpowiedź.
To problem wyszukiwania, nie tylko chatbotów
Opisy filmów trafiają do katalogów, wyszukiwarek, rekomendacji i interfejsów telewizorów. Błąd nie kończy się więc na jednej rozmowie z botem. Może wpływać na to, co użytkownik znajdzie, jak zrozumie produkcję i czy w ogóle zdecyduje się ją obejrzeć.
Gracenote sprzedaje rozwiązanie, które łączy modele z własną bazą, dlatego ma biznesowy interes w pokazaniu przewagi danych referencyjnych. Sama metodologia nadal niesie ważną lekcję: model językowy nie zastępuje źródła. Dobra odpowiedź powinna dać się prześledzić do dokumentu, bazy albo publikacji, z której pochodzi.
Zasada, którą można zastosować od razu
Im bardziej konkretne twierdzenie, tym bardziej potrzebny jest widoczny punkt oparcia. Obsada, data, kwota, wyrok i cytat nie powinny pojawiać się tylko dlatego, że brzmią prawdopodobnie. Powinny prowadzić do źródła, które odbiorca może otworzyć.
Dlatego w SEDNO sam sygnał z RADARU nie jest jeszcze publikacją. Najpierw trzeba znaleźć materiał pierwotny, sprawdzić liczby, oddzielić fakt od interpretacji i pokazać linki. AI może przyspieszać porządkowanie, ale odpowiedzialność za zdanie pozostaje po stronie autora.
Źródła
Materiały wykorzystane przy sprawdzaniu tematu.
Jeśli pojawi się dokument pierwotny, odpowiedź zainteresowanej strony albo nowe dane, uzupełnię wpis i oznaczę datę aktualizacji.
