Naukowiec z nowozelandzkiego University of Canterbury sprawdził, czy ChatGPT potrafi przetłumaczyć na mandaryński dwa popularne kwestionariusze przesiewowe dotyczące zdrowia psychicznego. Odpowiednio skonstruowane polecenie dało wyraźnie lepsze rezultaty, ale to samo polecenie uruchomione przez różne osoby prowadziło do różnych wyników. To poważny problem, bo od takich testów zależą decyzje kliniczne.
Skąd pomysł na badanie
Projekt prowadzi dr Wei Teng, badacz przekładu z Uniwersytetu Canterbury w Nowej Zelandii. Punktem wyjścia były rozmowy z Josiahem Jenningsem z chrystchurchowskiej organizacji Asian Community Transformation Trust oraz z psychologiem klinicznym dr Amy Wang. Liderzy społeczności zwracali uwagę, że bariery językowe utrudniają migrantom mówiącym po mandaryńsku dostęp do odpowiedniej pomocy psychologicznej. Rośnie przy tym liczba Azjatów mieszkających w Nowej Zelandii, którzy zgłaszają problemy ze zdrowiem psychicznym.
Test objął dwa szeroko stosowane narzędzia: skalę dystresu psychologicznego Kesslera (K10) oraz kwestionariusz zdrowia pacjenta PHQ-9. Wersje mandaryńskie już istnieją, jednak według Tenga bywają zbyt formalne albo nienaturalne. Ma to znaczenie, ponieważ, jak mówi Teng: „Jeśli tłumaczenie pytań brzmi jak robot, pacjenci mogą nie odpowiadać szczerze”.
Jak sprawdzano ChatGPT
Autor badania przygotował uporządkowane polecenia, w których przypisywał chatbotowi rolę zawodową i określał oczekiwany ton, na przykład „troskliwy” i „odpowiedni klinicznie”. Jedno z tak dopracowanych poleceń dało zauważalnie lepsze tłumaczenia. Wynika z tego, że przy precyzyjnym sterowaniu sztuczna inteligencja mogłaby poprawiać jakość przekładu.
Haczyk: brak powtarzalności
Kłopot pojawił się, gdy koledzy badacza wpisali to samo polecenie na własnych, bezpłatnych kontach ChatGPT. Tłumaczenia różniły się tonem i naturalnością. Według opisu badania modele językowe generują odpowiedzi także na podstawie wcześniejszych interakcji użytkownika, więc identyczna instrukcja nie gwarantuje identycznego efektu.
Dla narzędzi przesiewowych to istotna wada. Kwestionariusz ma działać tak samo za każdym razem, a zmienność podważa jego wiarygodność i powtarzalność. Teng współpracuje teraz ze specjalistami od sztucznej inteligencji i sprawdza, czy pomogą bardziej deterministyczne polecenia lub modele dostosowane do tego zadania. Podkreśla, że niezbędny jest nadzór kliniczny i współpraca między dziedzinami.
Co to oznacza w praktyce, także w Polsce
Badanie dotyczy Nowej Zelandii i języka mandaryńskiego, ale problem jest znany także w Europie: w wielu krajach mieszkają osoby, które nie mówią biegle w języku lokalnym, a kwestionariusze przesiewowe bywają dostępne tylko w kilku wersjach. Podobne pytania można więc zadawać o inne grupy, na przykład o migrantów w Polsce. Nie wynika to bezpośrednio z opisywanej pracy, ale pokazuje, dlaczego temat jest szerszy niż jedna społeczność.
Dla zwykłego użytkownika wniosek jest ostrożny:
- Nie warto polegać na samodzielnym tłumaczeniu testów psychologicznych za pomocą chatbota, jeśli wynik ma służyć do oceny stanu zdrowia.
- Ten sam prompt może dać inny efekt u różnych osób, więc jednorazowy dobry wynik niczego nie dowodzi.
- Ocena i interpretacja należą do specjalisty, a AI może co najwyżej wspierać przygotowanie materiałów.
Badacz nie przekreśla roli sztucznej inteligencji w tej dziedzinie, ale zaznacza, że gdy w grę wchodzi dobrostan ludzi, na pierwszym miejscu muszą stać zaufanie i wrażliwość kulturowa.
Źródło: Medical Xpress – „ChatGPT’s translation of mental health questionnaires into Mandarin reveals inconsistent results”
