ChatGPT i naučni radovi: još nije spreman za precizne sažetke

Sažimanje složenih naučnih otkrića za čitalačku publiku koja nije stručna jedno je od najvažnijih svakodnevnih zaduženja novinara koji pišu o nauci. Generisanje sažetaka složenih tekstova često se pominje i kao jedna od najčešćih primjena velikih jezičkih modela, prenosi PC Press.

Tim iz Američkog udruženja za unapređenje nauke (AAAS) sproveo je neformalno jednogodišnje istraživanje kako bi utvrdio da li ChatGPT može da proizvede vrstu ''news brief'' sažetaka velikih radova koje njihov ''SciPak'' tim rutinski piše za časopis Science i servise poput EurekAlert. Ovi SciPak članci osmišljeni su da prate specifičan, pojednostavljen format koji prenosi ključne informacije – premisu istraživanja, metode i kontekst – drugim novinarima koji bi mogli da pišu o tome.

Zaključili su da ChatGPT može ''donekle da oponaša strukturu njihovih sažetaka, ali je ''imao tendenciju da žrtvuje tačnost zarad jednostavnosti'', što znači da je ''zahtjevao rigoroznu provjeru činjenica od strane stručnih novinara''.

''Ove tehnologije mogu da imaju potencijal kao pomoćni alati za naučne pisce, ali još uvek nisu spremne za ‘prime time’, barem ne za SciPak tim'', rekla je AAAS novinarka Abigejl Ajsenštat.

Od decembra 2023. do decembra 2024. AAAS istraživači su birali do dva rada nedjeljno koje je ChatGPT trebalo da sažme pomoću tri različita upita sa različitim nivoima specifičnosti. Tim se fokusirao na radove sa zahtjevnim elementima – tehničkim žargonom, kontroverznim zaključcima, prelomnim otkrićima, istraživanjima na ljudima ili netradicionalnim formatima. Testiranja su rađena uz ''Plus'' verziju najnovijih dostupnih GPT modela tokom perioda istraživanja, uglavnom GPT-4 i GPT-4o.

Ukupno je sažeto 64 rada, a ti sažeci su ocenjivani kvantitativno i kvalitativno od strane istih SciPak pisaca koji su radili sažetke za AAAS. Istraživači napominju da ovaj dizajn ''nije mogao da ukloni ljudske pristrasnosti'', što bi, kako sami priznaju, moglo biti značajno kada novinari procjenjuju alat koji prijeti da preuzme dio njihovih osnovnih zadataka.

Kvantitativni rezultati anketa među tim novinarima bili su prilično jednoznačni. Na pitanje da li bi ChatGPT sažeci ''mogli uvjerljivo da se uklope u ostatak vaše linije sažetaka“, prosječna ocjena bila je svega 2,26 na skali od 1 (''nimalo'') do 5 (''apsolutno''). Na pitanje da li su sažeci ''privlačni'', prosječna ocjena LLM sažetaka bila je 2,14. U oba pitanja, samo je jedan sažetak dobio ocjenu ''5'', naspram 30 ocjena ''1''.

Pisci su također davali kvalitativne komentare na pojedinačne sažetke. U njima su se žalili da ChatGPT često miješa korelaciju i kauzalnost, ne pruža kontekst (naprimjer da su meki aktuatori obično veoma spori) i ima tendenciju da preuveličava rezultate korišćenjem riječi poput ''revolucionarno'' i ''inovatorsko'' (iako je ovo prestalo kada su upiti to izričito tražili).

Sve u svemu, istraživači su zaključili da je ChatGPT uglavnom dobar u ''transkribovanju'' onoga što piše u radu, naročito ako rad nema mnogo nijansi. Ali je slab kada treba da ''prevede'' nalaze, ulazeći u metodologiju, ograničenja ili širi značaj. Slabosti su posebno bile izražene kod radova sa više različitih rezultata, ili kada je ChatGPT trebalo da objedini dva povezana rada u jedan sažetak.