Přibližně každý sedmý abstrakt biomedicínských vědeckých textů dnes nese znaky toho, že byl alespoň částečně napsán pomocí chatbota. Vyplývá to z nové studie vědců z německé Univerzity v Tübingenu, kteří analyzovali miliony vědeckých článků a identifikovali typické jazykové vzorce umělé inteligence. Co ji prozrazuje?

Od chvíle, kdy byl koncem roku 2022 spuštěn ChatGPT od společnosti OpenAI, se vědecký jazyk vědeckých článků začal nenápadně měnit. Slova jako „delves“ (zabývá se), „crucial“ (zásadní), „significant“ (významný) nebo „important“ (důležitý) se v abstraktech odborných článků začala objevovat v nápadně vyšší míře, než tomu bylo v době, kdy tyto texty museli psát autoři sami. Tématu se věnuje americký deník The New York Times.

Oblíbená slůvka

Tým kolem Dmitryho Kobaka z Univerzity v Tübingenu analyzoval přes 15 milionů biomedicínských abstraktů publikovaných mezi lety 2010 a 2024, přičemž zachytili, že v roce 2024 v nich bylo nadměrně používáno celkem 454 slov – podle všeho oblíbených umělou inteligencí. Právě na základě této četnosti Kobak a jeho tým vypočítali, že nejméně 13,5 procenta všech biomedicínských abstraktů bylo zřejmě napsáno s pomocí chatbotů. U méně prestižních časopisů je to ještě patrnější – zde se výskyt asistence AI v abstraktech pohyboval kolem 40 procent.

Tato čísla jsou navíc podle expertů ještě podhodnocená. „Ve skutečnosti to bude víc – studie nezohledňuje případy, kdy autoři AI text upravili, nebo AI pomohla s editací lidského textu,“ cituje deník Adama Rodmana z bostonského Beth Israel Deaconess Medical Center.

Překvapení neskrýval ani sám autor studie. Zaskočilo ho to podle jeho slov i z toho důvodu, že právě v abstraktu je shrnuto to nejdůležitější z celé práce. „Myslel bych si, že u něčeho tak důležitého, jako je napsání abstraktu vaší práce, byste to nedělali,“ podivil se Kobak.

Zapomenutá věta jej prozradila

Debata o místě umělé inteligence v akademickém psaní není jen teoretická. Profesor psychiatrie a behaviorálních věd Keith Humphreys ze Stanfordu popsal případ dopisu do redakce časopisu Addiction, který pravděpodobně vznikl pomocí chatbota. Dopis působil kvalitně, ale údajní autoři byli v oboru zcela neznámí, přesto měli během půl roku publikovat desítky podobných dopisů v široké škále oborů – od chirurgie po imunologii. Humphreys je vyzval, aby přiznali použití AI, ale odpověď nedostal a dopis proto nebyl publikován. Současně ale uznává, že nejde o podvod v klasickém smyslu slova.

Přesto se někteří vědci údajně již začali vyhýbat určitým slovům spojených právě se slovníkem umělé inteligence, tedy z obav, aby je nikdo nepodezíral z použití AI. Jiní si s tím hlavu nelámou. Profesor Subbarao Kambhampati z Arizonské státní univerzity připoměl případ z radiologického časopisu, kde zůstala v textu zapomenutá věta: „Jsem jazykový model AI a nemám přístup k aktuálním údajům o pacientech.“ Autor tím nechtěně přiznal, že chatbota při zpracovávání použil.

Mohlo by vás zajímat

Vědecká obec je rozpolcená

Názory vědecké komunity jsou zatím různé. New York Times zmiňuje průzkum časopisu Nature mezi více než 5000 vědci, který ukázal, že 23 procent z nich považuje použití AI pro psaní abstraktů za přijatelné bez uvedení této skutečnosti. Dalších 45 procent to považuje za přijatelné s přiznáním a 33 procent to odmítá zcela. „Je to šedá zóna. Divoký západ,“ komentuje situaci Jonathan H. Chen ze Stanfordu.

Pro profesora Humphreyse se však problematika láme na klíčové otázce důvěry. „Důvodem, proč mě zajímá editorial, je jméno pod ním. Přední vědecký pracovník je ochoten podstoupit kariérní riziko. Říci věci, které mohou být tvrdé nebo nepopulární,“ řekl s tím, že AI nemá žádnou pověst, kterou by dával všanc. „Nemám k ní žádnou důvěru. Nemá žádnou morální váhu,“ uzavírá Humphreys.