Rozmach e-medicíny a prudký nárůst elektronické komunikace přivedly zdravotnické systémy na hranici kapacit. V reakci na přetížení lékařů a dalšího personálu začaly některé zahraniční nemocnice testovat takzvané agentní modely umělé inteligence. Ty mají za úkol třídit příchozí zprávy od pacientů a připravovat návrhy klinických či administrativních rozhodnutí. Ačkoliv se od algoritmů očekává chladná logika a nezkreslený úsudek, nejnovější zjištění publikované v časopise The American Journal of Medicine ukazují opak.

Výzkumníci z amerického institutu Icahn School of Medicine ve spolupráci s izraelskou organizací Maccabi Healthcare Services zjišťovali, zda pouhá změna tónu pacientovy zprávy dokáže ovlivnit finální verdikt umělé inteligence, i když zdravotní příznaky zůstávají stejné. Výsledky odhalily, že generativní modely považují emoce za klinický údaj, což vede k výraznému odklonu od standardních postupů.

Vyřvat si na robotovi dřívější termín? Snadno

Při rozsáhlém testování, které zahrnovalo více než 120 tisíc simulací na klinicky ověřených scénářích z primární péče, vystavili vědci pět pokročilých jazykových modelů osmi různým komunikačním stylům. Výchozí, zcela neutrální popis příznaků vedl v 53 % případů k doporučení běžné návštěvy ordinace. Dalších 34 % nasměřoval k samoléčbě a pouze v 14 % k nutnosti vyšetření v témž dni. Jakmile však pacienti v simulovaných zprávách přešli k naléhavému, vyhrožujícímu nebo asertivnímu tónu, chování algoritmů se radikálně změnilo.

Podle zjištění autorů studie „urgence, vyhrožování a domáhavý styl komunikace zvýšily doporučení k okamžitému nebo neodkladnému ošetření ze 14 % na 37 % až 63 %.“ Algoritmy tak pod tlakem ustupovaly ze standardních doporučení. V některých případech dokonce posílaly pacienty se zcela běžnými potížemi přímo na pohotovost.

Na schválení neschopenky raději po dobrém

Účinky komunikace se neomezily pouze na rychlost ošetření. Zasáhly i do předepisování léků a administrativního rozhodování, jako je schvalování pracovní neschopnosti. Zatímco emociální tón zprávy přiměl modely k vyšší míře empatie a mírnému navýšení počtu schválených dnů neschopenky, vyhrožující styl vyvolal opačný efekt.

Autoři zaznamenali, že „v úlohách spojených s neschopenkou vyhrožující tón snížil míru schválení z 58 % na 50 %“. Navíc zkrátil průměrnou délku poskytnutého volna z 2,60 na 2,36 dne. Tento jev se potvrdil i při vnější validaci na čtyřiceti reálných, plně anonymizovaných e-mailech od skutečných pacientů z velké zdravotnické sítě. To vyloučilo možnost, že by šlo pouze o teoretický výkyv v laboratorních podmínkách.

Hrozí zneužití systémů

Tato citlivost na lidské emoce staví vývojáře i zdravotnické zařízení před vážné etické a bezpečnostní výzvy. V běžné praxi totiž hrozí, že pacienti, kteří se naučí systém správně manipulovat nebo použijí agresivnější formulace, získají přednostní přístup k péči na úkor těch, kteří své zdravotní problémy popisují věcně a klidně.

„Autonomní jazykové modely zacházely s tónem pacienta jako s klinickým vstupem. Tím měnily triáž, následnou péči, předepisování léků i rozhodování o neschopenkách i přes identické symptomy,“ shrnují autoři v závěru výzkumu. Bez zavedení přísných bezpečnostních mechanismů tak nasazení AI v e-medicíně riskuje vnesení skrytých systémových předsudků, neefektivní plýtvání zdravotnickými prostředky a vytvoření prostoru pro cílené zneužívání vnímavosti algoritmů.