Velké modely umělé inteligence (AI), jako je ChatGPT nebo Gemini, nemají zdravotnickou certifikaci a přesto se ve zdravotnictví běžně používají. Může to znamenat ohrožení pro pacienty. V tiskové zprávě to uvedla Česká asociace umělé inteligence (ČAUI).
Asociace a její zdravotnická skupina vnímá nástup zdravotnických režimů generativních modelů jako významný posun. Podle ní je ale klíčové nepřekročit hranici, za kterou se z asistenčního nástroje stává klinická rozhodovací podpora a vzniká reálné riziko pro pacienty i celý systém.
Nesplnitelná očekávání
„Již dnes si někteří ve zdravotnictví vypomáhají s dotazy na ChatGPT. Je to také cesta nebezpečná, protože může být vysoce riziková pro pacienty, snadno vytvářet nesplnitelná očekávání a v krajním případě podrývat ty, kteří AI zavádějí správně a podle pravidel,“ uvedl předseda zdravotnické sekce ČAUI a člen výboru pro AI na ministerstvu zdravotnictví Matěj Misař.
Jakmile AI jakýmkoli způsobem ovlivňuje klinické rozhodování, je v režimu klinické rozhodovací podpory, kde už bez certifikace zdravotnického prostředku podle Misaře nemá co dělat. Nejde jen o situace, kdy model přímo stanoví diagnózu.
„Stačí, když začne doplňovat nebo přepisovat klinický text tak, že mění význam, nebo začne navrhovat další vyšetření a léčbu. To už je klinika a musí to podléhat pravidlům. Nástroje od velkých hráčů OpenAI, Anthropic nebo Google nejsou certifikované zdravotnické prostředky,“ dodal Misař.
Mohlo by vás zajímat
Nejde o náhradu lékařského rozhodování
Podle proděkana pro vědu a výzkum Lékařské fakulty Ostravské univerzity Ondřeje Volného jde v případě AI o užitečného asistenta pro časově náročnou dokumentaci, nikoli o náhradu lékařského rozhodování. Může pomoci se sumarizací anamnézy nebo přípravou propouštěcích zpráv.
„Každý výstup vyžaduje kritické zhodnocení a validaci. Bez AI gramotnosti hrozí nekritické spoléhání na technologii, která nikdy nemůže převzít odpovědnost za pacienty,“ dodal Volný.
Bezpečnostní riziko
ČAUI upozornila, že veřejně dostupné modely přinášejí nejen klinické, ale i bezpečnostní riziko. Zdravotnictví pracuje s nejcitlivějšími daty a použití nástroje mimo kontrolované prostředí může vytvářet nejasnosti i vůči pravidlům ochrany dat.
V Česku existuje řada systémů, které certifikací prošly, například Carebot, Kardi AI, Aireen. Jsou postavené na jasném klinickém účelu, validaci a regulaci. Necertifikované generativní nástroje by naproti tomu podle asociace měly sloužit jen administrativně, tedy k přepisům nebo dohledání zdrojů, ale ne k doporučení, stanovení diagnózy nebo návrhu léčby.
