Umělá inteligence mění medicínu a spolu s ní přichází i nová právní odpovědnost. Jak na konferenci zdravotnické skupiny EUC vysvětlil právník Daniel Pospíšil, kdo chce ve zdravotnictví používat systémy založené na umělé inteligenci, musí se připravit na přísnou evropskou regulaci, vysokou míru transparentnosti a sankce za porušení pravidel.

„Pokud používáte jakýkoliv certifikovaný zdravotní prostředek, tak narážíte na Akt o umělé inteligenci. Dotýká se totiž všeho podstatného,“ konstatoval Pospíšil s odkazem na evropské nařízení známé jako Akt o umělé inteligenci. Tento právní předpis zásadním způsobem upravuje používání zdravotnických prostředků založených na umělé inteligenci. V praxi se dotýká prakticky všech, kteří takové technologie vyvíjejí, nakupují či provozují v nemocnicích či na klinikách.

Vždy pod kontrolou člověka

Jedním ze základních principů evropské regulace AI je transparentnost, tedy přezkoumatelnost rozhodnutí systémů umělé inteligence. V praxi to znamená, že musí být možné dohledat a vysvětlit, na základě čeho algoritmus došel ke svému závěru. „Pokud by si lékař systém pouze koupil a používal ho, aniž by chápal, jak funguje, tak je to špatně,“ upozornil právník.

Diagnózy nebo léčebná doporučení generovaná umělou inteligencí proto nesmí zůstat „černou skříňkou“, do níž nikdo nevidí. Každý krok rozhodovacího procesu musí být přehledný a srozumitelný tak, aby zdravotník mohl ověřit, že systém postupoval dle relevantních dat.

S tím přímo souvisí princip lidského dohledu. Akt o AI stanovuje, že umělá inteligence nikdy nesmí plně nahradit lékaře. I když algoritmy mohou pomoci s diagnostikou, hodnocením snímků nebo výběrem vhodné léčby, konečné rozhodnutí musí zůstat na kvalifikovaném odborníkovi. Každé rozhodnutí systému má být přezkoumatelné a doplněné odborným lidským posouzením.

Mohlo by vás zajímat

Pokud by se lékař spoléhal pouze na výsledek systému a neprovedl vlastní kontrolu, mohl by nést právní odpovědnost za následky. Z právního hlediska je totiž lidský dohled pojistkou, která má zabránit slepému spoléhání se na technologii. Zároveň zajišťuje, že odpovědnost za rozhodnutí zůstává jasně určena.

Když pokuta odráží citlivost dat

Další oblastí, na kterou Pospíšil upozornil, je povinnost vést podrobné záznamy o fungování systémů umělé inteligence. Každý krok, který systém učiní – od použitých dat až po konkrétní algoritmus – se musí pečlivě zaznamenat. Tyto logy umožňují zpětně dohledat, jakým způsobem systém dospěl ke konkrétnímu rozhodnutí, což je klíčové nejen pro právní ochranu pacientů, ale také pro určení odpovědnosti v případě, že dojde k chybě.

„Také je třeba evidovat přístupy zaměstnanců do systémů umělé inteligence,“ dodal Pospíšil. Takové záznamy totiž mohou být důležité i při interních auditech nebo kontrolách ze strany regulačních orgánů.

Velký důraz evropské nařízení klade také na odbornou přípravu zdravotnického personálu. Lékaři, kteří s umělou inteligencí pracují, musí chápat její principy, znát její limity a rozpoznat, kdy systém selhává. Bez dostatečné odborné přípravy by se mohlo stát, že se zdravotníci začnou na algoritmy spoléhat nekriticky, což by mohlo mít závažné důsledky.

„Musíte proškolit zdravotní personál – kohokoliv, kdo s daným systémem pracuje. Pokud to neuděláte a došlo by k pochybení – třeba že by se člověk spoléhal pouze na systém a neměl by zpětnou kontrolu, hrozí zde pokuty až do výše 35 milionů eur, nebo až 7 % celosvětového ročního obratu za předchozí finanční rok,“ varoval právník. Takto vysoké sankce podle něj dokazují, že Evropská unie bere oblast umělé inteligence ve zdravotnictví mimořádně vážně.

Posledním, ale neméně důležitým bodem je zajištění kvality a bezpečnosti dat. Umělá inteligence totiž může rozhodovat jen na základě přesných, aktuálních a nezkreslených informací. Chybné nebo neúplné vstupy mohou vést k mylným doporučením a v konečném důsledku i k ohrožení zdraví pacienta. Kvalita dat tak není pouze technickou otázkou, ale také právní povinností.

Pokud by se prokázalo, že systém pracoval s nevalidními daty, odpovědnost by neslo zdravotnické zařízení, které data spravuje. „Toto všechno musí zdravotníci splnit, pokud chtějí používat umělou inteligenci skutečně kvalifikovaně,“ uzavřel Pospíšil.

První na světě

Akt o umělé inteligenci je prvním komplexním regulatorním nařízením na světě svého druh. Stanovuje harmonizovaná pravidla pro vývoj, uvedení na trh a používání systémů umělé inteligence v Evropské unii. Právní rámec navrhla Evropská komise už v roce 2021. Evropský parlament a Rada ho schválily v prosinci 2023 a publikován byl v Úředním věstníku EU v červenci 2024. Nařízení vstoupilo v platnost následující měsíc a plně se začne uplatňovat od srpna 2026.

Akt zavádí rizikový přístup k regulaci, který AI systémy klasifikuje do čtyř úrovní podle potenciálních rizik pro zdraví, bezpečnost a základní práva: nepřijatelné riziko (například sociální skórování nebo manipulace chování), vysoké riziko (jako biometrické identifikace nebo systémy v kritické infrastruktuře), omezené riziko (vyžadující transparentnost, například chatboti) a minimální riziko (bez specifických povinností). Cílem je podle komise podporovat inovace, chránit občany a posilovat globální roli EU v bezpečném vývoji AI.