Povinnosti poskytovatelů zdravotních služeb při využívání systémů umělé inteligence podle Aktu o umělé inteligenci

Souhrn

Akt o umělé inteligenci (AI akt) stanoví zvláštní povinnosti pro subjekty, které systémy AI používají. Ve zdravotnictví se tyto povinnosti týkají poskytovatelů zdravotních služeb jako zavádějících subjektů (deployers) při používání vysoce rizikových systémů AI, kam spadá významná část medicínských aplikací. Jsou uvedeny základní povinnosti zavádějících subjektů se zvláštním důrazem na klinickou praxi a jejich analýza. Tyto povinností souvisí s již existujícími požadavky zdravotnického práva, zejména s požadavky postupu lege artis a institutem informovaného souhlasu.

Klíčová slova:

umělá inteligence – zdravotní služby – AI Akt – vysoce rizikové systémy – zavádějící subjekt

ÚVOD

Nařízení Evropského parlamentu a Rady (EU) 2024/1689, kterým se stanoví harmonizovaná pravidla pro umělou inteligenci (Akt o umělé inteligenci) (dále jen „AI akt“) představuje komplexní právní úpravu umělé inteligence v evropském prostoru (1, 2)[1]. Toto nařízení je postaveno na rizikově orientovaném přístupu k AI systémům a rozlišuje systémy AI podle míry rizika, které představují pro zdraví, bezpečnost a základní práva fyzických osob. Většina ustanovení relevantních pro zdravotnictví, včetně povinností týkajících se vysoce rizikových systémů, nabyde účinnosti v průběhu tohoto a příštího roku[2].

Z pohledu poskytování zdravotních služeb v praxi je zásadní, že AI akt rozlišuje různé typy povinností, které jsou spjaty s rizikovostí používaných AI systémů. Poskytovatelé zdravotních služeb mohou v zásadě užívat všechny typy systémů, ale značná část AI systémů užívaných v medicíně bude spadat do kategorie vysoce rizikových systémů.

Cílem tohoto článku je podat systematický výklad povinností poskytovatelů zdravotních služeb při používání různých typů systémů AI, a to z perspektivy jejich postavení v rámci AI aktu.

VYMEZENÍ POSTAVENÍ POSKYTOVATELE ZDRAVOTNÍCH SLUŽEB V KONTEXTU AI AKTU

AI akt rozlišuje několik kategorií subjektů, z nichž pro zdravotnickou praxi jsou nejvýznamnější dvě: poskytovatel systému AI (provider) a zavádějící subjekt (deployer). Poskytovatel zdravotních služeb bude při používání AI v klinické praxi typicky vystupovat jako zavádějící subjekt ve smyslu čl. 3 bodu 4 AI aktu, tj. jako fyzická nebo právnická osoba, která používá systém AI v rámci své pravomoci. Samozřejmě není vyloučeno, aby poskytovatel zdravotních služeb v rámci své činnosti AI systém také vyvíjel, pak by ale byl poskytovatelem systému AI s přísnějším režimem a větším rozsahem povinností.

Toto rozlišení má zásadní význam. Zatímco poskytovatel systému AI odpovídá za vývoj, konstrukci a uvedení systému na trh, zavádějící subjekt odpovídá za jeho bezpečné použití v konkrétním kontextu. V rámci tohoto článku se soustředíme výhradně na povinnosti poskytovatelů zdravotních služeb jako zavádějících osob, neboť v tomto postavení se budou vyskytovat nejčastěji.

DĚLENÍ AI SYSTÉMŮ A JEJICH UŽITÍ VE ZDRAVOTNICTVÍ

AI akt zavádí klasifikaci systémů umělé inteligence založenou na míře rizika, které tyto systémy představují pro zdraví, bezpečnost a základní práva fyzických osob. Tato klasifikace má zásadní význam pro určení rozsahu povinností, které se na jednotlivé systémy a subjekty podílející se na jejich vývoji a používání vztahují.

Základní členění rozlišuje 4 kategorie systémů: systémy zakázané, systémy vysoce rizikové, systémy s omezeným rizikem a systémy s minimálním či žádným rizikem.

Zakázané systémy umělé inteligence jsou upraveny v čl. 5 AI aktu. Jedná se o systémy, které představují nepřijatelný zásah do základních práv, a jejichž používání je proto v zásadě vyloučeno. Patří sem zejména systémy využívající manipulativní techniky nebo zneužívající zranitelnost osob, systémy sociálního scoringu ze strany veřejných orgánů či některé formy biometrické identifikace ve veřejném prostoru.

Klíčovou kategorií z pohledu zdravotnictví jsou systémy vysoce rizikové, jejichž klasifikace je provedena v čl. 6 AI aktu a v příloze III tohoto nařízení. Za vysoce rizikové jsou považovány jednak systémy AI, které jsou součástí produktů regulovaných harmonizačními právními předpisy Evropské unie a podléhají posouzení shody třetí stranou, jednak systémy výslovně uvedené v příloze III. V oblasti zdravotnictví se jedná především o systémy AI integrované do zdravotnických prostředků podle nařízení (EU) 2017/745 a 2017/746, zejména pokud jsou určeny pro diagnostiku, monitorování, predikci nebo léčbu. Dále sem mohou spadat i systémy využívané pro třídění pacientů nebo určování priority zásahů v urgentní medicíně.

Třetí kategorií jsou systémy s omezeným rizikem, na které dopadají zejména povinnosti transparentnosti podle čl. 50 AI aktu. Jedná se například o systémy určené k interakci s fyzickými osobami nebo systémy generující syntetický obsah. V těchto případech je vyžadováno, aby uživatelé byli informováni o tom, že komunikují se systémem AI, případně aby byl uměle vytvořený obsah odpovídajícím způsobem označen. Pro oblast zdravotnictví se může jednat o použití některých druhů chatbotů.

Poslední kategorií jsou systémy s minimálním nebo žádným rizikem, na které se zvláštní regulatorní požadavky AI aktu nevztahují. Jedná se o běžné aplikace umělé inteligence bez významného dopadu na práva a bezpečnost osob, například spamové filtry nebo doporučující algoritmy.

Uvedené členění má zásadní význam pro právní režim jednotlivých systémů. Zatímco zakázané systémy nelze uvádět na trh ani je používat, u vysoce rizikových systémů je zaveden komplexní režim povinností pro poskytovatele i zavádějící subjekty. Systémy s omezeným rizikem podléhají pouze dílčím požadavkům transparentnosti a systémy s minimálním rizikem zůstávají v zásadě mimo specifickou regulaci.

Z pohledu použití AI systémů ve zdravotnictví je podstatné, že většina z nich bude spadat do kategorie vysoce rizikových systémů, a bude tak podléhat nejpřísnějším požadavkům stanoveným AI aktem.

POVINNOSTI POSKYTOVATELŮ ZDRAVOTNÍCH SLUŽEB JAKO ZAVÁDĚJÍCÍCH SUBJEKTŮ

Jak již bylo uvedeno výše, jsou povinnosti subjektů zavádějících AI systémy odstupňovány v závislosti na rizikovosti systému. První povinností, která se týká všech poskytovatelů zdravotních služeb jako zavádějících subjektů, je zajištění gramotnosti v oblasti AI. Podle čl. 4 mají povinnost přijímat opatření, aby v co největší možné míře zajistili dostatečnou úroveň gramotnosti v oblasti AI u svých zaměstnanců i u všech dalších osob, které se jejich jménem zabývají provozem a používáním systémů AI, s přihlédnutím k jejich technickým znalostem, zkušenostem, vzdělání a odborné přípravě a prostředí, v němž mají být systémy AI používány, a s ohledem na osoby nebo skupiny osob, na kterých mají být systémy AI používány (povinnost zajištění gramotnosti v oblasti AI). Další povinnosti se týkají již výlučně poskytovatelů zdravotních služeb používajících vysoce rizikové systémy AI. Jedná se o následující povinnosti.

Použití systému v souladu s návodem a určeným účelem
(čl. 26 odst. 1 AI aktu)

Základní povinností zavádějícího subjektu je zajistit, aby vysoce rizikový systém AI byl používán v souladu s návodem k použití poskytovaným poskytovatelem systému AI. Tato povinnost zahrnuje přijetí vhodných technických a organizačních opatření, která zajišťují, že systém nebude používán mimo určený účel.

Ve zdravotnické praxi to znamená, že AI systém může být používán pouze v rozsahu jeho zamýšleného účelu; použití pro jiné klinické indikace, než pro které byl validován a certifikován, je nepřípustné. Takové použití by bylo nejen v rozporu s AI aktem, ale i s požadavkem poskytování zdravotních služeb na náležité odborné úrovni.

Zajištění lidského dohledu
(čl. 26 odst. 2 ve spojení s čl. 14 AI aktu)

AI akt výslovně vyžaduje, aby používání vysoce rizikových systémů AI probíhalo pod lidským dohledem. Zavádějící subjekt musí zajistit, aby osoby používající systém měly potřebné kompetence, byly schopny interpretovat jeho výstupy a případně je korigovat –⁠ dohlížející osoby k tomu musí mít nezbytnou způsobilost, odbornou přípravu a pravomoc, jakož i potřebnou podporu. Důležité je tedy zejména, aby vysoce rizikový systém AI byl poskytován zavádějícímu subjektu způsobem, jenž fyzickým osobám pověřeným lidským dohledem umožňuje, aby:

• řádně porozuměly příslušným kapacitám a omezením daného vysoce rizikového systému AI a byly schopny náležitě monitorovat jeho fungování, a to i s ohledem na odhalování a řešení anomálií, dysfunkcí a neočekávaného výkonu;
• si nadále uvědomovaly možnou tendenci automatického nebo nadměrného spoléhání se na výstup vysoce rizikového systému AI, zejména u vysoce rizikových systémů AI užívaných pro poskytování informací nebo doporučení pro rozhodování fyzických osob;

• správně interpretovaly výstup vysoce rizikového systému AI;

• v jakékoli konkrétní situaci rozhodly, že vysoce rizikový systém AI nepoužijí nebo výstup z vysoce rizikového systému AI jiným způsobem nezohlední, zruší nebo zvrátí;
• zasáhly do fungování vysoce rizikového systému AI nebo jej přerušily tlačítkem „stop“ nebo podobným postupem, který umožní systém zastavit v bezpečném módu.

To má zásadní důsledky pro klinickou praxi: AI systém nesmí být používán jako autonomní rozhodovací autorita. Lékař je povinen výstupy AI kriticky hodnotit a nemůže se zprostit odpovědnosti odkazem na výstup systému AI.

Požadavky na vstupní data
(čl. 26 odst. 4 písm. b) AI aktu)

Pokud má zavádějící subjekt kontrolu nad vstupními daty, je povinen zajistit, aby tato data byla relevantní a dostatečně reprezentativní vzhledem k zamýšlenému účelu systému.

V klinickém prostředí má kvalita vstupních dat bezprostřední dopad na kvalitu zdravotní péče, neboť systémy AI s těmito daty pracují. Například systém predikující riziko sepse může poskytovat chybné výstupy, pokud pracuje s neúplnými laboratorními daty nebo s nesprávně zadanými hodnotami. Povinnost poskytovatelů zdravotních služeb jako zavádějících subjektů tedy nespočívá pouze v „technickém spuštění“ systému, ale i v zajištění kvality dat, která do systému vstupují.

Monitorování systému a řízení rizik
(čl. 26 odst. 5 AI aktu)

Poskytovatel zdravotních služeb je povinen monitorovat fungování systému AI a posuzovat rizika, která mohou vzniknout při jeho používání. Pokud zjistí, že použití systému může představovat riziko pro zdraví, bezpečnost nebo základní práva fyzických osob, musí bez zbytečného odkladu informovat poskytovatele systému, distributora a příslušný orgán dozoru nad trhem a zároveň přijmout odpovídající opatření, včetně přerušení používání systému.

V podmínkách zdravotnictví může jít například o situace, kdy AI systém vykazuje systematicky nižší senzitivitu při detekci patologických nálezů u určité skupiny pacientů (např. podle věku či pohlaví).

Uchovávání záznamů
(čl. 26 odst. 6 AI aktu)

Zavádějící subjekt musí uchovávat automaticky generované protokoly o používání systému, pokud je má pod kontrolou, a to po dobu přiměřenou účelu systému, nejméně však 6 měsíců.

V praxi to znamená potřebu nastavit interní procesy tak, aby bylo možné zpětně doložit, kdy a jak byl systém použit, jaké výstupy poskytl a jak s nimi bylo naloženo. Tyto záznamy mohou být klíčové při vyšetřování incidentů i při dokazování v případných sporech.

Informační povinnosti vůči pacientům
(čl. 26 odst. 11 AI aktu)

Ačkoli Akt o umělé inteligenci stanoví pro zavádějící subjekty řadu povinností souvisejících s užitím AI s vysokým rizikem, nikde nestanoví povinnost zavádějícího subjektu informovat pacienta o užití AI při poskytování zdravotní péče ani povinnost vysvětlit, jak a proč AI přispěla k rozhodnutí, které ovlivňuje jeho zdravotní péči. Výjimku představuje článek 26, který stanoví povinnost poskytnout informaci u subjektů, které zavádějí vysoce rizikové systémy AI uvedené v příloze III, které přijímají rozhodnutí nebo pomáhají při přijímání rozhodnutí týkajících se fyzických osob –⁠ v těchto případech musejí být podle bodu 11 tohoto článku pacienti informováni, že jsou vystaveni použití vysoce rizikového systému AI. Návazně na tuto úpravu zakotvuje článek 86 právo na vysvětlení rozhodnutí v konkrétním případě.

Dopad výslovné úpravy práva na informaci a vysvětlení však bude v praxi velmi omezený, neboť se vztahuje pouze na rozhodnutí, které přijal zavádějící subjekt na základě výstupu z vysoce rizikového systému AI uvedeného v příloze III a které má právní účinky nebo se dotčené osoby podobně významně dotýká způsobem, o němž se tato osoba domnívá, že má nepříznivý dopad na její zdraví, bezpečnost nebo základní práva –⁠ mohlo by se jednat např. o rozhodnutí provedená v rámci triáže pacientů. Současně nelze význam tohoto ustanovení podceňovat, neboť v řadě případů zavádějí nemocnice systémy třídění pacientů v urgentních provozech, kde takové rozhodnutí má významný dopad na rozsah pacientovi poskytované péče.

Ačkoli AI akt další informační povinnosti vůči pacientům neobsahuje, nelze dovozovat, že neexistují a tato problematika je rozebrána jinde (3).

Právo na vysvětlení
(čl. 86 AI aktu)

Článek 86 AI aktu zakotvuje právo fyzické osoby získat od zavádějícího subjektu jasné a smysluplné vysvětlení role vysoce rizikového systému AI v rozhodovacím procesu, pokud rozhodnutí má právní účinky nebo se jí obdobně významně dotýká a má nepříznivý dopad na její zdraví, bezpečnost nebo základní práva.

Dopad tohoto ustanovení bude v běžné klinické praxi relativně omezený, neboť se vztahuje pouze na rozhodnutí, které má právní účinky nebo se dotčené osoby podobně významně dotýká způsobem, o němž se tato osoba domnívá, že má nepříznivý dopad na její zdraví, bezpečnost nebo základní práva. Pouze v těchto případech má osoba právo získat od zavádějícího subjektu jasná a smysluplná vysvětlení ohledně úlohy tohoto systému AI v rozhodovacím postupu a v hlavních prvcích přijatého rozhodnutí.

V kontextu zdravotnictví se může jednat například o rozhodnutí o prioritě přijetí nebo o odmítnutí určitého výkonu na základě AI asistovaného třídění.

Hlášení závažných incidentů
(čl. 26 odst. 5 ve spojení s čl. 73 AI aktu)

Součástí povinností zavádějícího subjektu je i hlášení závažných incidentů. Tato povinnost dopadá na případy, kdy použití systému AI vedlo nebo mohlo vést k vážnému ohrožení zdraví pacienta. Definice závažného incidentu je obsažena v čl. 3 bodu 49 AI aktu, podle kterého se jím rozumí incident nebo chybné fungování systému AI, které přímo nebo nepřímo vedou k některému z těchto následků:

• smrt určité osoby nebo závažné poškození zdraví určité osoby;
• závažné a nevratné narušení správy nebo provozu kritické infrastruktury;
• porušení povinností vyplývajících z práva EU, jejichž účelem je ochrana základních práv;
• závažné poškození majetku nebo životního prostředí.

Vedle toho má zavádějící subjekt v případě, kdy AI systémy představují riziko pro zdraví, bezpečnost nebo základní práva osob, povinnost uvědomit poskytovatele nebo distributora systému a příslušné orgány dozoru nad trhem a používání systému pozastavit.

Povinnost provedení posouzení dopadů na základní práva
(čl. 27 AI aktu)

Vedle výše uvedených povinností ukládá AI akt zavádějícím subjektům v některých případech i další povinnost, a to povinnost provést posouzení dopadů na základní práva.

Povinnost provést posouzení dopadů na základní práva (FRIA –⁠ Fundamental Rights Impact Assessment) je stanovena v čl. 27 AI aktu a dopadá na zavádějící subjekty, které jsou veřejnoprávními nebo soukromými subjekty poskytujícími veřejné služby. Jednou z problematických otázek je definice toho, co je veřejná služba. V textu AI aktu není obsažena závazná definice tohoto pojmu, ale o jeho vymezení napovídá bod 96 preambule, kde je uvedeno, že „služby důležité pro jednotlivce, které jsou veřejné povahy, mohou poskytovat i soukromé subjekty. Soukromé subjekty poskytující takové veřejné služby jsou spojeni s úkoly ve veřejném zájmu, například v oblastech vzdělávání, zdravotní péče, sociálních služeb, bydlení či výkonu spravedlnosti.“ Z tohoto bodu lze usuzovat, že se evropský normotvůrce kloní k široce pojatému vymezení okruhu subjektů a pravděpodobně tam bude nezbytné zahrnout buď všechny poskytovatele zdravotních služeb nebo alespoň ty, kteří poskytují zdravotní služby v rámci veřejného zdravotního pojištění. Zde je ovšem nutno vyčkat na bližší vymezení. Tyto subjekty jsou povinny provést posouzení dopadu na základní práva, který může použití takového systému mít.

FRIA musí být provedeno před prvním použitím vysoce rizikového systému AI a musí být průběžně aktualizováno. Obsahem tohoto posouzení je zejména popis zamýšleného použití systému, identifikace dotčených osob a analýza rizik pro jejich základní práva, včetně práva na ochranu zdraví, soukromí či zákazu diskriminace. V podmínkách zdravotnictví může jít například o posouzení dopadů systému používaného pro třídění pacientů, predikci rizika komplikací nebo alokaci omezených zdrojů péče. FRIA by mělo zahrnovat i posouzení možných systematických odchylek (bias) systému a jejich dopadů na různé skupiny pacientů. Součástí musí být rovněž opatření ke zmírnění zjištěných rizik, včetně nastavení lidského dohledu a mechanismů pro podávání stížností.

FRIA doplňuje základní rámec povinností zavádějících subjektů a posiluje důraz na odpovědné a transparentní používání umělé inteligence ve zdravotnictví.

ZÁVĚR

AI akt zavádí pro poskytovatele zdravotních služeb soubor nových povinností, které se promítnou přímo do každodenní klinické praxe. Tyto povinnosti jsou odstupňovány podle míry rizika daného systému, přičemž většina klinicky využívaných AI aplikací bude spadat do režimu vysoce rizikových systémů.

Z praktického hlediska to znamená, že poskytovatel zdravotních služeb musí při používání AI systémů zajistit zejména jejich využívání v souladu s určeným účelem, kontrolu kvality vstupních dat, průběžné monitorování jejich fungování a včasnou reakci na zjištěná rizika, včetně případného přerušení jejich používání. Současně je nutné zajistit odpovídající úroveň znalostí zdravotnického personálu, uchovávání záznamů o používání systému a plnění povinností souvisejících s ochranou pacientů, včetně informování v zákonem stanovených případech a respektování práva na vysvětlení.

Tyto povinnosti představují konkretizaci požadavku poskytování zdravotních služeb na náležité odborné úrovni v podmínkách využívání nových technologií. Jejich primárním cílem je zajistit bezpečnost pacientů a ochranu jejich základních práv, zejména práva na ochranu zdraví, soukromí a rovného zacházení. AI akt přitom nemění základní princip, že odpovědnost za klinické rozhodnutí nese zdravotnický pracovník, ale posiluje jej tím, že vyžaduje, aby používání systémů umělé inteligence probíhalo obezřetně, transparentně a s důrazem na ochranu pacientů.