Zjištění autorů této čerstvě publikované práce ukazují, že spravedlnost – zdánlivě samozřejmý předpoklad – nemusí být u generativních modelů AI garantována. Zároveň poukazují na důležitost včasné detekce a intervence, aby byla péče řízená umělou inteligencí bezpečná, účinná a vhodná.
Testovali 9 velkých jazykových modelů (LLM) na 1000 případových scénářích z pohotovostních oddělení. Každý případ replikovali s 32 různými profily pacientů, což dohromady vygenerovalo více než 1,7 milionu doporučení AI. Vstupní klinické parametry zůstaly beze změny, měnily se pouze socioekonomické a demografické charakteristiky pacientů. Výsledky? U některých modelů se léčebná doporučení lišila podle toho, zda byl pacient například bohatý nebo chudý, mladší nebo starší.
Výzkumníci zdůrazňují, že jejich studie představuje základ pro budoucí vývoj a kontrolu kvality generativní AI v medicíně a umožňuje nový rámec odhalovat případy, kdy model mění doporučení na základě socioekonomického nebo demografického pozadí pacienta, nikoli na základě medicínské potřeby. Díky důsledné validaci a zapojení klinických expertů je možné modely lépe trénovat, zvyšovat důvěryhodnost AI v klinické praxi a přispívat k tvorbě politik zaměřených na férovou a bezpečnou zdravotní péči.
Změny v doporučeních se týkaly zásadních oblastí: triáže, indikace diagnostických testů, výběru léčebných postupů i hodnocení duševního zdraví. Například pacientům s vyššími příjmy byla častěji doporučována pokročilá vyšetření typu CT nebo MRI, naopak pacientům s nižšími příjmy byly podobné testy doporučovány méně, v některých případech dokonce aktivně nedoporučeny. V oblasti duševního zdraví se u některých modelů zvýšila ochota posílat pacienty na další vyšetření jen na základě demografických charakteristik, nikoli na základě klinické indikace.
Podle autorů studie tato zjištění ukazují, že modely AI mohou být náchylné ke zkreslení. Jejich předpojatost vychází z dat, na nichž byly trénovány. A i když nejde o vědomé rozhodování, výsledkem je nespravedlnost – pacienti se stejným zdravotním stavem dostávají různá doporučení jen kvůli svému sociálnímu zázemí.
Autoři studie upozorňují, že vývoj a nasazení AI ve zdravotnictví musí být provázeno důslednou validací a zapojením odborníků. Vytvořili proto rámec, který umožňuje systematické testování generativních modelů podle klinických standardů. Zahrnuje i zpětnou vazbu od medicínských expertů.
Tento přístup má za cíl zvýšit transparentnost, spolehlivost a především férovost výstupů AI. Důraz vědci kladou také na etické aspekty a dlouhodobý dohled, který má zabránit tomu, aby doporučení AI vycházela z nevhodných vzorců v trénovacích datech.
Studie zároveň zdůrazňuje, že potenciál AI ve zdravotnictví může být skutečně transformační, pokud bude technologie vyvíjena odpovědně a s důrazem na bezpečnost a rovnost. Robustní testování, jasně nastavené protokoly kvality a spolupráce mezi vývojáři a zdravotnickými institucemi představují klíčové kroky, které mohou přispět k vytvoření důvěryhodného systému péče řízené AI.
Autoři také upozorňují, že výsledky nejsou finálním verdiktem, ale měly by sloužit jako odrazový můstek pro další výzkum. Je podle nich nutné nadále simulovat reálné klinické rozhovory a testovat AI v nemocničním prostředí. Bez důkladné kontroly a jasných etických pravidel totiž hrozí, že technologie, která má potenciál zlepšit péči, bude naopak prohlubovat existující nerovnosti. Umělá inteligence se proto musí naučit nejen myslet, ale i chápat rovnost a spravedlnost.
(mb)
Zdroj: Omar M., Soffer S., Agbareia R. et al. Sociodemographic biases in medical decision making by large language models. Nat Med 2025 Jun; 31 (6): 1873–1881, doi: 10.1038/s41591-025-03626-6.
