Social hazards of using artificial intelligence in medicine

UDC 004
Publication date: 27.05.2025
International Journal of Professional Science №5(2)-25

Social hazards of using artificial intelligence in medicine

Социальные риски использования искусственного интеллекта в медицине

Vershinina V. A.
Pronkin N.N.,

1. Sechenov First Moscow state medical University of the Ministry of health of the Russian Federation, 3th Grade.
2. PhD, associate Professor – Sechenov First Moscow state medical University of the Ministry of health of the Russian Federation (Sechenov University).


Вершинина В.А.
Научный руководитель: Пронькин Н.Н.,

1. ФГАОУ ВО Первый Московский государственный медицинский университет имени И.М. Сеченова Министерства здравоохранения Российской Федерации (Сеченовский Университет), 3 курс.
2. к.э.н, доцент – ФГАОУ ВО Первый Московский государственный медицинский университет имени И.М. Сеченова Министерства здравоохранения Российской Федерации (Сеченовский Университет).
Аннотация: В статье рассмотрены основные социальные риски внедрения искусственного интеллекта в сферу медицины, такие как социальное и цифровое неравенство, угроза конфиденциальности данных пациентов, снижение профессиональных навыков медперсонала, а также изменение устоявшихся моделей взаимодействия врач-пациент. Приведены современные данные, свидетельствующие об утечках медицинской информации, раскрыто понятие феномена «черного ящика», «эффекта ленивого врача», рассмотрены особенности концепции ответственного искусственного интеллекта (Responsible AI), глобального индекса ответственного искусственного интеллекта (GIRAI).

Abstract: The article examines the main social risks of introducing artificial intelligence into medicine, such as social and digital inequality, threats to patient data confidentiality, declining professional skills of medical personnel, and changes in established models of doctor-patient interaction. It provides modern data indicating medical information leaks, reveals the concept of the "black box" phenomenon, the «lazy doctor effect» and discusses the features of the concept of responsible artificial intelligence (Responsible AI), the global index of responsible artificial intelligence (GIRAI).
Ключевые слова: искусственный интеллект, цифровое неравенство, конфиденциальность данных, эффект чёрного ящика, ответственный ИИ

Keywords: artificial intelligence, digital divide, data privacy, black box effect, responsible AI


Искусственный интеллект играет всё более значимую роль в различных измерениях жизни современного человека и меняет основные сферы общества, где институт медицины не является исключением. Однако прежде чем полностью принимать преимущества внедрения технологий искусственного интеллекта, следует обратиться к дискуссиям [1-3, 5-11], касающимся социальных аспектов их применения в столь важной сфере как здравоохранение. Среди потенциальных социальных рисков использования технологий искусственного интеллекта в сфере здравоохранения особое беспокойство вызывают такие, как цифровое и социальное неравенство [1], угроза конфиденциальности данных [5, 6], возможная девальвация медицинского образования [7, 8], снижение компетенций медицинского персонала [4, 5] и изменения в модели коммуникации между врачом и пациентом [6]. Несмотря на вышеуказанные риски, развитие технологий искусственного интеллекта в медицине сулит возможные улучшения процессов диагностики и лечения, прогнозировании и оптимизации лечебных процессов, а также процессов, связанных с управлением данными пациентов [9-11], что заставляет расширять их использование.

Большинство алгоритмов искусственного интеллекта являются довольно сложными системами, вследствие чего возникает эффект «черного ящика», то есть непонимания причин принятие тех или иных решений. Это лишь усиливает сложность взаимодействия с интеллектуальными системами и снижает доверие к применению искусственного интеллекта в здравоохранении как пациентами, так и врачами [7]. Как результат, обсуждается вопрос о необходимости разработки принципов ответственного искусственного интеллекта и этического управления в области его применения, особенно в сфере здравоохранения, чтобы гарантировать безопасность, справедливость и прозрачность медицинских технологий [8]. Цель этой статьи — выявить основные социальные риски, возможные в случае активного использования технологий искусственного интеллекта в сфере здравоохранения, обозначенные в современных эмпирических и теоретических исследованиях.

Государства с высокоразвитой цифровой инфраструктурой получают доступ к современным интеллектуальным системам в медицине значительно раньше, чем страны с ограниченными цифровыми ресурсами, что формирует неравенство в доступе к качественной цифровой медицине и новым технологиям [1, 9] и является отражением первого уровня цифрового разрыва [27]. Кроме того, значительная доля населения даже в странах с высоким доступом к цифровым технологиям сталкивается с трудностями в части использования цифровых медицинских сервисов. Согласно данным Всемирной организации здравоохранения, в 2022 году свыше 30% граждан в странах Европейского Союза признавались в недостаточном уровне цифровой грамотности для использования медицинских цифровых сервисов [10], что свидетельствует о высоком социальном значении и второго уровня цифрового разрыва [27].

Для обучения интеллектуальных систем необходимо обладать огромными массивами данных, а в случае со сферой здравоохранения, им потребуется информация о пациентах, их медико-генетических, а также биометрических характеристиках. По данным IBM Security, в последние годы наблюдается рост утечек медицинской информации; в 2023 году средние затраты на одну утечку в этой области составили 10,93 миллионов долларов, что значительно выше в сравнении с другими отраслями [11]. В России, как и в других странах, медицинские учреждения зачастую являются источниками утечек конфиденциальной информации [30], что в значительной степени влияет на опасения пациентов и подрывает доверие к новым технологиям. В современных исследованиях также отмечается, что сфера медицины является объектом интереса со стороны кибер-преступников [12], увеличивая риски несанкционированного доступа, нарушения целостности данных и способствует подрыву доверия к медицинским учреждениям [13].

Модели искусственного интеллекта, в особенности, использующие глубокое обучение (deep learning), отличаются высокой точностью, но в то же время, они не обеспечивают прозрачность для своих решений и выводов. Данный феномен получил название «чёрный ящик» [7]. Непрозрачность логики некоторых моделей искусственного интеллекта приводит к недоверию со стороны медперсонала и может затруднять различные процессы, например, клиническую интерпретацию полученных данных. В некоторых исследованиях отмечается нежелание и неготовность врачей следовать рекомендациям искусственного интеллекта, в частности, по причине отсутствия прозрачной, чёткой, понятной логики, а также из-за опасений возможной юридической ответственности в случае ошибки [14]. Таким образом, отсутствие чётких принципов логики и интерпретируемости интеллектуальных систем снижает уровень доверия к таковым среди медицинского персонала, а также, может ограничивать их применение в медицинских учреждениях.

Активное внедрение интеллектуальных систем в ежедневную врачебную практику, например, автоматизация процессов диагностики с их помощью может послужить причиной девальвации медицинского образования и снижению профессиональных компетенций молодых специалистов. По данным одного из исследований, студенты направления подготовки «Лечебное дело», регулярно использующие интеллектуальные технологии, например, чат GPT, в рамках своей академической деятельности, имеют меньшую мотивацию к выполнению сложных клинических задач, чем ограничивают развитие своих профессиональных аналитических навыков [1]. Говоря о привычке молодых медицинских специалистов обращаться к технологиям искусственного интеллекта, исследователи выявили феномен, который назвали «эффект ленивого врача» (lazy doctor effect). Его суть такова: медицинские работники систематически обращаются к алгоритмам с целью принятия решений, что ведёт к потери способности мыслить самостоятельно [4, 5] и может привести к фатальным ошибкам в случае столкновения с нетипичной клинической картиной, поскольку в нестандартных ситуациях технологии искусственного интеллекта неэффективны или даже способны выдавать неверные рекомендации и выводы [15, 16].

Применение новых технологий в медицине также может внести коррективы в традиционные модели взаимодействия врача и пациента, так как использование автоматизированных решений в рамках врачебной практики может нарушать некоторые этические принципы и подрывать доверие к медицинским специалистам [6]. По данным ряда исследований [15, 16], модели на базе технологий искусственного интеллекта могут превосходить точность диагностики некоторых заболеваний, например, рака легких, диабетической ретинопатии, что потенциально может заставить пациентов усомниться в авторитете и компетенции врачей.

Этические вопросы использования технологий искусственного интеллекта в медицине обусловлены, в первую очередь, отсутствием четкого правового регулирования, поскольку это относительно новая практика для сферы здравоохранения. Как результат, один из самых спорных моментов связан с тем, что не вполне очевидно, кто должен нести юридическую ответственность за возможные ошибки, совершенные врачами при использовании искусственного интеллекта. При совершении ошибочных действий, таких как некорректное назначение медицинских обследований и процедур, неточности на этапе диагностики из-за использования алгоритмических систем и т.д. возникает неопределенность в аспекте выявления ответственных за произошедшую ошибку. Ответственность за нее можно возложить не только на врачей, использующих интеллектуальную систему, но и на разработчиков программного обеспечения, а также на медицинскую организацию, которая допустила применение искусственного интеллекта [17, 18]. ВОЗ, Европейская комиссия и ЮНЕСКО подчеркивают необходимость разработки международных стандартов, норм и правовых документов, которые будут обеспечивать этичное и безопасное использование технологий искусственного интеллекта в здравоохранении [19], так как без четкого регламента возможны судебные разбирательства, снижение доверия к институту медицины и правовая незащищенность врачей и пациентов.

В качестве ответа на данные вызовы была разработана концепция ответственного искусственного интеллекта (Responsible AI), согласно которой на каждом этапе создания и применения технологий искусственного интеллекта следует опираться на принципы проектирования, разработки, внедрения и управления, которые защищали бы права пользователей и поддерживали бы этические стандарты [28]. Кроме того, концепция ответственного искусственного интеллекта подразумевает, что в процессе принятия медицинских решений обязательно должен участвовать человек (human-in-the-loop), что позволит сохранить гуманистическую составляющую в сфере здравоохранения [20]. Концепция основывается на таких принципах, как объяснимость, справедливость, прозрачность и подотчетность [8]. Предполагается, что следование этим принципам поможет снизить риски, обеспечить активное информированное согласие пациентов в процессе принятия решений, нивелировать последствия возможных ошибочных действий.

Глобальный индекс ответственного искусственного интеллекта (GIRAI) – это первый инструмент, позволяющий установить глобально значимые ориентиры для развития новых технологий и оценить их влияние в странах по всему миру. В своем первом издании данный индекс охватывает 138 стран, в том числе 41 страну Африки [28-29].

Таким образом, применение искусственного интеллекта в медицине может предоставить принципиально новые способы диагностики, помочь оптимизировать временные затраты на принятие клинических решений и способствовать более широкому использованию персонализированной терапии. Однако при применении технологий искусственного интеллекта в медицине также следует учитывать новые социальные риски, начиная с усиления цифрового неравенства и угрозы конфиденциальности данных, и снижения врачебных компетенций и изменения устоявшихся моделей взаимодействия врач-пациент, и, в конечном итоге, росту судебных процессов, связанных с отсутствием законов, регулирующих подобные ситуации. Для безопасной и этически обоснованной интеграции новых технологий в медицину требуются национальные и международные правовые нормы, внедрение принципов ответственного искусственного интеллекта, повышение цифровой грамотности всеми участниками процесса – медиками и пациентами, критический мониторинг последствий автоматизации медицинских решений. Только подобный комплексный подход позволит использовать возможности искусственного интеллекта во благо общества и не ставить под угрозу фундаментальные ценности здравоохранения.

References

1. Mesko B. The Role of Artificial Intelligence in Precision Medicine. Expert Review of Precision Medicine and Drug Development. 2017, № 5, p. 239-241.
2. Price, W. N., & Cohen, I. G. Privacy in the Age of Medical Big Data. Nature Medicine, 25(1), 37–43 (2019).
3. Mittelstadt B. Principles Alone Cannot Guarantee Ethical AI. Nature Machine Intelligence. 2019; 1(11):501–507.
4. Coiera, E. The Price of Artificial Intelligence. Yearb Med Inform, 2019;28:14–15.
5. Topol, E. Deep Medicine: How Artificial Intelligence Can Make Healthcare Human Again. Basic Books, 2019.
6. Luxton, D. D. Artificial Intelligence in Behavioral and Mental Health Care. Elsevier Academic Press., 2016.
7. London, A. J. Artificial Intelligence and Black-Box Medical Decisions: Accuracy versus Explainability. Hastings Center Report, 2019; 49(1):15–21.
8. Floridi L., Cowls J. A Unified Framework of Five Principles for AI in Society. Harvard Data Science Review. 2019; 1(1).
9. Suleyman M., Bhaskar K. The Coming Wave: Technology, Power, and the Twenty-first Century’s Greatest Dilemma. Crown Publishing, 2023.
10. WHO. Ethics and governance of artificial intelligence for health. Geneva: World Health Organization; 2021.
11. IBM Security. Cost of a Data Breach Report 2023. IBM Corporation.
12. Biasin E., Kamenjasevic E., Ludvigsen K. Cybersecurity of AI medical devices: risks, legislation, and challenges, 2023, DOI:10.48550/arXiv.2303.03140
13. Ludvigsen K. R. The Role of Cybersecurity in Medical Devices Regulation: Future Considerations and Solutions. Law Technology and Humans 2023, 5(2):59-77.
14. Grote T, Berens P. On the ethics of algorithmic decision-making in healthcare. J Med Ethics. 2020 Mar;46(3):205-211.
15. Ardila D, Kiraly AP, Bharadwaj S, Choi B, Reicher JJ, Peng L, Tse D, Etemadi M, Ye W, Corrado G, Naidich DP, Shetty S. End-to-end lung cancer screening with three-dimensional deep learning on low-dose chest computed tomography. Nat Med. 2019 Jun;25(6):954-961.
16. Gulshan V, Peng L, Coram M, Stumpe MC, Wu D, Narayanaswamy A, Venugopalan S, Widner K, Madams T, Cuadros J, Kim R, Raman R, Nelson PC, Mega JL, Webster DR. Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Retinal Fundus Photographs. JAMA. 2016 Dec 13;316(22):2402-2410.
17. Morley J, Machado CCV, Burr C, Cowls J, Joshi I, Taddeo M, Floridi L. The ethics of AI in health care: A mapping review. Soc Sci Med. 2020 Sep;260:113172.
18. Gerke S, Minssen T, Cohen G. Ethical and legal challenges of artificial intelligence-driven healthcare. Artificial Intelligence in Healthcare. 2020:295–336.
19. UNESCO. Recommendation on the Ethics of Artificial Intelligence, 2021.
20. Dignum V. Responsible Artificial Intelligence: How to Develop and Use AI in a Responsible Way, 2019. DOI:10.1007/978-3-030-30371-6
21. Siafakas N.M. Medical ethics prototype for artificial intelligence ethics // Journal of Philosophy and Ethics. — 2023. — Vol. 5, No. 2. — . 1–3.
22. Rajpurkar P., Chen E., Banerjee O., Topol E.J. AI in health and medicine // Nature Medicine. — 2022. — Vol. 28. — 31–38.
23. Ribeiro M.T., Singh S., Guestrin C. Why should I trust you? Explaining the predictions of any classifier // Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. — 2016. — 1135–1144.
24. Zaidi SF, Shaikh A, Surani S. The Pulse of AI: Implementation of Artificial Intelligence in Healthcare and its Potential Hazards. Open Respir Med J. 2024.
25. Gerke S., Minssen T., Cohen G. Ethical and legal challenges of artificial intelligence-driven healthcare // Artificial Intelligence in Healthcare. Academic Press, 2020. 295–336.
26. Rodgers CM, Ellingson SR, Chatterjee P. Open Data and transparency in artificial intelligence and machine learning: A new era of research. F1000Res. 2023.
27. Мартыненко Т.С., Добринская Д.Е. Социальное неравенство в эпоху искусственного интеллекта: от цифрового к алгоритмическому разрыву // Мониторинг общественного мнения: экономические и социальные перемены. 2021. № 1. С. 171–192.
28. Сертификация ответственного ИИ/A Certification for Resposible AI, RAI [Электронный ресурс]. URL: https://ai.gov.ru/knowledgebase/etika-i-bezopasnost-ii/2022_sertifikaciya_otvetstvennogo_ii_a_certification_for_resposible_ai_rai/ (дата обращения 17.04.2025).
29. Igniting global action on responsible AI, with local evidence. [Электронный ресурс]. URL: https://www.global-index.ai/ (дата обращения 17.04.2025).
30. Кошкин В. Топ-менеджер Сбербанка: Данные 90% взрослых россиян есть в открытом доступе // Российская газета. URL: https://rg.ru/2024/11/06/top-menedzher-sberbanka-dannye-90-vzroslyh-rossiian-est-v-otkrytom-dostupe.html (дата обращения: 17.04.2025).