Авторские права: © 2025 принадлежат авторам. Лицензиат: РНИМУ им. Н.И. Пирогова.
Статья размещена в открытом доступе и распространяется на условиях лицензии Creative Commons Attribution (CC BY).

МНЕНИЕ

Концепция «предсказуемого вреда» при разработке медицинских изделий на основе искусственного интеллекта

И. Р. Бегишев, А. А. Шутова
Информация об авторах

Казанский инновационный университет имени В. Г. Тимирясова, Казань, Россия

Для корреспонденции: Ильдар Рустамович Бегишев
ул. Московская, д. 42, Республика Татарстан, г. Казань, 420111; ur.liam@vehsigeb

Информация о статье

Финансирование: работа выполнена за счет гранта Академии наук Республики Татарстан, предоставленного молодым кандидатам наук (постдокторантам) с целью защиты докторской диссертации, выполнения научно-исследовательских работ, а также выполнения трудовых функций в научных и образовательных организациях Республики Татарстан в рамках Государственной программы Республики Татарстан «Научно-технологическое развитие Республики Татарстан».

Благодарности: авторы выражают искреннюю признательность Академии наук Республики Татарстан за оказанную финансовую поддержку данного исследования по результатам конкурсного отбора (грант № 153/2024-ПД от 16 декабря 2024 г.) для научно-исследовательского проекта «Обеспечение технологического суверенитета системы здравоохранения уголовно-правовыми средствами», а также глубокую благодарность коллективу Научно-исследовательского института цифровых технологий и права Казанского инновационного университета имени В. Г. Тимирясова за ценные консультации и конструктивное обсуждение концептуальных положений исследования.

Вклад авторов: И. Р. Бегишев — концептуализация исследования; разработка теоретических основ понятия «предсказуемого вреда»; анализ специфики рисков, связанных с применением искусственного интеллекта в медицинских изделиях; систематизация типологии предсказуемого вреда; исследование нормативных правовых основ регулирования ИИ-систем в здравоохранении в различных юрисдикциях; формулирование выводов исследования; подготовка первоначального варианта рукописи; А. А. Шутова — разработка методологии прогнозирования и превенции предсказуемого вреда; создание матрицы оценки предсказуемого вреда на различных этапах жизненного цикла медицинских ИИ-систем; формирование рекомендаций по практической имплементации концепции предсказуемого вреда; анализ источников литературы; редактирование и критический пересмотр рукописи с внесением ценного интеллектуального содержания; визуализация исследования (разработка таблиц).

Соблюдение этических стандартов: заседание этического комитета не требовалось, поскольку данное исследование носит теоретико-методологический характер и основано на анализе открытых литературных источников и нормативных правовых документов, без проведения экспериментов с участием людей или животных и без использования персональных данных пациентов.

Статья получена: 03.05.2025 Статья принята к печати: 16.05.2025 Опубликовано online: 15.06.2025
|

Интеграция технологий искусственного интеллекта в сферу медицинских изделий открывает беспрецедентные возможности для совершенствования диагностических процессов, персонализации терапевтических подходов и оптимизации клинических решений. Однако стремительное внедрение ИИ-систем в здравоохранение сопряжено с возникновением специфических рисков, требующих систематического анализа и проактивного управления. В данном контексте концепция «предсказуемого вреда» приобретает ключевое значение как методологический инструмент превентивной идентификации и минимизации потенциальных негативных последствий применения медицинских изделий на основе искусственного интеллекта. Особую значимость при разработке данной концепции имеет критический анализ существующих регуляторных подходов к оценке рисков ИИ-систем в здравоохранении, а также интеграция этических принципов в процесс прогнозирования и предотвращения возможного вреда.

Актуальность исследования обусловлена экспоненциальным ростом рынка ИИ-решений в здравоохранении при одновременной недостаточности унифицированных подходов к оценке их безопасности. Согласно данным аналитического отчета Grand View Research, глобальный рынок искусственного интеллекта в медицине к 2028 г. достигнет 120,2 млрд долларов США с ежегодным приростом около 41,8%, что подчеркивает масштаб вызовов в области обеспечения безопасности пациентов [1].

Целью настоящего исследования является формирование методологических основ идентификации и минимизации предсказуемого вреда при разработке и имплементации медицинских изделий на основе искусственного интеллекта.

Для достижения поставленной цели определены следующие задачи.

  1. Концептуализировать понятие предсказуемого вреда в контексте медицинских ИИ-технологий.
  2. Проанализировать специфику рисков, ассоциированных с применением искусственного интеллекта в медицинских изделиях.
  3. Исследовать существующие подходы к регулированию безопасности ИИ-систем в здравоохранении и провести сравнение с авторской концепцией.
  4. Разработать методологию прогнозирования и превенции потенциального вреда при создании медицинских ИИ-систем с подробной этической проработкой.

ОСНОВНАЯ ЧАСТЬ

Концепция «предсказуемого вреда» в контексте медицинских изделий на основе искусственного интеллекта представляет собой методологический конструкт, интегрирующий принципы предиктивного анализа рисков, проактивного управления безопасностью и итеративной переоценки потенциальных негативных последствий применения технологии. Фундаментальным отличием данной концепции от традиционных подходов к оценке рисков является смещение фокуса с реактивного реагирования на инциденты к превентивному прогнозированию вероятных сценариев возникновения нежелательных явлений, обусловленных спецификой функционирования ИИ-систем.

Терминологическое определение предсказуемого вреда в рассматриваемом контексте может быть сформулировано как совокупность потенциальных негативных последствий применения медицинских ИИ-систем, которые могут быть идентифицированы и минимизированы на основе систематического анализа характеристик технологии, контекста ее применения и возможных траекторий эволюции системы в процессе эксплуатации. Ключевыми атрибутами данного определения являются: прогностический характер оценки, системный подход к анализу рисков и учет динамической природы ИИ-технологий.

На современном этапе уже существует ряд регуляторных подходов к оценке рисков при применении медицинских изделий на основе искусственного интеллекта.

Так, Приказ Министерства здравоохранения Российской Федерации от 7 июля 2020 г. № 686н [2] и письмо Федеральной службы по надзору в сфере здравоохранения от 13 февраля 2020 г. № 02И-297/20 [3] предусматривают ранжирование степени риска, согласно которому все медицинские изделия на основе искусственного интеллекта отнесены к 3-й степени риска еще до их применения и на этапе государственной регистрации. Этот подход ориентирован на централизованное регулирование и априорную высокорисковую классификацию всех ИИ-систем в медицине.

Международный форум регуляторов медицинских изделий (IMDRF, 2014) предлагает дифференцированную классификацию потенциальных рисков медицинских изделий на основе искусственного интеллекта в зависимости от клинического применения и возможного влияния на процесс лечения (Software as a Medical Device: Possible Framework for Risk Categorization and Corresponding Considerations) [4]. Эта классификация учитывает и тяжесть потенциального вреда для пациента, и роль ИИ-системы в клиническом процессе.

Отраслевое приложение к Кодексу этики искусственного интеллекта Альянса в сфере искусственного интеллекта детализирует градацию рисков в зависимости от тяжести ошибок, связанных с применением систем искусственного интеллекта, акцентируя внимание на последствиях неверных врачебных решений [5].

Специфика рисков, ассоциированных с применением искусственного интеллекта в медицинских изделиях, обусловлена рядом уникальных характеристик данных технологий: автономностью функционирования, потенциальной непрозрачностью процесса принятия решений (проблема «черного ящика»), способностью к самообучению и адаптации, а также высокой зависимостью от качества исходных данных [6]. Данные особенности формируют многомерный профиль рисков, требующий дифференцированного подхода к их идентификации и управлению.

Предлагаемая концепция «предсказуемого вреда» отличается мультидименсиональной структурой, ориентированной на весь жизненный цикл ИИ-систем и включает:

  • проактивную ориентацию на выявление рисков;
  • дифференцированный подход к типам вреда (алгоритмический, датацентрический, интеграционный и др.);
  • многоуровневую стратификацию ответственности участников;
  • итеративность оценки рисков и адаптацию к эволюции ИИ-систем;
  • интеграцию технологических и клинических аспектов качества.

В табл. 1 представлена систематизация типов предсказуемого вреда в контексте медицинских ИИ-систем.

Нормативное правовое регулирование безопасности медицинских изделий на основе искусственного интеллекта характеризуется значительной гетерогенностью подходов в различных юрисдикциях. Европейский союз имплементирует структурированную систему регулирования через

Регламент о медицинских изделиях (MDR 2017/745) [7] и Регламент об искусственном интеллекте (AI Act) [8], классифицирующий медицинские ИИ-системы как высокорисковые и устанавливающий строгие требования к их прозрачности и валидации.

Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA) реализует адаптивный подход, основанный на концепции «Pre-Certification Program», фокусирующейся на оценке процессов разработки и культуры качества разработчика [9]. Данный подход предполагает непрерывный мониторинг производительности системы в реальных условиях эксплуатации и итеративную переоценку профиля риск— польза.

На основе анализа существующих подходов и регуляторных требований предлагается интегрированная методология прогнозирования и превенции предсказуемого вреда при разработке медицинских изделий на основе искусственного интеллекта, включающая следующие компоненты: многоуровневая модель оценки рисков, система инклюзивной валидации на разнородных популяциях пациентов, механизмы обеспечения интерпретируемости алгоритмов, инфраструктура непрерывного мониторинга производительности и процессы итеративной переоценки безопасности.

Практическая имплементация предложенной методологии может быть реализована через матрицу оценки предсказуемого вреда, представленную в табл. 2.

Этические аспекты являются неотъемлемой частью концепции «предсказуемого вреда» и отражаются на всех этапах жизненного цикла медицинских изделий на основе искусственного интеллекта. Рассмотрим основные измерения этической ответственности.

  1. Автономия пациента — критически важно обеспечить, чтобы внедрение ИИ-систем не снижало роли пациента в процессе принятия решений. Следует учитывать риски чрезмерного автоматического доверия клиницистов к советам искусственного интеллекта и качество информированного согласия.
  2. Справедливость — предотвращение алгоритмической дискриминации и обеспечение доступа различных групп населения к ИИ-технологиям. Необходимо акцентировать внимание на датацентрических рисках и репрезентативности данных.
  3. Непричинение вреда — учет возможности отложенных и системных последствий, связанных с эволюционными изменениями и самообучающимися алгоритмами.
  4. Прозрачность и объяснимость — обеспечение интерпретируемости решений и возможности аудита как для специалистов, так и пациентов; преодоление эффекта «черного ящика».
  5. Обязательный этический аудит — анализ соответствия использования искусственного интеллекта медицинской этике, регулярная ревизия матрицы риска с учетом уязвимости отдельных категорий пациентов и долгосрочных последствий.

Эти положения отражаются в матрице оценки предсказуемого вреда, представлены в расширенном виде (см. табл. 2).

Использование данной матрицы позволяет структурировать процесс идентификации и минимизации предсказуемого вреда на всех этапах жизненного цикла медицинского изделия на основе искусственного интеллекта, обеспечивая комплексный подход к управлению рисками и соответствие регуляторным и этическим требованиям.

Решающее значение для эффективной имплементации концепции предсказуемого вреда имеет формирование культуры транспарентности при разработке медицинских ИИ-систем. Данный аспект включает открытую коммуникацию относительно ограничений технологии, активное вовлечение клинических специалистов на всех этапах создания продукта и применение принципа «безопасность через дизайн», предполагающего интеграцию механизмов обеспечения безопасности непосредственно в архитектуру системы. В отличие от существующих регуляторных подходов, фокусирующихся преимущественно на технических характеристиках и предварительной классификации рисков, предлагаемая концепция предполагает обязательную интеграцию этических аудитов на каждом этапе жизненного цикла медицинской ИИ-системы. Это требует мультидисциплинарного взаимодействия между разработчиками, клиницистами, специалистами по этике и представителями пациентских сообществ для предотвращения алгоритмической дискриминации, сохранения автономии пациента и поддержания справедливого доступа к преимуществам технологий. Матрица оценки предсказуемого вреда с включением этических и клинических параметров становится не просто инструментом документирования, но и платформой для непрерывного диалога между всеми участниками процесса внедрения ИИ в клиническую практику.

ВЫВОДЫ И ЗАКЛЮЧЕНИЕ

Проведенное исследование позволяет сформулировать следующие основные выводы.

  1. Концепция «предсказуемого вреда» — эффективный инструмент для повышения безопасности внедрения искусственного интеллекта в медицину, превентивно выявляющий и минимизирующий риски.
  2. Уникальные риски применения искусственного интеллекта требуют дифференцированного подхода к управлению — с обязательной интеграцией этических аспектов.
  3. Сравнительный анализ показал, что авторская концепция дополняет и расширяет существующие регуляторные подходы, обеспечивая многомерную, непрерывную и этически подкрепленную оценку вреда.
  4. Перспективы дальнейшей работы связаны с универсализацией методологий и стандартизацией практик оценки рисков создания и применения искусственного интеллекта в здравоохранении.

Таким образом, развитие и практическая имплементация концепции предсказуемого вреда в процессы разработки и внедрения медицинских изделий на основе искусственного интеллекта представляются необходимым условием для обеспечения оптимального баланса между инновационным потенциалом данных технологий и безопасностью пациентов. Сравнительный анализ с существующими регуляторными подходами демонстрирует преимущества предлагаемой концепции в аспекте мультидименсиональной оценки рисков и интеграции этических принципов на всех стадиях жизненного цикла ИИ-систем. Матрица предсказуемого вреда, включающая параметры клинических последствий и этической оценки, позволяет перейти от формальных процедур управления рисками к системному подходу, учитывающему как технологические, так и гуманитарные аспекты применения искусственного интеллекта в медицине. Перспективными направлениями дальнейших исследований в данной области являются разработка стандартизированных методологий оценки рисков для различных категорий ИИ-систем, создание валидированных инструментов этического аудита медицинских ИИ-решений и формирование унифицированных регуляторных требований, синтезирующих технологические стандарты с принципами медицинской этики и ориентированных на долгосрочные социальные последствия внедрения интеллектуальных технологий в здравоохранении.

КОММЕНТАРИИ (0)