Авторские права: © 2025 принадлежат авторам. Лицензиат: РНИМУ им. Н.И. Пирогова.
Статья размещена в открытом доступе и распространяется на условиях лицензии Creative Commons Attribution (CC BY).

ОРИГИНАЛЬНОЕ ИССЛЕДОВАНИЕ

Классификация рисков применения систем искусственного интеллекта в сфере психического здоровья

Н. В. Семенова, К. Л. Мартынюк
Информация об авторах

Национальный медицинский исследовательский центр психиатрии и неврологии имени В. М. Бехтерева, Санкт-Петербург, Россия

Для корреспонденции: Наталия Владимировна Семенова
ул. Бехтерева, д. 3, г. Санкт-Петербург, 191019, Россия; ur.verethkeb@gro

Информация о статье

Благодарности: авторы выражают глубокую признательность кандидату исторических наук, советнику директора ФГБНУ «Национальный НИИ общественного здоровья имени Н. А. Семашко», председателю Независимого междисциплинарного комитета по этической экспертизе клинических исследований, председателю Межвузовского комитета по этике Елене Алексеевне Вольской за поддержку идеи статьи и консультации по вопросам этики.

Вклад авторов: Н. В. Семенова — идея статьи, постановка проблемы, обсуждение ключевых содержательных и этических вопросов, планирование и обсуждение статьи, редактирование текста статьи, ее оформление; К. Л. Мартынюк — участие в обсуждении проблемы, изучение мирового опыта и литературы по теме, систематизация и обобщение данных, участие в обсуждении результатов, написание основного текста статьи.

Соблюдение этических стандартов: заседание этического комитета не проводилось, так как материалом для публикации послужили теоретические положения без участия пациентов; подготовка статьи проводилась с соблюдением этических норм.

Статья получена: 22.04.2025 Статья принята к печати: 20.05.2025 Опубликовано online: 09.06.2025
|

Высокая потребность в медико-психологической и психотерапевтической помощи у граждан, особенно проживающих в мегаполисах [1], при недостаточной обращаемости за этими видами помощи в государственные учреждения здравоохранения в связи со стойкой общественной стигмой, способствует сохранению неравенства в доступе к передовым медицинским технологиям превенции нарушений психического здоровья, стресс-ассоциированных и психосоматических заболеваний, нефармакологическим методам вмешательств при психических расстройствах.

Несвоевременная обращаемость приводит к позднему оказанию помощи пациенту, как правило, в состоянии с более выраженными нарушениями, увеличивая требования к объему, сложности и стоимости вмешательств при меньшем потенциале восстановления функционирования и качестве прогноза, что в итоге способствует профессиональному выгоранию квалифицированных кадров с ростом потерь трудоспособности и снижению производительности, ухудшению здоровья и общему снижению качества жизни сотрудников. При этом психические расстройства (ПР) уже более 20 лет являются ведущим фактором глобального бремени болезней по количеству лет жизни с нетрудоспособностью [2, 3], сохраняя высокую нагрузку на социальные фонды.

Одним из перспективных решений для улучшения доступа граждан к современным медицинским технологиям профилактики нарушений психического здоровья, стресс-ассоциированных и психосоматических заболеваний, ранней диагностики и коррекции психических нарушений и факторов риска их развития, а также расширения возможностей психотерапевтических вмешательств при психических расстройствах в условиях ограниченной доступности медико-психологической и психотерапевтической помощи, вследствие сохраняющегося дефицита соответствующих кадров профильных служб, представляется применение систем на основе искусственного интеллекта (СИИ). В научной литературе идет активная дискуссия и обсуждение первого опыта их применения [412].

В работах последних лет исследователями высказываются оптимистичные надежды на возможности ИИ, поскольку ИИ-модели все более способны имитировать реальное взаимодействие с людьми. Это может способствовать не только проведению лечения, но и приверженности лечению, по сравнению с другими формами электронного здравоохранения. Так, например, приложения на основе разговорного ИИ оказались эффективными в снижении симптомов депрессии и тревоги, предотвращении стресса, общего дистресса и негативных аффектов, а также улучшении самочувствия [4, 8, 13]. При этом отмечаются как существенные негативные факторы неконтролируемый рост числа ИИ-приложений и трудности в отслеживании эмпирических результатов применения СИИ [1012].

Среди наиболее обсуждаемых направлений применения ИИ в сфере охраны психического здоровья можно выделить следующие:

  • поддержка принятия решений при диагностике психических расстройств и выбора тактики лечения;
  • функция «диспетчера» и «медицинского ассистента», повышающих приверженность людей профилактическим, диагностическим и лечебным мероприятиям;
  • динамическое наблюдение за состоянием пациентов, страдающих психическими расстройствами;
  • прогнозирование риска обострения психического расстройства;
  • немедикаментозный контроль симптомов психического расстройства с применением! ИИ-терапевта»;
  • коррекция эмоциональных проблем с применением ИИ-моделей, использующих методы психотерапии и психокоррекции;
  • профилактика эмоциональных расстройств, предполагающая применение ИИ с целью развития эмоционального интеллекта и стрессоустойчивости.

Учитывая высокую уязвимость контингента граждан с момента их обращения к специалистам в области психического здоровья, ограниченную практику применения профильными специалистами технических устройств в клиническом процессе и еще формирующееся регулирование допуска медицинских изделий (МИ) на основе ИИ к обращению (по Постановлению Правительства РФ от 27.12.2012 № 1416 (с изменениями на 24 ноября 2020 г.) такие МИ отнесены к третьему (максимальному) классу риска) [14], представляется актуальным рассмотреть риски внедрения СИИ в сфере психического здоровья и возможности управления такими рисками в зависимости от различных факторов, влияющих на клинические исходы, а также этические аспекты, связанные с оказанием этого вида медицинской помощи с применением СИИ.

Приведенный в публикациях опыт медицинского применения СИИ [218] позволяет определить характерные источники рисков: связанные с технологическими особенностями разработки и эксплуатации ИИ-моделей и систем на их основе; специфические для применения в соответствующей клинической сфере; этические и общественные аспекты, охватывающие базовые принципы гражданских прав и свобод, справедливости, конфиденциальности, безопасности и прозрачности [1518]. При этом последние также являются сквозными для всего жизненного цикла МИ: «Изготовитель должен установить, документировать и поддерживать в рабочем состоянии непрерывный процесс идентификации опасностей, связанных с МИ, определения и оценивания сопутствующих рисков, управления данными рисками и мониторинга такого управления на протяжении всего жизненного цикла МИ (от замысла, включая научные исследования, до вывода из эксплуатации. — Прим. по п. А.2.1 Область применения) в соответствии с требованиями ГОСТ ISO 14971» [2]. Еще более строгие обязательства возникают у производителей медицинских СИИ, если руководствоваться принципами «Кодекса этики искусственного интеллекта в национальном здравоохранении» [15]: «Разработчики СИИ должны придерживаться этических обязательств и ценностей, которыми руководствуется медицинский персонал в своих действиях по отношению к пациенту в клинической практике, включая Кодекс профессиональной этики врача Российской Федерации» (статья 3 проекта Кодекса), что представляется оправданным с учетом специфики разработки СИИ и свойственных им ограничениям возможности контроля индивидуальных рисков в процессе эксплуатации таких систем в реальной клинической практике, особенно в условиях самостоятельного применения пациентом.

Обобщенные источники рисков ИИ приведены в ПНСТ 840-2023 «Искусственный интеллект. Обзор этических и общественных аспектов» [17]. К ним относятся:

  • несанкционированные средства или способы сбора, обработки или раскрытия персональных данных;
  • получение и использование необъективных, неточных или нерепрезентативных данных для обучения СИИ;
  • непрозрачное принятие решений в области машинного обучения (ML) или недостаточное документирование, обычно называемое отсутствием объяснимости;
  • отсутствие возможности отслеживания (итеративная неточность моделей ИИ, работа в открытой контекстной среде с непредвиденными событиями и условиями);
  • недостаточное понимание общественного воздействия технологии после ее внедрения.

Специфические источники рисков применения СИИ в сфере психического здоровья:

  • ограничение применения принципа непричинения вреда в условиях неполной отказоустойчивости, недостаточной для реальной клинической практики точности работы или эффективности моделей, или непредсказуемости СИИ при работе в пограничных условиях;
  • отсутствие прозрачности в отношении характера услуг, предоставляемых СИИ — представление как ассистента, при этом использующего терапевтические методы;
  • отсутствие контроля над отзывами и рекомендациями, которые пользователи получают от автономных СИИ, основанных на генеративных моделях;
  • ограниченное понимание реализуемых СИИ компонентов клинического процесса, которые составляют основу эффективности психотерапевтических вмешательств;
  • влияние СИИ на автономию и свободу воли: формирование зависимого от СИИ реагирования/ поведения пациента, вследствие сверхдоступности, формирования привязанности (антропоморфизации) или чрезмерного доверия к СИИ и потери качества контакта со специалистом, или развитие беспокойства, стресса, ипохондрии, вследствие постоянного и частого использования СИИ;
  • повышение устойчивости стигмы, связанной с нарушением психического здоровья, вследствие поощрения пользователей использовать СИИ или в условиях фактической безальтернативности, и расширение возможностей рискованного самолечения при некорректной интерпретации ответа системы.

Таким образом, для моделирования специфических для сферы психического здоровья рисков применения СИИ следует обозначить семантическое пространство по направлениям: цели применения СИИ, континуум соответствующих клинических состояний и исходов, безопасность программных комплексов, этическая определенность.

В настоящих условиях развития технологий в сфере психического здоровья СИИ применимы для следующих целей (на основе ГОСТ Р 59525-2021 «Информатизация здоровья. Интеллектуальные методы обработки медицинских данных. Основные положения» [1920]):

  • для диагностики, профилактики, наблюдения, лечения или облегчения заболеваний;
  • поддержания жизнедеятельности (если в это понятие включить также автономию пациента);
  • функционирования систем поддержки принятия врачебных решений;
  • прогнозирования появления и/или развития заболеваний на основе генетических данных.

При этом последний пункт в сфере психического здоровья может трактоваться и как данных био-психо-социальных факторов, например, основные модели реагирования/поведения, как правило, неосознанно заимствуются ребенком в родительской семье и формируют характерный паттерн, в дальнейшем свойственный его личности, что в не меньшей мере может влиять на устойчивость к стрессу и вероятность развития стресс-ассоциированных заболеваний.

Следовательно, обоснованное в соответствии с принципами доказательной медицины применение СИИ ограничивается состояниями от распознаваемых посредством валидированных для российской популяции диагностических методов субклинических нарушений до угрозы жизни и здоровья пациента или окружающих (последнее актуально для ряда хронических и затяжных психических расстройств с тяжелыми стойкими или часто обостряющимися болезненными проявлениями).

Принимая во внимание принцип классификации используемого при оказании медицинской помощи программного обеспечения (ПО), к которому относятся СИИ, в отношении безопасности — присвоение класса согласно риску причинения вреда пациенту, пользователю или иным лицам, исходя из опасной ситуации, в которую программная система (ПС) может внести свой вклад при наихудшем сценарии [2]:

  • класс А — ПС может способствовать возникновению опасной ситуации, которая не приводит к недопустимому риску;
  • класс В — ПС может способствовать возникновению опасной ситуации, которая приводит к недопустимому риску, и вытекающий из этого возможный вред не является серьезной травмой;
  • класс С — ПС может способствовать возникновению опасной ситуации, которая приводит к недопустимому риску, и в результате возможным вредом является смерть или серьезная травма;

Уточним, что при нарушении психического здоровья понятию недопустимого риска, не влекущего серьезной травмы или смерти, наиболее соответствуют последствия в виде социальных ограничений или ограничений функционирования пациента, а также связанные с тесным взаимодействием с таким пациентом устойчивые последствия дезадаптации у ближайшего окружения (совместно проживающие родственники, особенно несовершеннолетние в процессе формирования личности, и лица, длительно осуществляющие непрофессиональный уход). Граничным условием градации в пределах допустимого риска следует считать прогрессирование тяжести нарушений или устойчивые последствия дезадаптации у пациента, поскольку управление такими рисками доступно в полном объеме в рамках качественного клинического процесса (приверженность лечению, терапевтический альянс, соответствие клиническим рекомендациям, научно обоснованные инновационные методы вмешательств).

С целью расширения возможностей внедрения ИИ в обеспечивающих и вспомогательных процессах целесообразно учесть значимость информации для принятия медицинских решений, которая обрабатывается СИИ, и в разной степени может оказывать влияние на уровень клинических рисков [18] в диапазоне:

  • данные (в том числе интерпретируемые СИИ) для диагностики или лечения (включая клиническую прогнозную аналитику);
  • данные для клинического менеджмента (включая организационную прогнозную аналитику);
  • данные мониторинга и ведения пациента (в том числе вводимые в СИИ пациентом или лицом, осуществляющим уход).

Полагаем допустимым последовательное снижение уровня риска на каждую ступень приведенной градации значимости информации, так как это соответствует снижению влияния данных на клинические решения,

вследствие возможности максимального контроля индивидуальных рисков в рамках качественного клинического процесса.

Таким образом возможно предложить следующую градацию в виде 2-мерной матрицы (рисунок), уровня риска применения СИИ в сфере психического здоровья:

а) в  отношении безопасности (клиническое состояние, связанное с потенциальными последствиями):

  • категория риска IV — опасность для жизни и здоровья пациента или окружающих;
  • категория риска III — социальные ограничения или ограничения функционирования пациента или устойчивые последствия дезадаптации у ближайшего окружения;
  • категория риска II — прогрессирование тяжести нарушений или устойчивые последствия дезадаптации у пациента;

б)  в отношении значимости процессов (уровень решений на основе информации СИИ):

  • категория риска N — диагностика или лечение (включая клиническую прогнозную аналитику);
  • категория риска N-1 — клинический менеджмент (включая организационную прогнозную аналитику);
  • категория риска N-2 ≥ 1 — данные мониторинга и ведения пациента.

Предложенная система классификации рисков применения СИИ в сфере психического здоровья позволит расширить возможности внедрения медицинских СИИ в клиническую практику при сохранении высокого уровня контроля как индивидуальных, так и общественных (микро- и макросоциальных) рисков нарушения психического здоровья и развития стресс-ассоциированных заболеваний, а также способствовать увеличению доступности квалифицированной помощи и, соответственно, более ранним вмешательствам при психических расстройствах с высоким потенциалом восстановления функционирования, а также сохранению качества жизни пациентов. При этом обеспечивается возможность качественного управления этическими рисками профильного применения СИИ на протяжении всего жизненного цикла (от замысла, включая научные исследования, пострегистрационный мониторинг качества/эффективности и рекалибровку ИИ-моделей, до вывода из эксплуатации) медицинского изделия на основе ИИ на всех уровнях нормативных и отраслевых требований.

КОММЕНТАРИИ (0)