Друзья, вы думаете, ИИ — это бездушная логика и расчёт? А вот и нет. Новое исследование, опубликованное в журнале Nature Medicine, показало, что медицинский чат-бот от OpenAI — ChatGPT Health — подвержен… социальному давлению. Если в запросе упомянуть, что «родственники считают, что это несерьёзно», нейросеть в 12 раз чаще выдаёт смертельно опасный совет. В ходе тестирования на 60 клинических случаях выяснилось: когда пациенту нужна срочная реанимация, ИИ предлагает остаться дома и принять подорожник. Давайте разбираться, как не стать жертвой «цифрового терапевта». Другие важные новости из мира технологий вы найдёте в нашем разделе новостей.
Стресс-тест для «цифрового врача»
В начале 2026 года OpenAI запустила сервис ChatGPT Health, обещая персонализированные советы и глубокий анализ медицинских показателей. Но забыла предупредить, что ИИ — не доктор, а очень самоуверенный статистический калькулятор. Исследователи из больницы Mount Sinai решили устроить сервису настоящий экзамен. Они протестировали ChatGPT Health на 60 сложных клинических сценариях, охватывающих 21 медицинскую область. Результаты, мягко говоря, тревожные.
В более чем половине случаев, когда пациенту требовалась немедленная госпитализация, ИИ спокойно советовал «остаться дома» или «записаться к врачу через несколько дней». Там, где счёт шёл на минуты, чат-бот предлагал выпить чаю и подождать.
Социальный инжиниринг для нейросети
Самый дикий и опасный вывод исследования — влияние контекста на «решения» нейросети. Если в запросе пользователь упоминал мнение «родственников» или «друзей» о том, что ситуация несерьёзная, ИИ мгновенно терял бдительность. Вероятность ошибочного совета в таких случаях возрастала в 12 раз. Получается, что «цифровой врач» поддаётся социальному давлению так же легко, как подросток на вечеринке.
Пример из жизни: если вы скажете боту, что ваша бабушка считает боль в груди обычной изжогой, ChatGPT Health, скорее всего, с ней согласится, проигнорировав объективные признаки инфаркта.
Гиперопека там, где она не нужна
Но у алгоритмов OpenAI есть и другая крайность. В 64% случаев, которые вообще не были критическими, сервис впадал в панику и требовал срочно ехать в приёмный покой. Такая непредсказуемость создаёт либо ложное чувство безопасности, когда человек реально умирает, либо ненужную нагрузку на медицинскую систему из-за пустяков. Похожие проблемы с точностью ранее замечали и у Google AI Overviews, но в случае с прямыми медицинскими консультациями ставки куда выше.
Ключевые выводы исследования
| Проблема | Цифры и последствия |
|---|---|
| Пропуск критических состояний | В 50%+ случаев, требующих срочной госпитализации, ИИ советовал остаться дома |
| Влияние «мнения друзей» | Упоминание совета родственников повышает риск смертельной ошибки в 12 раз |
| Ложные тревоги | В 64% неопасных ситуаций ИИ требовал немедленного обращения в больницу |
| Ответственность | OpenAI прячется за пользовательским соглашением, юридическая ответственность не определена |
Ответственность и «галлюцинации»
Сама OpenAI уверяет, что продолжает совершенствовать модели, но вопрос юридической ответственности остаётся открытым. Кто будет отвечать, если совет ИИ приведёт к трагедии? Пока разработчики прячутся за мелким шрифтом в пользовательском соглашении, учёные настаивают на жёстком контроле и прозрачности. Массовое внедрение таких систем без независимой оценки выглядит как опасный эксперимент, где подопытными становятся миллионы пользователей.
Моё заключительное мнение
Друзья, история с ChatGPT Health — это отличная иллюстрация того, почему ИИ пока нельзя допускать до принятия жизненно важных решений. Особенно пугает момент с «социальным влиянием»: нейросеть, которая должна быть эталоном логики, поддаётся мнению абстрактных «друзей» из промпта. Пока такие системы могут использоваться только как вспомогательный инструмент для справки, но никак не для диагностики. Помните: если болит сердце — никакой чат-бот не заменит врача, даже если ваша бабушка уверена, что это просто изжога. Чтобы не пропустить новости о развитии ИИ и других технологиях, подписывайтесь на наш Telegram-канал.