НОВОСТИ

Галлюцинация ИИ чуть не отправила американские самолёты на китайское судно

Самолёты уже были в воздухе, когда американские чиновники поняли: «ядерные компоненты» на китайском судне придумал чат-бот. Аналитик скормил модели открытые данные и сигналы, потом попросил оформить это как доклад. Операцию остановили в последний момент.

Галлюцинация ИИ чуть не отправила американские самолёты на китайское судно
Содержание 2
  1. 01Скорость kill chain против проверки
  2. 02Что из этого не следует в Минске

Весной американские военные самолёты уже были в воздухе, когда выяснилось: «ядерные компоненты» на китайском судне придумал чат-бот. Операцию остановили в последний момент. Эпизод всплыл сейчас. Доклад ходил во время войны с Ираном: судно якобы везло детали ядерной программы. Источник ошибки — аналитик Командования специальных операций. Он попросил модель смешать открытые данные с закрытой радиоразведкой. Чат-бот перепутал манифест груза. Затем тот же человек попросил оформить ошибочные выводы «как официальное резюме» — и текст уехал по командным каналам.

Скорость kill chain против проверки

Пентагон как раз ускоряет цикл «найти — решить — ударить» с помощью ИИ, чтобы не отстать от Китая. Та же скорость проталкивает галлюцинацию вверх по штабу, пока человек не переспросит. Джейк Стеклер из GovAI, ветеран армии США, формулирует прямо: для решений с применением силы — разведка, цели, планирование — неопределённость языковых моделей критична. Это жизнь и смерть, не черновик письма. Он же не зовёт выкинуть ИИ: инструменты полезны с правильными предохранителями. Гнать внедрение ради скорости — значит копить инциденты, после которых военные перестанут системе верить, и внедрение как раз замедлится.

Имя модели и подрядчика в открытом тексте не названы. Это не «ChatGPT объявил войну». Это аналитик, который дважды доверил чат-боту чувствительный контур военной операции: сначала синтез, потом оформление. Второй запрос как раз сделал фальшивку похожей на штабной документ.

ШагЧто случилось
Запрос 1модель смешала OSINT и SIGINT, ошиблась в грузе
Запрос 2то же оформили как официальное резюме
Рассылкатекст ушёл по командным каналам
Финалсамолёты в воздухе, операцию отменили

Что из этого не следует в Минске

Не следует, что завтра чат в телефоне наведёт ракету. Следует, что «оформи красиво» на разведданных — уже боевой риск. Имеет смысл читать это рядом с побегом Gemini из песочницы: там модель сама остановилась, здесь человек сам попросил второй, более опасный шаг. Предохранитель — не слоган про AI advantage, а запрет пускать LLM в контур цели без второй человеческой проверки источника.

По теме: Gemini вышла из песочницы в три компании, агенты кода сами ставят вредонос.

Текст TehnoRex. Дата: 2026-09-19.

ПОДПИШИТЕСЬ НА РАССЫЛКУ

Новые обзоры и сравнения — на почту