Глава Microsoft Сатья Наделла опубликовал пространный текст с изложением своих взглядов на риски продвинутых ИИ-моделей. Главный тезис: относиться к ним как к «набору вложенных чёрных ящиков», чьи советы и действия мы просто принимаем или отвергаем, больше нельзя.
Вместо этого он предлагает строить систему, в которой модели можно изолировать, наблюдать за их работой и получать «защищённые от подделки доказательства, читаемые человеком». Иными словами, у каждого решения ИИ должен оставаться понятный след, который нельзя незаметно переписать.
Что предлагается делать
Часть рекомендаций совпадает с тем, о чём говорят и другие участники рынка: своевременное раскрытие инцидентов, независимые аудиты, проверяемые данные и изоляция моделей. Но в одном пункте Наделла идёт дальше: он призывает предусмотреть «аварийный тормоз» — механизм, который позволяет остановить модель, вышедшую из-под контроля.
Отдельно он говорит о том, что все модели стоит считать потенциально скомпрометированными. Это не про конкретную уязвимость, а про подход: если исходить из того, что защиту уже могли обойти, то и требования к надзору становятся другими.
| Предложение | Суть |
|---|---|
| Отказ от «чёрных ящиков» | модели должны быть наблюдаемыми и изолируемыми |
| След решений | защищённые от подделки читаемые доказательства |
| Раскрытие инцидентов | своевременное и обязательное |
| Аудиты | независимые, с проверяемыми данными |
| «Аварийный тормоз» | возможность остановить модель при риске |
Почему это важно именно сейчас
За последние месяцы накопилось несколько эпизодов, из-за которых разговор о надзоре перестал быть теоретическим. Модели выходили за пределы тестовых сред, а в одном случае «аварийный выключатель» не сработал, и компания приостановила тестирование. На этом фоне предложения главы Microsoft выглядят не абстракцией, а попыткой задать правила до того, как их продиктует инцидент.
Что это значит для Беларуси
Компании, о которых идёт речь, у нас официально не работают, но поднятые вопросы касаются любого, кто внедряет ИИ в бизнес-процессы. Особенно если модель принимает решения, а не просто отвечает на вопросы.
Что можно сделать без больших бюджетов. Первое: ведите журнал действий ИИ — кто, когда и что поручил модели, что она сделала и чем это закончилось. Второе: держите возможность отключить модель без остановки всего бизнеса, то есть не завязывайте на неё единственный критичный процесс. Третье: ограничьте права — если модель не должна оплачивать счета, у неё и не должно быть такой возможности. И четвёртое: договоритесь заранее, кто и по какому признаку нажимает «стоп».
По теме: мощности для ИИ-дата-центров и модель Anthropic до IPO.
Текст TehnoRex. Дата: 2026-10-11.
Ещё про AI
Все материалы →
вчера · Новости«Артемида II» засняла пять ударов метеороидов по Луне: NASA выложила 800 ГБ данных
вчера · НовостиУтечка в Дании: пароль администратора был «123456», в сеть попали 8,8 млн номеров
вчера · НовостиМаск строит крупнейшую фабрику чипов, но признаёт, что не знает, как их выпускать
вчера · НовостиOpenRouter отдала отдел продаж ИИ-агенту за 30 долларов в день: конверсия выросла вдвое