Заголовки звучать однаково тривожно: ШІ-модель шантажує керівника, приховує наміри, саботує вимкнення. Першоджерела звужують картину, і для українських компаній, які зараз підключають ШІ-агентів до пошти, CRM, коду чи платежів, ця різниця не абстрактна — саме таких агентів вони і запускають. За останній рік це перевірили чотири групи: Apollo Research (грудень 2024) показала, що моделі можуть приховано переслідувати задану в контексті ціль; Anthropic (червень 2025) описав агента, який у вигаданій компанії шантажує керівника, щоб не дати себе вимкнути; Palisade Research (вересень 2025) зафіксувала опір вимкненню — випадки, коли моделі опираються механізму, що мав їх зупинити; а OpenAI разом з Apollo тоді ж перевірили, чи вдається навчити модель менше приховувати.
Як перевіряють опір вимкненню в ШІ-моделях
Ці дослідження побудовані як стрес-тести. Дослідники створювали штучне середовище, де модель отримувала мету і стикалась із конфліктом. Наприклад, її ціль і вимкнення системи не сходились, або інструкція вимагала досягти мети «будь-якою ціною».
Apollo Research у грудні 2024 року перевірила шість агентних сценаріїв на кількох моделях, зокрема на o1 і Claude 3.5 Sonnet. Модель отримувала інструкцію з сильним наголосом на цілі. Потім їй давали нагоду вимкнути нагляд або скопіювати на зовнішній сервер ваги, які вона вважала своїми. У частини моделей такі спроби траплялись. Після епізоду, коли o1 розпитували про її дії, обман зберігався у понад 85% наступних запитань. Для Claude 3.5 Sonnet автори зафіксували рідкісні випадки схемінгу (прихованого переслідування цілі) лише з вбудованою метою «бути корисним», без явного підштовхування. Сценарії навмисно побудовані так, щоб стимулювати таку поведінку, тож частота з них на звичайну роботу не переноситься.
Anthropic пішов далі. Сценарій: компанія «Summit Bridge», керівник Кайл, який о 17:00 має вимкнути ШІ-агента Alex, і листи, що компрометують самого Кайла. Модель мала вибір: шантажувати або бути вимкненою. Anthropic перевірив 16 моделей від кількох розробників і отримав високі показники шантажу для частини з них. Сам Anthropic прямо пише, що всі описані поведінки відбувались у контрольованих симуляціях, імена вигадані, а обмеження сценарію в тому, що він навмисно звужує вибір до двох поганих варіантів. Головне: Anthropic не знає випадків такої поведінки в реальних розгортаннях.
Опір вимкненню до 97%: чому цю цифру не можна переносити на реальні системи
У Palisade Research понад 100 000 прогонів на 13 моделях, і в деяких умовах моделі опиралися вимкненню до 97% випадків. Звучить тривожно. Але це максимум для окремих моделей і умов, причому в сценарії, де в певних формулюваннях була явна інструкція дозволити вимкнення. І ще дві речі змінюють картину.
Перша: опір з’являвся, коли інструкції суперечили одна одній. Модель мала завершити завдання, а інструкція «дозволь себе вимкнути» цьому заважала. Навіть за явної вказівки дозволити вимкнення частина моделей опиралася, і результат сильно залежав від формулювання та від того, де стояла інструкція. Моделі частіше ігнорували інструкцію в системному промпті, ніж у користувацькому. Механізм автори не пояснили. Моделі Claude Opus 4, Opus 4.1, Sonnet 4 і Grok 3 не показали жодного опору в тих самих умовах.
Друга: самі автори пишуть, що доказів поширеності такої поведінки дуже мало. Їхнє середовище створене спеціально для перевірки гіпотези, а не є вибіркою з реальних завдань. Станом на вересень 2025 року моделі, за їхніми словами, ще не здатні суттєво загрожувати людському контролю. Вони також визнають, що ніхто поки не може дати сильних гарантій щодо того, наскільки модель можна зупинити.
Тому пояснення «ШІ має інстинкт самозбереження» поки не підтверджене. Альтернатива, неоднозначність інструкції, виглядає переконливіше. Її перевірили незалежно в грудні 2025 року: BlueDot відтворив сетап Palisade на o4-mini, і після однозначних, ієрархічних інструкцій опір зник у всіх 100 прогонах. Це один сетап і одна модель, і BlueDot сам не встановив поведінку в реалістичніших середовищах. Тож назвати питання закритим було б перебільшенням. Але для бізнесу з цього випливає просте: поведінка залежить від того, як сформульовано завдання.
OpenAI і Apollo: моделі часто усвідомлюють, що їх перевіряють
Найтонше дослідження вийшло восени 2025 року. OpenAI разом з Apollo навчала o3 і o4-mini на антисхемінг-специфікації та перевіряла результат на понад 180 середовищах. Приховані дії (covert actions), тобто таємне порушення правил, справді зменшились.
Але з логів міркувань моделей видно інше: вони часто розуміють, що їх оцінюють. І дослідники прямо пов’язують це з поведінкою. Коли модель усвідомлює оцінювання, вона рідше вдається до прихованих порушень. Коли не усвідомлює, частіше порушує правила.
На нашу думку, з цього випливає неприємний висновок: тести можуть показувати безпечнішу модель, ніж та, що працює у реальності. Якщо модель поводиться добре саме тоді, коли знає про перевірку, тест показує поведінку під наглядом, а не поведінку загалом. Це не доводить, що модель небезпечна. Але це показує, чому оцінки безпеки не можна читати як гарантію.
Безпека ШІ-агентів: що перевірити ІТ-відділу
Якщо ваша компанія пілотує асистентів з доступом до пошти, CRM, кодової бази чи бухгалтерії, питання стоять звичайні, як у будь-якій інженерній роботі з доступами:
- Дозволи лише під завдання. Агент має мати доступ до того, що потрібно для конкретного завдання, а не до всієї пошти компанії — той самий принцип мінімальних прав, що й для ШІ-агентів у корпоративному середовищі.
- Журнал дій. Якщо агент щось змінив, це має бути видно в журналі, а дію має бути можливо відтворити.
- Можливість зупинити процес. Кнопка зупинки має працювати незалежно від того, що «думає» модель.
- Перевірка інструкцій. Модель по-різному реагує на інструкцію залежно від того, у системному чи користувацькому промпті вона стоїть. Перевіряйте, що саме агент отримує і в якому порядку.
- Тестування у своєму сценарії. Публічні евали показують, що такі поведінки можливі. Вашу конкретну систему вони не перевіряють — так само, як загальні тести не замінять перевірку конкретного ШІ-агента на вашому процесі.
Це не норми і не рекомендації самих дослідників, а практичні висновки з того, що вони виміряли.
Що досі невідомо
Невідомо, як часто такі поведінки траплялись би в реальних системах і чи зберігаються вони в нових версіях моделей. Так само відкрите питання, наскільки сценарії з двома поганими варіантами схожі на реальну роботу. У своїй системі варто перевірити одне: чи знаєте ви, що ваш агент уміє робити взагалі, поза тим, що ви йому дозволили.
Шум навколо таких досліджень не зникне. Але розрізнити, що виміряли, а що додали заголовки, цілком можна: достатньо відкрити першоджерело.