AI-расширение может выглядеть как удобная функция, но фактически становится новым участником цепочки поставок. Оно получает разрешения, обрабатывает недоверенный ввод и может обращаться к внешним сервисам.
Главный риск — подключить расширение по описанию пользы, не проверив манифест, права, источники данных и журнал действий. Ошибка в таком компоненте может раскрыть секреты, выполнить лишний запрос или передать данные за пределы компании.
Как это выглядит в атаке или ошибке
Опасная цепочка обычно начинается с установки модуля с широкими правами. Затем модуль получает недоверенный ввод, вызывает внешний API, смешивает пользовательский контекст с конфигурацией и выполняет действие, которое не проходило ручную проверку.
- установить расширение без проверки происхождения;
- дать ему широкий доступ к данным или API;
- передать недоверенный ввод в рабочий сценарий;
- разрешить внешний вызов без отдельного правила;
- сохранить секреты рядом с конфигурацией;
- не записать действие в общий журнал.
Какие следы искать
- появление нового модуля или новой версии;
- изменение манифеста и разрешений;
- вызовы API вне обычного сценария;
- обращения к внешним адресам после обработки ввода;
- доступ к секретам из процесса расширения;
- ошибки, где видны параметры или фрагменты конфигурации.
Защитные действия
- проверять происхождение и подпись пакета;
- утверждать манифест до установки;
- использовать перечень разрешённых прав;
- запрещать секреты в конфигурации;
- изолировать выполнение модуля;
- вести журнал внешних вызовов и отказов.
Практический кейс
Кейс: команда хочет подключить AI-расширение для разбора заявок. Перед запуском AppSec проверяет манифест, убирает лишние права, запрещает внешние вызовы без прокси, переносит секреты в хранилище и добавляет правило SIEM на изменение разрешений.
Минимальный набор проверок
- проверить автора и историю версий;
- сравнить права с реальной задачей;
- запустить модуль в изолированной среде;
- проверить обработку вредного ввода;
- убедиться, что секреты не попадают в журнал;
- запретить автоматическое расширение прав.
Техническая настройка
Практическая ценность сценария появляется только после перевода в настройки. Команда должна заранее определить источники данных, границы AI-помощника и порядок ручного подтверждения.
- описать владельца процесса и владельца риска;
- зафиксировать разрешённые источники данных;
- запретить автоматическое выполнение опасных действий;
- маскировать секреты и персональные данные;
- вести журнал запросов, ответов и решений;
- проверять сценарий на контрольных примерах.
Поля для SIEM
- время события и источник;
- учётная запись, роль или сервис;
- тип действия: чтение, запуск, изменение, загрузка или вход;
- объект действия: файл, сайт, устройство, приложение или данные;
- признаки риска и причина повышения приоритета;
- решение аналитика и итог проверки.
Если AI используется для обогащения карточки, он должен ссылаться на конкретные события. Неподтверждённые предположения нужно явно отделять от фактов.
Проверка качества
- сравнить вывод AI с ручной проверкой;
- проверить ложные срабатывания на штатных событиях;
- добавить отрицательные примеры;
- проверить маскирование чувствительных данных;
- запретить автоматическое изменение прав и настроек;
- обновлять правила после каждого разбора.
Разбор после пилота
Через две недели пилота нужно оценить не только скорость, но и качество решений. Если AI ускорил разбор, но добавил неподтверждённые выводы, сценарий нужно сузить и добавить новые ограничения.
- сколько карточек разобрано быстрее;
- сколько выводов подтвердилось;
- какие поля журнала чаще всего отсутствовали;
- какие правила дали шум;
- какие действия нельзя автоматизировать;
- какие контрольные примеры добавить.
AI-расширения нужно принимать как код с правами, а не как безобидную настройку. Чем раньше AppSec увидит манифест, внешние вызовы и доступ к данным, тем меньше риск скрытой утечки.
Пример правила корреляции
Правило должно собирать слабые признаки в цепочку. Один сигнал остаётся наблюдением, а несколько связанных сигналов становятся поводом для проверки.
- первый признак: новое действие или новый источник;
- второй признак: короткий интервал между событиями;
- третий признак: доступ к чувствительному объекту;
- четвёртый признак: нетипичная роль или устройство;
- пятый признак: повтор похожих попыток;
- итог: повышение приоритета и передача аналитику.
Как подключать AI безопасно
AI не должен получать полный поток данных без подготовки. Сначала события нужно нормализовать, убрать секреты и оставить только контекст, нужный для конкретной карточки.
- передавать только нужное окно времени;
- заменять секреты и токены на маркеры;
- указывать источник каждого события;
- запрещать вывод без ссылки на факт;
- сохранять запрос и ответ в карточке инцидента;
- не давать AI права менять настройки или доступы.
Рабочая процедура
Процедура должна быть понятна дежурному аналитику. Если правило сработало ночью, человек должен увидеть краткую цепочку, список доказательств и безопасный следующий шаг.
- открыть карточку с полной цепочкой событий;
- проверить самые ранние действия;
- сравнить поведение с обычным профилем владельца;
- посмотреть связанные сетевые и файловые события;
- принять решение об изоляции или наблюдении;
- записать причину решения в журнал.
Типовые ошибки внедрения
Частая ошибка — доверять красивому резюме и не проверять исходные события. Другая ошибка — сразу включать автоматическую блокировку. В начале лучше использовать режим наблюдения и постепенно уточнять пороги.
- нет списка разрешённых источников данных;
- не настроено маскирование секретов;
- AI получает слишком большой контекст;
- правило не показывает причину срабатывания;
- нет отдельного теста на ложные срабатывания;
- опасное действие выполняется без подтверждения.
Критерии завершения внедрения
Сценарий можно расширять только после проверки качества. Команда должна видеть, что правило ловит нужные цепочки, AI не придумывает факты, а аналитик может повторить вывод вручную.
- есть набор контрольных событий;
- есть описание ложных срабатываний;
- понятно, какие поля обязательны;
- есть порядок отключения AI-обогащения;
- есть владелец правила и срок пересмотра;
- есть отчёт о пользе после пилота.
