Первое рандомизированное контролируемое исследование (RCT) агентного ИИ в SOC показало: аналитики, работающие вместе с агентом Microsoft Security Copilot, находят до 6,5 раза больше вредоносных писем за минуту работы и совершают на 77% меньше ошибок в вердиктах, чем контрольная группа без агента. Это не маркетинговая цифра из пресс-релиза — оценка получена в независимом эксперименте с разделением аналитиков на группы.
Что произошло
Экономист James Bono опубликовал на arXiv (2511.13860) работу «Randomized Controlled Trials for Phishing Triage Agent» — первое RCT-исследование влияния агента Microsoft Security Copilot Phishing Triage Agent (переименован в Security Alert Triage Agent) на продуктивность и точность аналитиков SOC. Часть участников разбирала письма, помеченные пользователями как фишинг, самостоятельно, часть — с помощью агента. До этой работы у поставщиков AI-инструментов для SOC не было независимой проверки заявленной эффективности — цифры публиковались как маркетинговые кейсы вендора, без контрольной группы.
Результат: аналитики с агентом находили до 6,5 раза больше истинно положительных срабатываний на минуту анализа и повышали точность итогового вердикта на 77% по сравнению с контрольной группой. При этом поведенческий анализ показал, что участники с агентом не просто соглашались с его выводами — они перераспределяли внимание и тратили на 53% больше времени именно на вредоносные письма, не проявляя склонности к «штамповке» вердиктов агента. Для SOC-руководителей это аргумент против опасения «аналитики перестанут думать, если рядом есть AI» — в эксперименте этого не произошло.
Как это работает
Security Alert Triage Agent — автономный агент в составе Microsoft Defender, который оценивает алерты по вредоносности, используя контекст организации, данные Threat Intelligence и историю расследований. Он классифицирует сработавшее как ложное или реальное срабатывание и сопровождает вердикт пошаговым объяснением на естественном языке и визуальным графом улик.
Авторы RCT выделили два конкретных механизма прироста эффективности: приоритизация очереди (агент выстраивает алерты по вероятности вредоносности, а не по времени поступления) и объяснения вердикта (reasoning помогает аналитику быстрее проверить решение агента, а не принимать его вслепую). Именно эти два фактора, а не сам факт наличия «умного помощника», статистически значимо влияли на скорость и точность работы. Агент также умеет дообучаться на явной обратной связи аналитиков — пока это доступно для алертов почты и коллабораций, где показатель точности используется для тонкой настройки. Изначально агент назывался Phishing Triage Agent и работал только с почтовыми алертами; сейчас Microsoft расширяет его на алерты облака и идентити — модель триажа, проверенную в RCT на фишинге, переносят на более широкий класс сигналов SOC.
Важный нюанс исследования: рост продуктивности не сопровождался ростом «слепого доверия». Если бы аналитики просто копировали вердикт агента не глядя, точность итоговых решений группы совпадала бы с точностью самого агента. Но исследование зафиксировало, что люди продолжали перепроверять и переопределять решения — то есть агент выступал ускорителем суждения, а не его заменой.
Что внедрить у себя
- Перед внедрением AI-триажа зафиксируйте baseline: текущий TP/FP-рейт, среднее время на алерт, число эскалаций — без этих цифр эффект от агента посчитать не получится.
- Настройте приоритизацию очереди алертов по вероятности вредоносности, а не по времени поступления или источнику — это один из двух факторов, которые дали основной прирост в исследовании.
- Требуйте от AI-инструмента триажа развёрнутое обоснование вердикта, а не только числовой score — это ускоряет проверку решения аналитиком.
- Проводите выборочный аудит решений аналитиков, работающих с агентом, чтобы вовремя заметить признаки «штамповки» вердиктов без реальной проверки.
- Запускайте пилот в формате A/B (часть аналитиков с агентом, часть без) на 4–8 недель прежде, чем распространять инструмент на весь SOC — это даёт сопоставимые метрики.
- Пересмотрите распределение ресурсов SOC по итогам пилота: высвобожденное время логичнее направить на расследование сложных инцидентов, а не на сокращение штата.
Кейс St. Luke’s University Health Network, где Security Alert Triage Agent экономит более 200 часов в месяц, — практическая иллюстрация тех же выводов на реальном производственном SOC. Если вы разбираетесь с базовыми понятиями темы, см. материал «Фишинг: что это простыми словами и как AI изменил атаки». О том, как в целом должны меняться метрики SOC под давлением AI-атак и AI-защиты, — в статье «AI делает атаки дешевле и скрытнее», а о скорости реагирования на инциденты — в разборе «Машинная скорость атаки».
Источники: James Bono, «Randomized Controlled Trials for Phishing Triage Agent», arXiv:2511.13860; Microsoft Learn — Security Alert Triage Agent; Microsoft Security Copilot Blog.
