Как AppSec выбирать AI-инструменты для кода по уровню риска

AI-инструменты для написания кода отличаются по качеству, стилю подсказок и склонности предлагать небезопасные решения, поэтому AppSec не должен выбирать их только по удобству разработчиков. Перед внедрением нужно понять, какие классы ошибок инструмент создаёт…
Внедрение инструкций через изображения: как защищать мультимодальных AI-помощников SOC

Мультимодальный AI-помощник в SOC может разбирать скриншоты писем, страниц входа, сообщений и ошибок, но изображение может содержать скрытые инструкции для модели. Такой риск особенно опасен, когда аналитик загружает скриншот подозрительной страницы и просит м…
Минимальные права для AI-агентов: как запретить опасные цепочки действий

Видеть AI-агентов недостаточно: если агент может читать лишние данные, вызывать опасные инструменты и объединять действия в длинную цепочку, риск остаётся высоким. Минимальные права для AI-агентов должны учитывать не только отдельный доступ, но и связку “данны…
Как защищать корпоративных AI-агентов от создания несанкционированного помощника

Корпоративный AI-агент становится частью рабочей среды: он может читать документы, обращаться к приложениям, готовить ответы и запускать действия от имени пользователя. Если злоумышленник или ошибочный процесс создаёт несанкционированного агента, команда получ…
Как изолировать AI-агентов для кибероценок от рабочих систем

AI-агенты для кибероценок могут быстро проверять гипотезы, искать слабые места и собирать доказательства, но их нельзя запускать рядом с рабочими системами без жёстких ограничений. Риск появляется там, где исследовательский агент получает доступ к внешней сети…
генеративный AI в лаборатории доставки вредоносных файлов: как SOC использовать AI для группировки приманок и артефактов

SOC часто получает один сигнал, а затем тонет в множестве похожих файлов и ссылок. Без кластеризации аналитики тратят время на повторяющиеся элементы и могут пропустить важный признак кампании. Если дать AI-помощнику неполный контекст, он ускорит обсуждение, н…
LLM для исправления уязвимостей: как автоматизировать изменения и не создать новые риски

LLM можно использовать не только для приоритизации уязвимостей, но и для подготовки исправлений. Однако автоматизация исправлений опасна, если модель сама меняет код без тестов, владельца и плана отката. Команда получает длинный список CVE, но исправления заде…
AI-проверка защищённости: как проверять результаты автоматической проверки и не терять человека в контуре

Интерес к AI-проверке защищённости растёт, но для защиты важнее не обещание полной автономности, а методика проверки результатов: какие выводы модели можно принять, а какие обязан подтвердить человек. Автоматическая проверка может быстро найти подозрительные м…
Безопасность кода, созданного AI: как AppSec меняет конвейер разработки

Код, созданный AI, уже попадает в рабочие приложения, поэтому AppSec должен смещать контроль ближе к моменту генерации, а не ждать, пока риск проявится в запрос на изменение кода или после выпуска. Модель может предложить небезопасную обработку ввода, устаревш…
Управление моделями AI: как вести реестр моделей, наборов данных и агентов как активов безопасности

Управление моделями AI превращается в практическую задачу безопасности: компании используют модели, векторные базы, наборы данных и агентов, но часто не знают, где они находятся и кто отвечает за риск. Без реестра AI-активов невозможно понять, какие приложения…