Категория

Управление AI

Новый список рисков OWASP для генеративного AI: как перевести его в контрольный лист AppSec

Новый список рисков OWASP для генеративного AI: как перевести его в контрольный лист AppSec

Список рисков полезен только тогда, когда превращается в вопросы к владельцу продукта, проверки в релизе и артефакты для аудита. Иначе он остаётся красивым документом без влияния на безопасность. Главный риск — повесить новый список на страницу политики и не и…

Читать →
Иллюстрация к статье: Чек-лист AI Security Governance: что внедрить после AI Security Report 2026

Чек-лист управления безопасностью AI: что внедрить после отчёт по безопасности AI 2026

Отчёты по безопасности AI полезны только тогда, когда после чтения появляются конкретные действия. Компании уже используют помощников для текста, кода, поддержки, поиска и анализа событий. Если не назначить владельцев, не ограничить данные и не вести журналы, …

Читать →
Скрытая утечка в рассуждениях модели: что логировать, если ответы выглядят безопасными

Скрытая утечка в рассуждениях модели: что логировать, если ответы выглядят безопасными

Безопасный финальный ответ ещё не означает, что чувствительные данные не попали в промежуточный контекст, трассы отладки или расширенную телеметрию. Проверять нужно весь путь данных, а не только результат на экране. Главный риск — ограничиться DLP-проверкой от…

Читать →
ai vendor incident controls hero

Инцидент у AI-поставщика: какие проверки должны требовать заказчики

Когда AI-поставщик сообщает об инциденте и новых мерах защиты, заказчику недостаточно прочитать публичный отчёт. Нужно перевести обещания в проверяемые требования: логи, изоляцию, доступ сотрудников, сроки хранения и независимый контроль. Главный риск — принят…

Читать →
ai authorization context data access hero

Контекст авторизации в AI-приложениях: как не показать пользователю чужие данные

AI-приложение часто имеет широкий доступ к базам знаний, документам и внутренним сервисам. Пользователь при этом должен видеть только свои данные, поэтому права нужно проверять на уровне источника, а не только в тексте запроса. Главный риск — сделать модель по…

Читать →
Компрометация AI-шлюза: как защищать критичный элемент цепочки поставок
AppSec

Компрометация AI-шлюза: как защищать критичный элемент цепочки поставок

AI-шлюз становится местом, где сходятся ключи, маршруты к моделям, лимиты, журналы и политики. Если такой компонент скомпрометирован через цепочку поставок, риск выходит за рамки обычной библиотеки. Главный риск — считать шлюз вспомогательной прослойкой. На пр…

CSS-инъекции против почты и AI-читалок: как письмо может украсть токены через интерфейс
AppSec

CSS-инъекции против почты и AI-читалок: как письмо может украсть токены через интерфейс

Письмо становится риском не только из-за ссылки или вложения. Если почтовый интерфейс и AI-читалка обрабатывают активную разметку небезопасно, само отображение сообщения может повлиять на границы интерфейса и утечки токенов. Главный риск — считать тело письма …

ai application exposure chain appsec hero
AppSec

AI-приложение прошло сканеры: как проверять цепочку модели, данных и бизнес-логики

AI-приложение может пройти обычные сканеры и всё равно оставаться опасным. Риск часто находится не в одной библиотеке, а в цепочке: входные данные, модель, поиск по базе знаний, авторизация, ответ и последующее действие пользователя. Главный риск — проверять A…

Зашифрованные запросы к моделям: почему обход ограничений становится задачей мониторинга
LLM

Зашифрованные запросы к моделям: почему обход ограничений становится задачей мониторинга

Когда вредный смысл спрятан в кодировании или шифровании, обычная проверка видимых слов становится слабой. Защитникам нужно смотреть на намерение и поведение запроса, а не только на текст. Модель может сначала восстановить скрытый смысл, а затем выполнить уже …

Один клик в AI-помощнике: как защищать подключённые приложения от утечки данных
LLM

Один клик в AI-помощнике: как защищать подключённые приложения от утечки данных

AI-помощник становится опасным не из-за красивого ответа, а из-за подключений к почте, документам, календарю и облачным хранилищам. Один неверный клик может объединить внешний стимул и внутренние данные. Если коннекторы получают слишком широкие права, модель м…

Скрытые инструкции в AI-помощнике разработки: как утечка данных проходит через разрешённые возможности
LLM

Скрытые инструкции в AI-помощнике разработки: как утечка данных проходит через разрешённые возможности

Команда разработки подключает AI-помощника к репозиторию, задачам и локальным файлам. Опасность появляется, когда недоверенный фрагмент текста получает возможность влиять на действия помощника внутри разрешённого рабочего контекста. Фильтр текста не спасает, е…

SOC

Первую AI-оркестрированную кибератаку остановил другой AI: разбор кампании, задетектированной Anthropic

80–90% операций шпионской кампании выполнял AI, человек вмешивался в 4–6 точках на цель. Разбираем первый задокументированный AI-оркестрированный шпионаж: механика, детекция, выводы для SOC.

Иллюстрация к статье: AI coding agents и EDR: почему полезная автоматизация похожа на атаку и как снизить риск
Агенты

AI-агенты для кода и EDR: почему автоматизация похожа на атаку и как снизить риск

AI-агенты для кода помогают писать изменения, запускать проверки и готовить запрос на слияние. Для команды разработки это ускорение, но для EDR такие действия могут выглядеть как поведение злоумышленника: массовое чтение файлов, запуск команд, обращение к сети…

exposed mcp server inventory controls hero
Агенты

Открытые MCP-серверы: как найти лишние AI-инструменты и закрыть доступ

MCP-сервер превращает внешний инструмент в часть AI-сценария, поэтому открытый или забытый экземпляр становится не просто сервисом, а каналом действий от имени помощника. Главный риск — оставить MCP-сервер доступным шире, чем нужно: с лишними инструментами, по…

Агенты

AI-агенты в кибертестах: как задать границы и аварийную остановку

AI-агент в кибертесте может быстро выполнять цепочки действий, но скорость становится риском, если границы задания описаны расплывчато. Тест должен иметь явную область, лимиты и аварийную остановку. Опасность появляется, когда агент получает слишком широкий до…

chatgpt sandbox isolation checklist hero
Агенты

AI-песочница для рабочих данных: как проверить изоляцию перед подключением

Песочница AI-инструмента выглядит безопасной, пока в неё не попадают рабочие файлы, секреты, журналы и внутренний код. Перед подключением к таким данным нужно проверить не название режима, а реальные границы изоляции. Главный риск — считать песочницу доверенно…

ai identity access review anomaly controls hero
Управление AI

AI в проверке доступов: как находить опасные права без лавины ложных тревог

Проверка доступов часто превращается в формальное согласование списков, где владелец приложения не успевает понять, какие права действительно опасны. AI может помочь, если он объясняет риск и не утверждает доступ автоматически. Риск появляется, когда модель ош…

ai token jacking api key controls hero
Управление AI

Кража AI-токенов: как защищать ключи к моделям и лимиты вычислений

Ключи к AI API становятся отдельным классом секретов: через них можно расходовать бюджет, использовать корпоративные модели, обходить правила шлюза и скрывать злоупотребление за легитимным сервисом. Проблема не ограничивается стоимостью запросов. Украденный кл…

model risk scoring before deployment hero
Управление AI

Оценка риска AI-модели перед внедрением: как выбрать модель без слепого доверия

Выбор AI-модели для корпоративного сценария безопасности нельзя сводить к качеству ответа в тестовом окне. Модель становится частью процесса, где есть данные, доступы, инструменты, владельцы и последствия ошибки. Главный риск — внедрить модель как универсально…

zero trust ai agents devsecops hero
Управление AI

Нулевое доверие для AI-агентов: как применять нулевое доверие в безопасной разработке

AI-агент в инженерной среде не должен считаться доверенным только потому, что его запустил сотрудник или корпоративный инструмент. Он получает данные, вызывает средства разработки и может влиять на код, поэтому к нему нужны отдельные правила нулевого доверия. …

AI-отчёты об уязвимостях: как не утонуть в потоке находок низкого качества
Уязвимости

AI-отчёты об уязвимостях: как не утонуть в потоке находок низкого качества

Команда приёма уязвимостей получает всё больше отчётов, которые выглядят убедительно, но плохо воспроизводятся. AI помогает быстро писать текст, поэтому качество доказательств становится важнее объёма описания. Главный риск — потратить время инженеров на длинн…