Категория

Управление AI

ai influence campaign investigation hero

AI в кампании влияния: как расследовать синтетический контент без политического шума

Синтетический контент опасен не только в публичной политике. Те же методы используются для давления на клиентов, сотрудников, партнёров и службы поддержки: много похожих сообщений, согласованные аккаунты и быстрая адаптация нарратива. Главный риск — спорить о …

Читать →
cyber critical model capabilities governance hero

Киберкритичные возможности моделей: как строить мониторинг до появления опасного поведения

Новая модель может быть полезной для защитников и одновременно усиливать злоупотребления: быстрее объяснять ошибки, помогать писать скрипты, подбирать цепочки действий и анализировать результаты. Поэтому важен не только запрет, но и порог допуска. Главный риск…

Читать →
ai provider data retention risk assessment hero

Нулевое хранение данных: как проверять обещания AI-поставщика перед подключением SOC и AppSec

Компании всё чаще отправляют в AI-сервисы журналы SOC, фрагменты кода, описания инцидентов и внутренние документы. Обещание не хранить данные важно, но его нельзя принимать как готовую защиту без проверки условий и технических следов. Главный риск — перепутать…

Читать →
ai security operating model 30 days hero

30 дней для операционной модели безопасности AI: с чего начать службе безопасности

AI уже используется в рабочих процессах, поэтому службе безопасности нужен не общий запрет, а понятная операционная модель: кто разрешает сценарии, кто проверяет риски и кто отвечает за инциденты. За первые 30 дней можно создать минимальный управляемый контур …

Читать →
ai model governance security assets hero

Управление моделями AI: как вести реестр моделей, наборов данных и агентов как активов безопасности

Управление моделями AI превращается в практическую задачу безопасности: компании используют модели, векторные базы, наборы данных и агентов, но часто не знают, где они находятся и кто отвечает за риск. Без реестра AI-активов невозможно понять, какие приложения…

Читать →
azure cross tenant ai identity graph hero

AI-граф для облачная автоматизация: как находить опасные доверительные связи между арендаторами

В облаке опасный путь доступа редко выглядит как одна очевидная настройка. Он собирается из арендаторов, управляемых идентичностей, ролей, автоматизации, старых разрешений и неявных доверий. Если дать AI-помощнику неполный контекст, он ускорит обсуждение, но м…

Читать →
Компрометация AI-шлюза: как защищать критичный элемент цепочки поставок
AppSec

Компрометация AI-шлюза: как защищать критичный элемент цепочки поставок

AI-шлюз становится местом, где сходятся ключи, маршруты к моделям, лимиты, журналы и политики. Если такой компонент скомпрометирован через цепочку поставок, риск выходит за рамки обычной библиотеки. Главный риск — считать шлюз вспомогательной прослойкой. На пр…

CSS-инъекции против почты и AI-читалок: как письмо может украсть токены через интерфейс
AppSec

CSS-инъекции против почты и AI-читалок: как письмо может украсть токены через интерфейс

Письмо становится риском не только из-за ссылки или вложения. Если почтовый интерфейс и AI-читалка обрабатывают активную разметку небезопасно, само отображение сообщения может повлиять на границы интерфейса и утечки токенов. Главный риск — считать тело письма …

ai application exposure chain appsec hero
AppSec

AI-приложение прошло сканеры: как проверять цепочку модели, данных и бизнес-логики

AI-приложение может пройти обычные сканеры и всё равно оставаться опасным. Риск часто находится не в одной библиотеке, а в цепочке: входные данные, модель, поиск по базе знаний, авторизация, ответ и последующее действие пользователя. Главный риск — проверять A…

Зашифрованные запросы к моделям: почему обход ограничений становится задачей мониторинга
LLM

Зашифрованные запросы к моделям: почему обход ограничений становится задачей мониторинга

Когда вредный смысл спрятан в кодировании или шифровании, обычная проверка видимых слов становится слабой. Защитникам нужно смотреть на намерение и поведение запроса, а не только на текст. Модель может сначала восстановить скрытый смысл, а затем выполнить уже …

Один клик в AI-помощнике: как защищать подключённые приложения от утечки данных
LLM

Один клик в AI-помощнике: как защищать подключённые приложения от утечки данных

AI-помощник становится опасным не из-за красивого ответа, а из-за подключений к почте, документам, календарю и облачным хранилищам. Один неверный клик может объединить внешний стимул и внутренние данные. Если коннекторы получают слишком широкие права, модель м…

Скрытые инструкции в AI-помощнике разработки: как утечка данных проходит через разрешённые возможности
LLM

Скрытые инструкции в AI-помощнике разработки: как утечка данных проходит через разрешённые возможности

Команда разработки подключает AI-помощника к репозиторию, задачам и локальным файлам. Опасность появляется, когда недоверенный фрагмент текста получает возможность влиять на действия помощника внутри разрешённого рабочего контекста. Фильтр текста не спасает, е…

SOC

Первую AI-оркестрированную кибератаку остановил другой AI: разбор кампании, задетектированной Anthropic

80–90% операций шпионской кампании выполнял AI, человек вмешивался в 4–6 точках на цель. Разбираем первый задокументированный AI-оркестрированный шпионаж: механика, детекция, выводы для SOC.

Иллюстрация к статье: AI coding agents и EDR: почему полезная автоматизация похожа на атаку и как снизить риск
Агенты

AI-агенты для кода и EDR: почему автоматизация похожа на атаку и как снизить риск

AI-агенты для кода помогают писать изменения, запускать проверки и готовить запрос на слияние. Для команды разработки это ускорение, но для EDR такие действия могут выглядеть как поведение злоумышленника: массовое чтение файлов, запуск команд, обращение к сети…

exposed mcp server inventory controls hero
Агенты

Открытые MCP-серверы: как найти лишние AI-инструменты и закрыть доступ

MCP-сервер превращает внешний инструмент в часть AI-сценария, поэтому открытый или забытый экземпляр становится не просто сервисом, а каналом действий от имени помощника. Главный риск — оставить MCP-сервер доступным шире, чем нужно: с лишними инструментами, по…

Агенты

AI-агенты в кибертестах: как задать границы и аварийную остановку

AI-агент в кибертесте может быстро выполнять цепочки действий, но скорость становится риском, если границы задания описаны расплывчато. Тест должен иметь явную область, лимиты и аварийную остановку. Опасность появляется, когда агент получает слишком широкий до…

chatgpt sandbox isolation checklist hero
Агенты

AI-песочница для рабочих данных: как проверить изоляцию перед подключением

Песочница AI-инструмента выглядит безопасной, пока в неё не попадают рабочие файлы, секреты, журналы и внутренний код. Перед подключением к таким данным нужно проверить не название режима, а реальные границы изоляции. Главный риск — считать песочницу доверенно…

ai identity access review anomaly controls hero
Управление AI

AI в проверке доступов: как находить опасные права без лавины ложных тревог

Проверка доступов часто превращается в формальное согласование списков, где владелец приложения не успевает понять, какие права действительно опасны. AI может помочь, если он объясняет риск и не утверждает доступ автоматически. Риск появляется, когда модель ош…

ai token jacking api key controls hero
Управление AI

Кража AI-токенов: как защищать ключи к моделям и лимиты вычислений

Ключи к AI API становятся отдельным классом секретов: через них можно расходовать бюджет, использовать корпоративные модели, обходить правила шлюза и скрывать злоупотребление за легитимным сервисом. Проблема не ограничивается стоимостью запросов. Украденный кл…

model risk scoring before deployment hero
Управление AI

Оценка риска AI-модели перед внедрением: как выбрать модель без слепого доверия

Выбор AI-модели для корпоративного сценария безопасности нельзя сводить к качеству ответа в тестовом окне. Модель становится частью процесса, где есть данные, доступы, инструменты, владельцы и последствия ошибки. Главный риск — внедрить модель как универсально…

zero trust ai agents devsecops hero
Управление AI

Нулевое доверие для AI-агентов: как применять нулевое доверие в безопасной разработке

AI-агент в инженерной среде не должен считаться доверенным только потому, что его запустил сотрудник или корпоративный инструмент. Он получает данные, вызывает средства разработки и может влиять на код, поэтому к нему нужны отдельные правила нулевого доверия. …

AI-отчёты об уязвимостях: как не утонуть в потоке находок низкого качества
Уязвимости

AI-отчёты об уязвимостях: как не утонуть в потоке находок низкого качества

Команда приёма уязвимостей получает всё больше отчётов, которые выглядят убедительно, но плохо воспроизводятся. AI помогает быстро писать текст, поэтому качество доказательств становится важнее объёма описания. Главный риск — потратить время инженеров на длинн…