Аббревиатура LLM звучит в каждом разговоре про AI, но для ИБ-специалиста это не просто «умный чат-бот», а новый класс систем со своей поверхностью атаки. Разбираем, что такое LLM, как они работают и какие вопросы безопасности возникают, когда компания начинает ими пользоваться.
Что такое LLM простыми словами
LLM (Large Language Model, большая языковая модель) — это нейросеть, обученная на огромных объёмах текста предсказывать следующий фрагмент фразы. Из этого простого механизма вырастают все привычные способности: отвечать на вопросы, писать код, суммировать документы, вести диалог. ChatGPT, Claude, Gemini, GigaChat, YandexGPT — всё это продукты на основе LLM.
Ключевое, что нужно понимать про LLM: модель не «знает» факты как база данных — она генерирует правдоподобный текст. Отсюда и сила (гибкость, работа с любым запросом), и слабости: галлюцинации, внушаемость, чувствительность к формулировкам.
Как работает LLM: минимум для ИБ
- Обучение. Модель тренируют на триллионах слов; всё, что попало в обучающие данные, потенциально влияет на её ответы.
- Контекст. В диалоге модель видит «окно контекста» — ваш запрос, историю, подключённые документы. Всё, что попало в контекст, — это и данные, и потенциальные инструкции.
- RAG. Чтобы модель отвечала по внутренним данным компании, к ней подключают поиск по базе знаний (Retrieval-Augmented Generation). Как проверять такие ответы на достоверность — в разборе RAG для SOC: валидация доказательств.
- Инструменты и агенты. Современные LLM не только пишут текст, но и вызывают инструменты: ищут в вебе, выполняют код, работают с файлами — так модель превращается в AI-агента.
LLM и ИБ: главные риски
Когда LLM появляется в рабочих процессах, у службы безопасности добавляется четыре больших темы:
- Утечка данных через промпты. Сотрудники вставляют в чат-боты код, договоры и персональные данные. Что происходит с этими данными дальше, зависит от настроек вендора — разбор: как оценивать политику хранения данных AI-провайдера.
- Prompt injection. Вредоносная инструкция прячется в данных, которые модель читает: письме, документе, веб-странице — и модель выполняет её как команду. Это фундаментальная уязвимость класса, а не баг конкретного продукта: слоёная защита от prompt injection.
- Теневое использование. Сотрудники подключают LLM-сервисы без ведома ИБ. Как найти такие инструменты — в материале про инвентаризацию теневого AI.
- LLM на стороне атакующего. Те же модели пишут фишинг, ищут уязвимости и ускоряют атаки — этому посвящена половина нашей рубрики SOC.
Стандарты и ориентиры
Отправная точка для выстраивания защиты — OWASP Top 10 для LLM-приложений: список типовых уязвимостей от prompt injection до отравления обучающих данных. Мы разбирали его практическое применение в чек-листе OWASP GenAI для AppSec-команд. Для управления рисками на уровне организации — чек-лист управления безопасностью AI.
Частые вопросы
LLM и нейросеть — это одно и то же?
LLM — один из видов нейросетей, специализирующийся на языке. Нейросети бывают и другими: для изображений, звука, прогнозов.
Что такое галлюцинации LLM?
Уверенные, но выдуманные ответы: модель генерирует правдоподобный текст, а не сверяется с источником истины. Для ИБ это значит: ответы модели о конфигурациях, CVE и инцидентах всегда требуют проверки человеком.
Можно ли развернуть LLM локально, чтобы данные не уходили вовне?
Да, открытые модели работают на своей инфраструктуре. Это снимает риск передачи данных вендору, но добавляет свои: безопасность весов модели, доступов к ней и всего окружения теперь на вас.
LLM в ИБ — это только риски?
Нет: те же модели ускоряют триаж алертов, разбор фишинга и расследования — примеры собраны в рубрике LLM.
Что читать дальше
Чек-лист OWASP GenAI, RAG для SOC и все материалы рубрики LLM.
