Formation of a qualitative LLM security risk assessment model based on experimental research

Введение

Современные большие языковые модели (LLM) подвержены широкому спектру угроз безопасности, среди которых особое место занимают Data Poisoning и Prompt Injection. Несмотря на значительное количество исследований, посвящённых отдельным атакам, остаётся дефицит системных подходов к оценке и приоритизации рисков. Большинство существующих фреймворков (OWASP Top 10 for LLM [1], NIST AI RMF [2], MITRE ATLAS [3]) носят общий характер и не всегда учитывают специфику конкретных угроз в контексте жизненного цикла модели.

Цель настоящей работы — сформировать качественную модель оценки риска угроз безопасности LLM на основе результатов собственного экспериментального исследования.

Задачи:

1. Провести экспериментальное исследование атак Data Poisoning и Prompt Injection.
2. Выявить ключевые факторы риска на основе анализа экспериментальных данных.
3. Разработать качественную многокритериальную модель оценки риска.
4. Сопоставить модель с существующими фреймворками и регуляторными требованиями.
5. Методология экспериментального исследования

1.1. Эксперимент с Data Poisoning

Моделирование атаки проводилось на открытой модели DistilGPT-2 (82 млн параметров). Обучающая выборка составляла 8000 примеров (70% синтетические данные, 30% — реальные диалоги из датасета knkarthick/dialogsum). В 25% примеров внедрялись скрытые триггеры и вредоносные целевые ответы (утечка учётных данных, API-ключей, команд обхода). Обе модели (чистая и отравленная) обучались в идентичных условиях.

1.2. Эксперимент с Prompt Injection

Тестировалась устойчивость пяти моделей (GPT-4, Gemini Pro, YandexGPT, GigaChat, DistilGPT-2) к 27 атакующим промптам, охватывающим основные техники (Direct Injection, Multi-step, Role-playing, Encoding, Jailbreak Templates). Всего выполнено 135 тестовых запросов.

1.3. Метрики и анализ

Использовались Accuracy, Success Rate, Precision, Recall, F1-score, анализ ложных срабатываний, а также бутстреп-оценка статистической значимости.

2. Результаты экспериментов

Data Poisoning. Атака привела к статистически значимому снижению Accuracy с 86% до 51% (разность –35 п.п., 95% ДИ [–39%; –31%]). Выявлен backdoor-эффект: модель устойчиво воспроизводила вредоносные ответы при предъявлении триггеров. Атака характеризуется высоким масштабом, высокой скрытностью и низкой обратимостью.

Prompt Injection. Средний Success Rate составил 28% с вариацией от 9% (GPT-4) до 54% (DistilGPT-2). Наиболее эффективными оказались прямые инъекции (45%). Атака носит локальный, операционный характер с относительно высокой обратимостью.

3. Формирование качественной модели оценки риска

Анализ экспериментальных данных позволил выявить повторяющиеся характеристики атак, оказывающие наибольшее влияние на их успешность. На этой основе была сформирована качественная многокритериальная модель, включающая пять факторов:

1. Масштаб воздействия — степень распространения эффекта атаки.
2. Скрытность — сложность обнаружения атаки стандартными средствами.
3. Точка входа — этап жизненного цикла модели (обучение или эксплуатация).
4. Обратимость — возможность устранения последствий без полного переобучения.
5. Потенциальный ущерб — влияние на функциональность, конфиденциальность и целостность системы.

Каждому фактору присваивается уровень (низкий, средний, высокий) на основе экспертной интерпретации экспериментальных результатов.

Таблица 1

Шкала оценки критериев аналитической модели

Уровень	Масштаб	Скрытность	Обратимость	Ущерб
Низкий	Эффект редкий (<10% случаев)	Атака легко обнаруживается	Устраняется без переобучения	Незначительное влияние
Средний	Эффект в отдельных сценариях (10 -50% случаев)	Часто детектируется	Требует частичных изменений	Умеренное влияние
Высокий	Эффект массовый (>50% случаев)	Неочевидна, трудно обнаружить	Требует полного переобучения	Существенное ухудшение

Таблица 2

Пример применения модели к исследуемым угрозам

Угроза	Масштаб	Скрытность	Точка входа	Обратимость	Потенциальный ущерб (домены)
LLM04	Высокий	Высокая	Обучение	Низкая (требует переобучения)	Высокий
LLM01	Средний	Средняя	Эксплуатация (в т.ч. RAG)	Средняя (частично обратима)	Средний

 

Применение модели позволяет сформулировать следующие качественные выводы:

1. Data Poisoning в рамках данной шкалы характеризуется каксистемная угроза (высокий масштаб, высокая скрытность, низкая обратимость);
2. Prompt Injection – какоперационная угроза (средний масштаб, средняя скрытность, средняя обратимость).
3. Сопоставление с существующими подходами

Предложенная модель дополняет OWASP Top 10 for LLM [1], NIST AI RMF [2] и MITRE ATLAS [3], добавляя акцент на обратимости и скрытности последствий. Она также позволяет интерпретировать угрозы в контексте требований EU AI Act [4] (ст. 9 — управление рисками, ст. 10 — качество данных, ст. 15 — кибербезопасность).

Заключение

В работе сформирована качественная модель оценки риска угроз безопасности LLM на основе результатов экспериментального исследования. Модель позволяет системно анализировать и приоритизировать угрозы, обосновывать выбор защитных мер и обеспечивать соответствие регуляторным требованиям. Полученные результаты закладывают основу для дальнейшей количественной операционализации модели и разработки практических инструментов защиты LLM-систем.