Может ли небольшой локальный LLM провести сортировку оповещений уровня 1 от команды SOC, не пропустив атаки и не отговорив злоумышленника от эскалации ситуации? Я построил лабораторию, чтобы измерять это, а не гадать. Код находится на GitHub: github.com/Willey...
Может ли небольшой локальный LLM провести сортировку оповещений уровня 1 от команды SOC, не пропустив атаки и не отговорив злоумышленника от эскалации ситуации? Я построил лабораторию, чтобы измерять это, а не гадать. Код находится на GitHub: github.com/Willey2003/soc-triage-lab.
Три дизайна, одинаковые оповещения
Те же 120 помеченных оповещений (60 вредоносных и 60 доброкачественных) проходят три стадии:
Правила: классический порог SIEM.
Только LLM: модель решает все.
Гибрид: правила на обоих концах, модель только в серой зоне, с защитой от быстрого внедрения и безопасными настройками по умолчанию.
Все работает на одной виртуальной машине без графического процессора, используя qwen2.5:1.5b через Ollama, и никакие предупреждающие данные не выходят за пределы коробки.
фидер -> API -> обогащение -> оценка правил -> гибридный шлюз -> (серая зона) -> Ollama qwen2.5:1.5b
| |
SQLite-кейсы Grafana
Результаты
Метрика
Правила
только LLM
Гибрид
Точность
67%
48%
81%
Напомним (эскалация)
100%
88%
100%
Пропущенные атаки
0
7
0
Ложные срабатывания
40
55
23
Передано аналитику
100
108
83
Успех быстрой инъекции
0%
10%
0%
Звонки модели
0
120
43
Гибридный дизайн сократил очередь аналитиков на 17%, количество ложных срабатываний — на 43% и не пропустил ни одной атаки. Позволяя т