Application of approaches to expanding the context of large language models in systems with high requirements for the accuracy of relational knowledge extraction

UDC 004.8
Publication date: 30.05.2026
International Journal of Professional Science №5(2)-26

Application of approaches to expanding the context of large language models in systems with high requirements for the accuracy of relational knowledge extraction

Применение подходов расширения контекста больших языковых моделей в системах с высокими требованиями к точности извлечения реляционных знаний

Soldatkin Pavel Ivanovich
Mezentseva Ekaterina Mikhailovna

1. Master's Student,
Samara National Research University named after Academician S.P. Korolev, Samara, Russia
2. Associate Professor, Associate Professor, PhD in Engineering, Samara National Research University named after Academician S.P. Korolev, Samara, Russia


Солдаткин Павел Иванович
Мезенцева Екатерина Михайловна
1. Магистрант, Самарский национальный исследовательский университет имени академика С.П. Королева, Самара, Россия
2. Доцент, доцент, к.т.н.
Самарский национальный исследовательский университет имени академика С.П. Королева, Самара, Россия
Аннотация: В статье рассматривается граф знаний как метод динамического расширения контекста больших языковых моделей (LLM) без их полного переобучения. Целью работы являлась разработка архитектуры системы на основе графа знаний и проведение сравнительной оценки её эффективности относительно гибридного поиска (RAG+BM25) на реальном корпусе текстов. Описана архитектура системы извлечения триплетов на основе двух системных промптов с единым закрытым словарём типов сущностей и предикатов, а также механизмы нормализации сущностей и валидации триплетов. Извлечение триплетов осуществлялось моделью GigaChat 2 Max с применением пакетной передачи фрагментов и кэшированием системного промпта. Для хранения графа использована СУБД Neo4j с языком запросов Cypher. Проведён сравнительный эксперимент графового поиска (Graph RAG) и гибридного поиска на корпусе из 300 фрагментов и 7-ми текстовых вопросов с оценкой по метрикам библиотеки RAGAS. Показано, что интегральные метрики обоих подходов сопоставимы. Однако графовый подход демонстрирует устойчивое качественное преимущество на вопросах, требующих многоходовых рассуждений по цепочкам связей между именованными сущностями. При отсутствии релевантного контекста граф явно сигнализирует об этом, тогда как гибридный поиск возвращает тематически близкие, но не отвечающие на вопрос фрагменты. Стоимость построения графового индекса превышает стоимость векторного индексирования приблизительно в 85 раз; применение батчинга и кэширования системного промпта позволяет сократить затраты на 17%. Сделан вывод о целесообразности использования графа знаний как структурного дополнения к гибридному поиску в системах с высокими требованиями к точности извлечения реляционных знаний.

Abstract: This paper considers the knowledge graph as a method for dynamically expanding the context of large language models (LLM) without their complete retraining. The aim of the work was to develop the architecture of a knowledge graph-based system and conduct a comparative evaluation of its effectiveness relative to hybrid search (RAG + BM25) on a real text corpus. We describe the architecture of a triplet extraction system based on two system prompts with a single closed dictionary of entity types and predicates, as well as mechanisms for entity normalization and triplet validation. Triplet extraction was performed by the GigaChat 2 Max model using fragment batch transmission and system prompt caching. The graph was stored in the Neo4j DBMS with the Cypher query language. A comparative experiment was conducted between graph search (Graph RAG) and hybrid search on a corpus of 300 fragments and 7 text questions, assessed using the RAGAS library metrics. It was shown that the integral metrics of both approaches are comparable. However, the graph approach demonstrates a consistent qualitative advantage for questions requiring multi-step reasoning along chains of relationships between named entities. When relevant context is missing, the graph clearly signals this, whereas hybrid search returns thematically related fragments that do not answer the question. The cost of constructing a graph index is approximately 85 times higher than that of vector indexing; the use of batching and system prompt caching reduces costs by 17%. It is concluded that the knowledge graph is a feasible structural complement to hybrid search in systems with high requirements for the accuracy of relational knowledge retrieval.
Ключевые слова: граф знаний, RAG, гибридный поиск, LLM, расширение контекста, Neo4j, Cypher, RAGAS

Keywords: knowledge graph, RAG, hybrid search, LLM, context extension, Neo4j, Cypher, RAGAS

Введение

Большие языковые модели (Large Language Models, LLM) очень часто применяются для решения прикладных задач. Несмотря на широту охватываемых знаний, подобные модели по своей природе не способны адаптироваться к узкоспециализированным предметным областям и не располагают актуальными сведениями о событиях, произошедших после даты завершения их обучения. Между тем окружающая информационная среда изменяется непрерывно – как на технологическом, так и на геополитическом уровне.

Для решения данной проблемы активно развиваются методы динамического расширения контекста модели без её полного переобучения. Среди них выделяют подход на основе поиска с дополнением (Retrieval-Augmented Generation, RAG), полнотекстовый поиск и их комбинацию – гибридный поиск. Принципиально иным механизмом расширения контекста является граф знаний (knowledge graph), который рассматривается в настоящей работе в качестве альтернативы RAG-ориентированным подходам.

Векторный поиск и подход RAG

В системе RAG поиск работает с использованием эмбеддингов, которые обеспечивают сжатое семантическое представление документа. Эмбеддинг выражается в виде вектора чисел. В процессе индексирования каждый документ разбивается на более мелкие фрагменты, которые преобразуются в эмбеддинг с помощью модели эмбеддинга. Затем исходный фрагмент и эмбеддинг индексируются в базе данных. Если фрагменты слишком малы, на некоторые вопросы нельзя ответить, если фрагменты слишком длинны, то ответы будут содержать генерируемый шум [1].

Основные ограничения RAG заключаются в том, что он не учитывает связи между отдельными фрагментами документа, а также плохо справляется с вопросами требующих многоходовых рассуждений (Multi-hop Reasoning).

Полнотекстовый поиск

Полнотекстовый поиск или поиск, по ключевым словам, на основе алгоритма BM25 [2]. Запрос пользователя предварительно очищается от стоп-слов, после чего производится поиск по лексическому совпадению. Вместе с тем этот метод лишён семантического понимания. Также чувствителен к словоформам и опечаткам.

Гибридный поиск

Комбинирование векторного и полнотекстового поиска получило название гибридного поиска. Такой подход позволяет компенсировать недостатки каждого из методов в отдельности: семантическое сходство векторного поиска дополняется точностью лексического совпадения [3].

Тем не менее оба подхода объединяет общее структурное ограничение – отсутствие явного представления семантических связей между понятиями, которые содержатся в обрабатываемых текстах.

Граф знаний как метод расширения контекста

Граф знаний организует информацию в виде узлов (сущностей) и направленных рёбер (отношений между ними). Каждая сущность связана с соответствующими текстовыми фрагментами через их идентификаторы, хранящиеся в реляционной базе данных – это снижает избыточность и повышает гибкость [4].

Базовая единица – триплет «субъект-предикат-объект», где субъект (главная сущность с типом и атрибутами) соединён направленным предикатом с объектом. Триплеты извлекаются из фрагментов LLM по индексирующему промпту, а запросы разбираются поисковым промптом для графового поиска [5].

В отличие от векторного RAG, граф сохраняет явные семантические связи, обеспечивая более точный поиск для задач с отношениями между сущностями.

Правила формирования системных промптов

Система использует два промпта: индексирующий (извлечение триплетов из фрагментов) и поисковый (разбор запросов). Обязательное условие – идентичные словари типов сущностей и предикатов, адаптированные под конкретную предметную область (ML, юриспруденция, медицина). Несоответствие словаря приведет к отсутствию результатов поиска. Выход строго в JSON по шаблону (рис 1). Ускорение формирования графа через батчинг с сохранением chunk_id.

Читать далее…

References

1. Barnett S., Kurniawan S., Thudumu S., Brannelly Z., Abdelrazek M. Seven Failure Points When Engineering a Retrieval Augmented Generation System // arXiv preprint arXiv:2401.05856v1 [cs.SE]. – 2024. – URL: https://arxiv.org/html/2401.05856v1 (дата обращения: 18.03.2026).
2. Lù X.H. BM25S: Orders of magnitude faster lexical search via eager sparse scoring // arXiv preprint arXiv:2407.03618. – 2024. – URL: https://arxiv.org/pdf/2407.03618 (дата обращения: 18.03.2026).
3. Sultania D., Lu Z., Naik T. et al. Domain-specific Question Answering with Hybrid Search // arXiv preprint arXiv:2412.03736v2. – 2024. – URL: https://arxiv.org/html/2412.03736v2 (дата обращения: 19.03.2026).
4. Hogan A., Blomqvist E., Cochez M. et al. Knowledge Graphs // arXiv preprint arXiv:2003.02320. – 2021. – URL: https://arxiv.org/pdf/2003.02320 (дата обращения: 15.03.2026).
5. Wesslund D., Stenström V., Linde P., Holmberg A. LLM-based Triplet Extraction from Financial Reports // arXiv preprint arXiv:2602.11886v1. – 2026. – URL: https://arxiv.org/html/2602.11886v1 (дата обращения: 23.03.2026).
6. Richardeau G., Chali S., Le Merrer E., Penzo C., Tredan G. LLMs Prompted for Graphs: Hallucinations and Generative Capabilities // arXiv preprint arXiv:2409.00159v3. – 2025. – URL: https://arxiv.org/html/2409.00159v3 (дата обращения: 23.03.2026).
7. Tang L., Dou W., Zheng Y. et al. Proving Cypher Query Equivalence // arXiv preprint arXiv:2504.15742. – 2025. – URL: https://arxiv.org/pdf/2504.15742 (дата обращения: 24.03.2026).
8. pgvector: Open-source vector similarity search for Postgres [Электронный ресурс] // GitHub. – URL: https://github.com/pgvector/pgvector (дата обращения: 24.03.2026).
9. PostgreSQL Documentation: Parsing Queries [Электронный ресурс] // PostgreSQL. – URL: https://www.postgresql.org/docs/current/textsearch-controls.html (дата обращения: 24.03.2026).
10. Pan H., Zhang Q., Adamu M., Dragut E.C., Latecki L.J. Taxonomy-Driven Knowledge Graph Construction for Domain-Specific Scientific Applications // Findings of the Association for Computational Linguistics: ACL 2025. – 2025. – URL: https://aclanthology.org/2025.findings-acl.223.pdf (дата обращения: 10.03.2026).
11. Zhang J. Entity Normalization in Knowledge Graphs: Solving the Fragmentation Problem [Электронный ресурс] // LinkedIn. – 2026. – URL: https://www.linkedin.com/posts/jzhang-ai_how-knowledge-graphs-are-really-built-8-activity-7420133178490662912-SuCz (дата обращения: 15.03.2026).
12. Cypher Manual v5.15: Introduction to Cypher [Электронный ресурс] // Neo4j Documentation. – URL: https://neo4j.com/docs/cypher-manual/current/introduction/cypher-neo4j/ (дата обращения: 18.03.2026).
13. Тарифы GigaChat [Электронный ресурс] // СберДевелоперс. – URL: https://developers.sber.ru/docs/ru/gigachat/tariffs/legal-tariffs (дата обращения: 20.03.2026).
14. Кеширование запросов [Электронный ресурс] // СберДевелоперс. – URL: https://developers.sber.ru/docs/ru/gigachat/guides/keeping-context (дата обращения: 25.03.2026).
15. RAGAS: Retrieval Augmented Generation Assessment [Электронный ресурс] // RAGAS Documentation. – URL: https://docs.ragas.io/en/stable/ (дата обращения: 25.03.2026).