Разбиение документов для поиска: что сработало
Корпус: 1 400 страниц внутренних регламентов. Вопросы: 120 реальных из чата. Метрика: нашёлся ли нужный абзац в топ-5.
| Стратегия | Топ-5 | Чанков |
|---|---|---|
| Фиксированные 500 токенов | 61 % | 9 800 |
| 500 с перекрытием 100 | 67 % | 12 100 |
| По заголовкам | 74 % | 4 300 |
| По заголовкам + заголовок в текст чанка | 83 % | 4 300 |
Самый большой прирост дала не математика, а добавление пути заголовков в начало каждого чанка: «Отпуска → Перенос → Документы». Без этого абзац «подать заявление за две недели» одинаков для десяти разных процедур.
Что не сработало
Переписывание чанков моделью в «самодостаточные» абзацы. Точность выросла на 2 %, стоимость индексации — в 30 раз.