- Сначала evals, потом промпты
Почему я перестал править промпты «на глаз» и завёл набор из 60 проверочных кейсов до первой строчки системного промпта.
- Структурированный вывод без боли
JSON-схемы, повторные запросы при невалидном ответе и почему «просто попроси вернуть JSON» ломается на третий день.
- Кэш промптов и счёт за месяц
Считаю на реальных числах, сколько экономит кэширование длинного контекста, и где оно не помогает совсем.
- Разбиение документов для поиска: что сработало
Четыре стратегии чанкинга на одном и том же корпусе внутренней документации, с замерами точности ответов.
- Локальная модель или API: таблица, по которой я решаю
Не «что лучше», а при каких объёмах, задержках и требованиях к данным выбор очевиден.