Локальная модель или API: таблица, по которой я решаю
Спор «локально или через API» обычно идёт про принципы. У меня он идёт по таблице.
| Условие | Выбор |
|---|---|
| Данные нельзя выносить за контур | Локально, без вариантов |
| Меньше 50 тысяч запросов в день | API дешевле с учётом людей |
| Нужна задержка меньше 300 мс | Локально, маленькая модель |
| Задача требует сильного рассуждения | API |
| Есть инженер на поддержку GPU | Можно локально |
Строка про инженера самая важная. Карта стоит один раз, а человек, который чинит драйверы в три ночи, стоит каждый месяц.
Гибрид
У нас классификация обращений идёт на локальной модели (дёшево, быстро, данные на месте), а составление ответа — через API. Это покрывает 90 % случаев, и обе части можно менять независимо.