Activat VC Academy · Newgate Team
01 / 07
12

Своя LLM, API или дообучение — выбор за минуту

Обучать свою LLM, брать API или дообучать open-source?

Что вы сможете: выбрать ступень и не переплатить
Таир Султанов · Newgate Team
Урок 12 · Своя LLM, API или дообучение
Activat VC Academy · Newgate Team
02 / 07

Три ступени: дороже и сложнее с каждой

1

API

Платите за обращения, ничего не разворачиваете

Старт здесь
2

Дообучение open-source

На ваших данных

3

Своя модель с нуля

Идите вверх, только когда нижняя ступень упёрлась в потолок — и вы это измерили.

Урок 12 · Своя LLM, API или дообучение
Activat VC Academy · Newgate Team
03 / 07
Стоп

Своя модель с нуля

  • Данные
  • Вычисления
  • Команда
  • Месяцы

Почти всегда — не для стартапа: потратите деньги и время до того, как поймёте, нужен ли продукт.

Урок 12 · Своя LLM, API или дообучение
Activat VC Academy · Newgate Team
04 / 07

Дообучение имеет смысл, если…

Нужен стабильный стиль или форматКоторый промпт не даёт
Очень большой объём однотипных задачЦена API стала большой статьёй расходов
Жёсткие требования к приватности
Уже есть сотни размеченных примеров
Урок 12 · Своя LLM, API или дообучение
Activat VC Academy · Newgate Team
05 / 07

API: быстрый старт — но есть цена

Почему стартуем отсюда

Плюсы

  • Быстрый старт
  • Нет инфраструктуры
Что учесть

Минусы

  • Зависимость от поставщика
  • Цена растёт вместе с объёмом
  • Данные уходят наружу

Законы о персональных данных вашей страны проверьте до выбора.

Урок 12 · Своя LLM, API или дообучение
Activat VC Academy · Newgate Team
06 / 07

Дерево решений: четыре вопроса

1
Есть ли данные с разметкой?
Если нет→ API
2
Упёрлись ли в промпт и RAG?
Если нет→ API
3
Окупится ли обучение при вашем объёме?
Если нет→ API
4
Есть ли жёсткие требования к приватности?
Если да→ Open-source у себя
Три «нет» на первые вопросы — остаёмся на API
Урок 12 · Своя LLM, API или дообучение
Activat VC Academy · Newgate Team
07 / 07

Стартуйте с API, мерьте качество, усложняйте по данным

Действие
Пройдите четыре вопроса для своего продукта и запишите ответ
Вопросы и примеры из ваших проектов — @martelliad