Activat VC Academy · Newgate Team
01 / 07
14

Модель отвечает не так — что крутить?

Prompt engineering или fine-tuning: в чём разница и что выбрать

Что вы сможете: выбрать рычаг по симптому
Таир Султанов · Newgate Team
Урок 14 · Prompt или fine-tuning
Activat VC Academy · Newgate Team
02 / 07

Три рычага

Промпт

Как отвечать: инструкция, формат, примеры

RAG

Что модель знает: фрагменты ваших документов в запросе

Fine-tuning

Как она ведёт себя: стиль и формат на примерах

Fine-tuning — не способ «залить в модель базу знаний». Для актуальных фактов лучше RAG.

Урок 14 · Prompt или fine-tuning
Activat VC Academy · Newgate Team
03 / 07

Диагноз по симптому

СимптомРычаг
Не знает наши данныеRAG
Оформляет не так или не тот тонСначала промпт с примерами, потом fine-tuning
Дорого и медленно на большом объёмеМалая модель + fine-tuning
Урок 14 · Prompt или fine-tuning
Activat VC Academy · Newgate Team
04 / 07

Порядок всегда один

1. Промпт

Дёшево, быстро, обратимо

2. RAG

Когда не хватает знаний

3. Fine-tuning

Когда первые два упёрлись в потолок на ваших тестах

Движение слева направо: дешевле → дороже.

Урок 14 · Prompt или fine-tuning
Activat VC Academy · Newgate Team
05 / 07

Демо: бот про условия доставки

Без данных
Сколько идёт доставка в Астану?
«Обычно 1–2 рабочих дня.»
Выдумка: модели неоткуда брать факты. Это не проблема промпта и не проблема обучения.
С документом
Правила доставки (вымышленная компания) — Алматы: 1 день — Другие города: 3–5 дней — Заказ после 18:00 — на следующий день Отвечай только по документу.
«В Астану — 3–5 дней (раздел „Другие города“).»
Нет данных в документе — модель честно отказывается. Никакого обучения.
Урок 14 · Prompt или fine-tuning
Activat VC Academy · Newgate Team
06 / 07

Когда всё-таки fine-tuning

  1. 1
    Сотни–тысячи чистых примеров«Вход → эталонный ответ»
  2. 2
    Данные однородные и чистыеГрязные данные — модель выучит путаницу
  3. 3
    Есть тест-набор из урока 9Иначе не узнаете, стало лучше или нет
Урок 14 · Prompt или fine-tuning
Activat VC Academy · Newgate Team
07 / 07

Опишите симптом → выберите рычаг → проверьте на тестах

Действие
Одним предложением опишите, что именно не устраивает в ответах модели
Вопросы и примеры из ваших проектов — @martelliad