Как обучить свою модель нейросети для анализа звонков IP телефонии: от идеи до продакшена

Зачем нужна своя модель, если есть DeepSeek

Большие языковые модели вроде DeepSeek, GPT-4 или Claude отлично справляются с общей задачей определения токсичности. Но когда речь заходит о специфике конкретной компании — внутреннем сленге, корпоративных нормах, контексте звонков клиентам — универсальные модели начинают ошибаться.

Представьте: оператор говорит клиенту «вы не правы» — это токсично или нет? В одной компании это допустимая прямота, в другой — нарушение стандартов. Универсальная модель не знает ваших стандартов. А маленькая специализированная модель на 0.5–1.5B параметров, обученная на ваших данных, — знает.

Архитектура решения: оператор в цикле

Ваша идея с оператором, который нажимает «верно / не верно» — это классический паттерн Human-in-the-Loop (HITL) и Active Learning. Вот как выглядит полная схема:

DeepSeek выступает в роли «учителя» (teacher model) — он размечает данные автоматически. Ваша маленькая модель — «ученик» (student model) — учится на этих данных. Оператор исправляет ошибки, и цикл повторяется. Это называется knowledge distillation + active learning.

Технологический стек

Шаг 1. Сбор и разметка данных

PROMPT = """Ты — эксперт по анализу токсичности в телефонных разговорах.
Оцени следующий фрагмент звонка оператора колл-центра.

Критерии токсичности:
- оскорбления, грубость, угрозы
- пассивная агрессия, унижение
- нарушение корпоративной этики

Верни JSON:
{{"toxic": true/false, "score": 0.0-1.0, "reason": "..."}}

Текст: {transcript}
"""

Шаг 2. Выбор базовой модели

Для задачи классификации токсичности не нужна модель на 32B. Вот оптимальные варианты:

Шаг 3. Дообучение через LoRA

LoRA (Low-Rank Adaptation) — метод, который замораживает основные веса модели и обучает лишь небольшие дополнительные матрицы. Это снижает требования к памяти в 10–20 раз.

Пример кода с Unsloth

from unsloth import FastLanguageModel
import torch

# 1. Загружаем базовую модель
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="Qwen/Qwen2.5-0.5B-Instruct",
    max_seq_length=2048,
    load_in_4bit=True,  # QLoRA — ещё экономнее
)

# 2. Настраиваем LoRA
model = FastLanguageModel.get_peft_model(
    model,
    r=16,                    # ранг адаптера
    lora_alpha=32,
    lora_dropout=0.05,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    bias="none",
)

# 3. Тренировка
from trl import SFTTrainer
from transformers import TrainingArguments

trainer = SFTTrainer(
    model=model,
    tokenizer=tokenizer,
    train_dataset=dataset,   # ваш датасет
    args=TrainingArguments(
        per_device_train_batch_size=4,
        gradient_accumulation_steps=4,
        num_train_epochs=3,
        learning_rate=2e-4,
        fp16=not torch.cuda.is_bf16_supported(),
        bf16=torch.cuda.is_bf16_supported(),
        logging_steps=10,
        output_dir="outputs",
    ),
)

trainer.train()
model.save_pretrained("toxic-classifier-lora")

Обучение на 1000 примеров займёт ~10–15 минут на NVIDIA T4 (бесплатно в Google Colab) или ~3–5 минут на RTX 4090.

Формат датасета

[
  {
    "instruction": "Оцени токсичность звонка оператора.",
    "input": "Клиент: Я жду уже 20 минут! Оператор: Успокойтесь, я вам не обязан помогать.",
    "output": "{\"toxic\": true, \"score\": 0.85, \"reason\": \"Грубость и отказ в помощи\"}"
  },
  {
    "instruction": "Оцени токсичность звонка оператора.",
    "input": "Клиент: Спасибо за помощь! Оператор: Рад был помочь, хорошего дня!",
    "output": "{\"toxic\": false, \"score\": 0.02, \"reason\": \"Вежливое завершение\"}"
  }
]

Шаг 4. Active Learning с оператором

Это самая ценная часть вашей идеи. Вместо того чтобы размечать тысячи случайных звонков, вы показываете оператору только те, где модель сомневается.

Как определить «сомнение» модели

• По вероятности: если score близок к 0.5 — модель не уверена.
• По энтропии: высокое значение энтропии на выходе — сигнал неопределённости.
• По расхождению с учителем: если DeepSeek и ваша модель расходятся — показываем оператору.

UI для оператора

┌─────────────────────────────────────────────┐
│  🎧 Звонок #4821  [ 02:14 / 05:30 ]         │
├─────────────────────────────────────────────┤
│  Транскрипт:                                │
│  "Клиент: Это уже третий раз! Оператор:     │
│   Ну так обратитесь в другой отдел."        │
├─────────────────────────────────────────────┤
│  🤖 Модель: ТОКСИЧНО (score: 0.62)          │
│  💬 Причина: уклонение от помощи            │
├─────────────────────────────────────────────┤
│  Ваша оценка:                               │
│   [ ✅ Верно ]    [ ❌ Неверно ]             │
│                                             │
│  Если неверно — выберите метку:             │
│   ○ Токсично   ○ Не токсично                │
└─────────────────────────────────────────────┘

Цикл переобучения

1. Оператор размечает 50–100 спорных примеров за смену.
2. Примеры добавляются в датасет.
3. Ночью запускается автоматическое дообучение LoRA (10–15 минут).
4. Утром — новая версия модели в продакшене.
5. Повторяем.

Шаг 5. Деплой и мониторинг

Инференс

Для продакшена используйте vLLM — он даёт в 10–20 раз большую пропускную способность, чем стандартный HuggingFace pipeline.

# Запуск vLLM с LoRA-адаптером
python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen2.5-0.5B-Instruct \
    --enable-lora \
    --lora-modules toxic-classifier=./toxic-classifier-lora \
    --port 8000

Теперь у вас есть OpenAI-совместимый API. Ваш бэкенд может отправлять транскрипты и получать JSON с оценкой токсичности.

Метрики для мониторинга

Ресурсы и сроки

Реалистичный план пилота

Полезные ссылки

• Unsloth — ускоренное дообучение LLM
• TRL от HuggingFace — SFTTrainer и RLHF
• faster-whisper — быстрый ASR
• vLLM — высокопроизводительный инференс
• Qwen2.5-0.5B — базовая модель