Вы — CTO. Квартал назад внедрили AI-инструмент для транскрибации звонков. Потратили 2 миллиона рублей на интеграцию. CEO спрашивает: "Оно того стоило?"
Вы молчите. Потому что не знаете, как ответить.
Это не гипотетическая ситуация. По данным McKinsey, 70% компаний, внедривших AI в 2024-2025, не могут обосновать затраты количественно. Инструменты крутые, эффект очевиден на глаз, но цифры — пусто.
Разберёмся, как это исправить.
Что такое KPI и зачем они AI-инструментам
KPI (Key Performance Indicator, ключевой показатель эффективности) — это количественная метрика, которая показывает, насколько инструмент достигает бизнес-цели.
Для обычного софта KPI понятны: конверсия, время загрузки, количество ошибок. Для AI-инструментов всё сложнее. Модель может работать быстро, но с ошибками. Или медленно, но точно. Или дёшево, но ненадёжно.
Проблема в том, что AI-инструменты — это не просто программы. Это системы с вероятностным поведением. Результат зависит от качества данных, языка, шума, количества спикеров. Один и тот же инструмент выдаёт разные метрики на разных данных.
Поэтому KPI для AI нужно считать не на абстрактных тестах, а на реальных рабочих данных. Вот как.
Основные метрики AI-инструментов
WER (Word Error Rate) — точность распознавания
WER — доля ошибок в распознанном тексте. Считается так:
``
WER = (подставленные + удалённые + вставленные слова) / всего слов в оригинале
`
Например, оригинальная фраза: "Вызов завершён в 15:42"
Распозналось: "Вызов завершён в 15:42 два"
Ошибки: 1 вставленное слово. Всего слов в оригинале — 4.
WER = 1/4 = 25%
Какие значения нормальны:
Уровень WER
Качество
Применимость
0-5%
Отличное
Субтитры, архивная транскрибация
5-10%
Хорошее
Протоколы совещаний, аналитика звонков
10-20%
Допустимое
Поиск по записи, быстрый обзор
20%+
Низкое
Только для общего понимания контекста
Важно: WER считается только с эталоном. Без расшифровки вручную вы не узнаете реальный WER. Это нормально — на практике достаточно проверять 5-10 случайных фрагментов вручную.
ASR (Automatic Speech Recognition) — автоматическое распознавание речи
ASR — это технология, а WER — метрика её качества. Когда говорят "ASR-модель", имеют в виду алгоритм, который превращает аудио в текст. WER показывает, насколько хорошо эта модель справляется.
Для бизнеса важен не сам алгоритм, а результат: насколько точно распознаются термины, имена, цифры. Ошибка в номере заказа — критична. Ошибка в союзе — нет.
Latency (задержка) — время отклика
Время от загрузки аудио до готового транскрипта. Измеряется в секундах или минутах.
Зачем это нужно:
Для реалтайм-инструментов (стриминговая транскрибация) задержка должна быть < 500 мс
Для пакетной обработки допустимы минуты
Для аналитики звонков — время от обработки до отчёта
Throughput (пропускная способность) — объём за единицу времени
Сколько минут аудио обрабатывается за одну минуту реального времени. Формула:
`
Throughput = длительность_аудио / время_обработки
`
Пример из TEOM: 80 минут аудио обрабатываются за 193 секунды (3 минуты 13 секунд).
Throughput = 80 / 3.2 = 25x.
Это значит, что инструмент обрабатывает аудио в 25 раз быстрее реального времени.
Uptime (время доступности) — процент работы без простоев
Доля времени, когда инструмент доступен и работает. Считается за месяц:
`
Uptime = (общее_время - время_простоев) / общее_время * 100%
`Бенчмарки:
99% — 7.3 часа простоя в месяц. Минимально приемлемо.
99.9% — 43 минуты в месяц. Хорошо для SaaS.
99.99% — 4.3 минуты в месяц. Критичные системы.
Стоимость за минуту — экономика
Самый понятный KPI для CEO. Сколько стоит обработать минуту аудио.
`
Стоимость_за_минуту = расходы_на_инфраструктуру / минут_аудио_за_месяц
`
Формула расчёта ROI
ROI (Return on Investment, возврат на инвестиции) — отношение прибыли к затратам.
`
ROI = (выгода - затраты) / затраты * 100%
`
Классическая формула. Проблема в том, что "выгоду" от AI-инструмента посчитать непросто. Вот как это делается на практике.
Шаг 1: Считаем стоимость ручной работы
Допустим, у вас 50 сотрудников, каждый обрабатывает 20 звонков в неделю. Средняя длительность звонка — 8 минут. На ручную обработку уходит 15 минут на звонок (прослушивание + запись заметок).
`
Ручная_обработка = 50 20 15 = 15 000 минут в неделю
`
Средняя стоимость минуты работы сотрудника — 5 рублей (средняя зарплата / рабочие минуты).
`
Стоимость_ручной_обработки = 15 000 * 5 = 75 000 рублей в неделю
`
Шаг 2: Считаем стоимость AI-обработки
TEOM обрабатывает те же 80 минут аудио за 193 секунды. Стоимость — 10 кредитов за минуту аудио (STT-услуга). 1 кредит = 1/30 рубля.
`
Стоимость_1_мин_аудио = 10 * (1/30) = 0.33 рубля
`
Те же 50 сотрудников 20 звонков 8 минут = 8 000 минут аудио в неделю.
`
Стоимость_AI = 8 000 * 0.33 = 2 640 рублей в неделю
`
Шаг 3: Считаем ROI
`
Выгода = 75 000 - 2 640 = 72 360 рублей в неделю
ROI = 72 360 / 2 640 * 100% = 2 741%
`
То есть каждый вложенный рубль в AI приносит 27 рублей экономии. Конечно, это упрощённый расчёт. Не учтены: время на интеграцию, обучение, погрешности ASR. Но порядок цифр реален.
Шаг 4: Считаем время окупаемости
Стоимость интеграции TEOM — 500 000 рублей (разработка + настройка).
`
Окупаемость = 500 000 / 72 360 = 6.9 недель
`
Менее двух месяцев. После этого — чистая экономия.
Практический пример: KPI для транскрибации
Разберём полный набор KPI на примере обработки 80-минутной записи совещания в TEOM.
Исходные данные
Длительность: 80 минут
Формат: MP3, 128 kbps
Язык: русский
Количество спикеров: 4
Результаты обработки
Метрика
Значение
Время обработки
193 секунды (3 мин 13 сек)
Throughput
25x (25 минут аудио за 1 минуту реального времени)
Стоимость
800 кредитов = 26.7 рубля
Стоимость за минуту аудио
0.33 рубля
Филлеры обнаружены
237 ("эээ", "ну", "значит")
Диаризация
4 спикера, разделение корректное
Сравнение с ручной обработкой
Параметр
Ручная
TEOM
Время
80 минут (прослушивание) + 40 минут (заметки) = 120 минут
3 минуты 13 секунд
Стоимость
120 * 5 = 600 рублей
26.7 рублей
Точность
Зависит от сотрудника
95%+ (WER ~5-8% на чистой речи)
Филлеры
Пропускаются
Подсчитаны: 237 штук
Поиск
Нет (только по памяти)
CTRL+F по всему тексту
Три KPI, которые стоит показать CEO
1. Время экономии:`
120 минут / 3.2 минуты = 37.5x ускорение
`2. Стоимость экономии:`
600 рублей / 26.7 рублей = 22.5x дешевле
`3. Дополнительная ценность (не поддаётся точному расчёту):
Филлеры: 237 штук за 80 минут — 3 в минуту. Без AI вы бы их пропустили.
Поиск по транскрипту вместо прослушивания.
Архив: текст хранится, аудио — нет.
Кейс: колл-центра
Колл-центр — идеальный сценарий для AI-KPI. Всё измеримо.
До внедрения
Менеджер по качеству прослушивает 30 звонков в день (по 5 минут каждый)
Время: 150 минут в день = 30 часов в месяц
Покрытие: 30 из 500 звонков в день = 6%
Пропущенные проблемы: неизвестны (но точно есть)
После внедрения TEOM
Все 500 звонков обрабатываются автоматически
Время: 500 * 8 минут = 4 000 минут аудио
Время обработки: 4 000 / 25 = 160 минут (2.7 часа)
Стоимость: 4 000 * 0.33 = 1 320 рублей в день
Покрытие: 100% звонков
KPI аудита
Метрика
До
После
Изменение
Покрытие звонков
6%
100%
+16.7x
Время аудита
30 ч/мес
2.7 ч/мес
-91%
Стоимость аудита
30 5 22 = 3 300 руб/мес
1 320 * 22 = 29 040 руб/мес
+780%
Обнаруженных проблем
~5-10/мес
~100+/мес
+10-20x
Стоп. Стоимость выросла? Да, если считать только прямые затраты на AI. Но:
Проблемы, которые раньше пропускались, теперь ловятся. Одна жалоба клиента = 50 000 рублей потерь.
Если AI предотвратит хотя бы 2-3 жалобы в месяц — окупается.
ROI = (предотвращённый_ущерб - затраты_AI) / затраты_AI
Частые ошибки при выборе KPI
Ошибка 1: Считать только WER
Низкий WER не значит хорошая система. Можно иметь WER 3%, но неправильно разделять спикеров. Или пропускать цифры в заказах.
Правильный подход: считать WER на бизнес-критичных данных. Если вы обрабатываете звонки колл-центра — WER на номерах заказов важнее, чем WER на всего текста.
Ошибка 2: Не учитывать стоимость инфраструктуры
Модель с открытым исходным кодом "бесплатна". Но GPU-сервер для неё стоит 50 000 рублей в месяц. Бесплатный сыр только в мышеловке.
Правильный подход: считать TCO (Total Cost of Ownership, полная стоимость владения) — GPU + электричество + обслуживание + время инженеров. Подробнее — в нашем обзоре подходов.
Ошибка 3: Сравнивать с идеалом
"Наша модель даёт WER 5%, а Google — 4%". Разница в 1% не значит, что Google лучше. Возможно, Google хуже справляется с шумом. Или медленнее. Или дороже.
Правильный подход: сравнивать по совокупности метрик: точность + скорость + стоимость + надёжность + простота интеграции.
Ошибка 4: Забывать про latency при реалтайм-сценариях
Для записи совещания latency = 193 секунды — это нормально. Для стриминговой транскрибации во время звонка — неприемлемо.
Правильный подход: определить требования к latency до выбора инструмента, а не после.
Чек-лист: какие KPI считать
Для технической команды
[ ] WER на реальных данных (не на тестовых датасетах)
[ ] Throughput (минут аудио / минут реального времени)
[ ] Latency (время отклика)
[ ] Uptime за месяц
[ ] Точность диаризации (разделения спикеров)
[ ] Покрытие языков
Для бизнеса
[ ] Стоимость за минуту аудио
[ ] Время экономии (часы/неделю)
[ ] ROI (возврат на инвестиции)
[ ] Время окупаемости
[ ] Покрытие (доля обработанных данных)
[ ] Предотвращённый ущерб (для аудита, compliance)
Для CEO
[ ] Сколько рублей экономим в месяц
[ ] Через сколько месяцев окупится
[ ] Какой риск, если инструмент упадёт
Как начать считать прямо сейчас
Шаг 1: Базовые метрики (1 день)
Выберите 10 случайных записей. Обработайте вручную и в AI. Сравните:
WER: сколько ошибок в 10 записях?
Время: сколько минут ушло на ручную vs AI-обработку?
Стоимость: сколько стоила AI-обработка?
Шаг 2: ROI-модель (1 день)
Заполните формулу:
`
Ручные_расходы = (сотрудники минуты_на_обработку стоимость_минуты) * период
AI_расходы = (минуты_аудио стоимость_за_минуту) период + интеграция
ROI = (ручные_расходы - AI_расходы) / AI_расходы * 100%
``
Шаг 3: Дашборд (1 неделя)
Настройте автоматический сбор:
Количество обработанных минут в день/неделю/месяц
Стоимость обработки
Средний WER (по выборочной проверке)
Uptime (мониторинг доступности)
Вывод
KPI для AI-инструментов — это не про "модель точная или нет". Это про ответ на вопрос CEO: "Оно того стоило?"
Три метрики, которые нужно считать в первую очередь:
Стоимость за минуту — самый понятный KPI для бизнеса
Время экономии — сколько часов в неделю освобождается
ROI — когда окупится и сколько принесёт
Не нужно идеальных метрик. Достаточно 5-10 проверенных записей для WER и простой формулы ROI. Лучше иметь приблизительные цифры, чем никаких.
TEOM обрабатывает 80 минут аудио за 193 секунды. Стоимость — 0.33 рубля за минуту. Попробуйте на своих записях — зарегистрируйтесь бесплатно и загрузите первый файл.