Jarvis стал естественнее говорить по-узбекски

Jarvis стал естественнее говорить по-узбекски

2 мин чтения 5 просмотров
Кейсы
Дети тренируют узбекскую речь вместе с Jarvis и слышат ответы голосом Saodat. Новое решение сократило паузу перед звуковым сигналом.

Теперь Jarvis понимает ребёнка по-узбекски и отвечает голосом Saodat. Клиент использует это решение, чтобы дети могли тренировать речь. Задача проекта заключалась в переходе с OpenAI GPT-Live на NeuronAI с сохранением прежнего опыта живого общения.

Когда ребёнок заканчивает говорить, Jarvis сначала подаёт короткий сигнал, показывая, что услышал его, а затем начинает отвечать. Пауза перед этим сигналом сократилась с 2,25 секунды до 1,28 секунды. Сам ответ начинается примерно через 1,5–1,7 секунды после того, как ребёнок замолчал.

После окончания речи наступало 2,25 секунды тишины

Для тренировки речи мало просто дать хороший ответ. Если ребёнок закончил говорить, а Jarvis слишком долго молчит, кажется, будто разговор прервался.

Поэтому команда работала не только над содержанием ответа. Отдельно улучшили и короткий звуковой сигнал, которым Jarvis показывает, что услышал ребёнка, и время начала самого ответа.

Jarvis слышит узбекскую речь и отвечает голосом Saodat

Jarvis перевели с OpenAI GPT-Live на NeuronAI. Новое решение распознаёт узбекскую речь, готовит ответ и озвучивает его голосом Saodat. Если основной контур перестаёт работать, включается резервный.

Прежний сервис отключили, но сохранили возможность вернуться к нему при необходимости. На проект выделили около 123 инженерных часов.

Команда также проверила готовые общедоступные решения, которые преобразуют узбекскую речь непосредственно в голосовой ответ. В найденных продуктах процесс состоял из трёх частей: распознавания речи, подготовки ответа и его озвучивания.

Тестовый экран показывает паузу между речью ребёнка, сигналом и ответом Jarvis
До оптимизации перед подтверждающим звуком возникала пауза в 2,25 секунды.

Для ребёнка разговор проходит в четыре простых шага

Сложный процесс остаётся незаметным для пользователя. Для ребёнка это по-прежнему обычный разговор.

  1. Ребёнок говорит по-узбекски Jarvis слушает речь ребёнка и распознаёт произнесённые по-узбекски слова.
  2. Jarvis показывает, что услышал Когда ребёнок заканчивает говорить, раздаётся короткий звуковой сигнал голосом Saodat.
  3. Готовится ответ Если основной контур не работает, Jarvis готовит ответ через резервный.
  4. Saodat озвучивает ответ Готовый ответ звучит для ребёнка по-узбекски голосом Saodat.

Время ожидания заметно сократилось

2,25 секундыПрежняя задержка сигнала
1,28 секундыНовая задержка сигнала
1,5–1,7 секундыНачало фактического ответа
Микрофон, сигнал, голосовой модуль и динамик образуют четыре шага разговора
Четыре шага: ребёнок говорит, Jarvis подтверждает, обрабатывает речь и отвечает.

Три урока для владельцев похожих продуктов

Из этого проекта можно сделать три практических вывода для владельцев продуктов, работающих над голосовым общением.

  • Измеряйте и тишину. Пользователь замечает не только качество ответа, но и то, сколько пришлось его ждать.
  • Добавьте звуковой сигнал. Короткий сигнал сразу показывает, что речь ребёнка принята.
  • Сохраняйте возможность отката. При смене сервиса возможность вернуться к прежнему варианту снижает технические риски.

Сделайте голосовое общение естественнее

Если вашему продукту нужны голосовое общение на узбекском, более быстрые ответы или понятный звуковой сигнал, свяжитесь с Celion.

Связаться с нами

Поделиться статьей

Вам также может понравиться