Как работает живой перевод звонков

Что это даёт вам

• Каждый говорит и слышит на своём языке прямо во время звонка.
• Там, где у языка нет озвучки, собеседник читает субтитры.
• Пока перевод не пришёл, вы слышите собственный голос собеседника, а не тишину.

Как это работает

Когда оба согласились, к звонку подключается обработчик перевода — молчаливый участник. Он берёт звук каждого, режет его на короткие фрагменты и передаёт облачной речевой модели, которая распознаёт речь, переводит её и озвучивает результат. Обработчик проигрывает переведённую речь в звонок для собеседника или отправляет субтитры для языков без озвучки.

Обработчики перевода работают отдельными процессами от остального сервера, поэтому много звонков с переводом одновременно не тормозят ни друг друга, ни обычные чаты.

От чего зависит результат

• Устойчивый интернет у обоих.
• Говорить по очереди и короткими фразами.
• Тихое место: фоновый шум ухудшает распознавание.

Под капотом

WebRTC · потоковое распознавание речи · машинный перевод · синтез речи