技術 · AiThao

實時通話翻譯如何運作

在翻譯通話中,你說自己的語言,對方片刻後聽到他的語言。下面是你的聲音经過的路径。

它為你做了什麼

您說話 → 通話擷取音訊 → 雙方都同意後,翻譯程序接收音訊 → 雲端語音處理辨識並翻譯語音 → 翻譯文字,以及在支援的語言中的語音,回到通話中。文字可以顯示為字幕;語音合成負責產生說出的翻譯。這些輸出屬於同一個即時過程,並不要求先顯示字幕才能播放聲音。

對方說話時,同樣的過程反方向進行。翻譯適用於 AiThao 內的通話,不適用於一般電信電話。通話和雲端處理都需要網路連線。

如何運作

雙方同意後,一個翻譯程序會以静默參與者的身份加入通話。它獲取每個人的音频,切成短片段,流式傳送給雲端語音模型,模型辨識語音、進行翻譯并朗讀結果。翻譯程序把译語播放到通話中給對方聽,對於沒有語音的語言則傳送字幕。

翻譯程序在獨立於伺服器其他部分的進程中運行,因此同時進行的大量翻譯通話不會相互拖慢,也不會拖慢普通聊天。

影响效果的因素

開啟字幕後,會顯示翻譯文字。對方最新的一句較大;您自己的那一句顯示您的話翻譯成對方語言後的樣子。字幕預設關閉,需要您自行開啟,這項偏好與「設定」同步。

對於有語音輸出的語言,文字是選用的。對於只支援字幕的語言,請開啟字幕來閱讀結果。字幕不會把翻譯移到手機上,也不會取消雲端處理。

底層技術

語音要經過網路傳送,模型需要足夠的上下文才能理解,翻譯後的語音還要產生並播放。噪音、多人同時說話、語言選擇和網路連線都會影響結果。沒有適用於每次對話的固定保證延遲。

說短一點,比較容易發現翻錯的句子。姓名、日期和金額請用文字再確認一次。字幕是查看結果的好方法,但它也可能重複您聽到的同一個辨識或翻譯錯誤。

聲音、字幕與隱私

使用翻譯的通話在傳輸過程中全程加密;使用翻譯的通話不採用端對端加密。經發言者授權同意後,其語音才會傳送至雲端翻譯提供商進行處理。視訊影像絕不會傳送進行翻譯。

通話翻譯在雲端即時進行,因此語音資料必須由翻譯服務接收處理。通話未開啟翻譯時,通話採用端對端加密。

常見問題

為了翻譯,我的通話會被錄音嗎?

不會。音频在你說話時流式傳送給翻譯服務,AiThao 不錄制通話。

為什麼會有短暫延遲?

語音需要被辨識、翻譯再重新朗讀。延遲取決於網路、語言和每句話的长度。