技術 · AiThao

實時通話翻譯點樣運作

喺翻譯通話中,你講自己嘅語言,對方片刻後聽到他嘅語言。下面係你嘅聲音经過嘅路径。

它為你做了乜嘢

你講嘢 → 通話收錄聲音 → 雙方都同意之後,翻譯程序收到聲音 → 雲端語音處理認出並翻譯講嘅嘢 → 翻譯文字,同埋喺支援嘅語言入面嘅語音,返回通話。文字可以顯示做字幕;語音合成負責講出翻譯。呢啲輸出係同一個即時過程嘅一部分,唔需要先顯示字幕先可以播聲。

對方講嘢嗰陣,同樣嘅過程反方向行。翻譯係用喺 AiThao 入面嘅通話,唔係普通電訊電話。通話同雲端處理都要有網絡連線。

點樣運作

雙方同意後,一個翻譯程序會以静默參與者嘅身份加入通話。它獲取每個人嘅音频,切成短片段,流式傳送畀雲端語音模型,模型辨識語音、進行翻譯并朗讀結果。翻譯程序把译語播放到通話中畀對方聽,對於冇語音嘅語言則傳送字幕。

翻譯程序喺獨立於伺服器其他部分嘅進程中運行,因此同時進行嘅大量翻譯通話唔會相互拖慢,也唔會拖慢普通聊天。

影响效果嘅因素

開咗字幕之後,會顯示翻譯文字。對方最新嗰句會大啲;你自己嗰句顯示你講嘅嘢翻譯成對方語言之後係點。字幕預設係閂咗,要你自己開,呢個設定同「設定」同步。

有語音輸出嘅語言,文字係可有可無。只支援字幕嘅語言,要開字幕先睇到結果。字幕唔會將翻譯搬去手機度做,亦唔會取消雲端處理。

底層技術

語音要經網絡傳送,模型需要足夠嘅上文下理先明,翻譯咗嘅語音仲要整出嚟同播放。噪音、幾個人同時講、語言揀選同網絡連線都會影響結果。冇一個適用於每次對話嘅固定保證延遲。

講短啲,比較容易發現邊句翻錯。姓名、日期同金額要用文字再確認一次。字幕係睇結果嘅好方法,但佢都可能重複你聽到嘅同一個辨識或者翻譯錯誤。

聲音、字幕與私隱

使用翻譯嘅通話喺傳輸過程中全程加密;使用翻譯嘅通話唔採用端對端加密。經發言者授權同意之後,其語音先會傳送到雲端翻譯提供商處理。視訊影像絕不會傳送進行翻譯。

通話翻譯喺雲端即時進行,因此語音資料必須由翻譯服務接收處理。通話未開翻譯嗰陣,通話採用端對端加密。

常見問題

為了翻譯,我嘅通話會被錄音嗎?

唔會。音频喺你講嘢時流式傳送畀翻譯服務,AiThao 唔錄制通話。

為乜嘢會有短暫延遲?

語音需要被辨識、翻譯再重新朗讀。延遲取決於網路、語言和每句話嘅长度。