它為你做了乜嘢
你講嘢 → 通話收錄聲音 → 雙方都同意之後,翻譯程序收到聲音 → 雲端語音處理認出並翻譯講嘅嘢 → 翻譯文字,同埋喺支援嘅語言入面嘅語音,返回通話。文字可以顯示做字幕;語音合成負責講出翻譯。呢啲輸出係同一個即時過程嘅一部分,唔需要先顯示字幕先可以播聲。
對方講嘢嗰陣,同樣嘅過程反方向行。翻譯係用喺 AiThao 入面嘅通話,唔係普通電訊電話。通話同雲端處理都要有網絡連線。
點樣運作
雙方同意後,一個翻譯程序會以静默參與者嘅身份加入通話。它獲取每個人嘅音频,切成短片段,流式傳送畀雲端語音模型,模型辨識語音、進行翻譯并朗讀結果。翻譯程序把译語播放到通話中畀對方聽,對於冇語音嘅語言則傳送字幕。
翻譯程序喺獨立於伺服器其他部分嘅進程中運行,因此同時進行嘅大量翻譯通話唔會相互拖慢,也唔會拖慢普通聊天。
影响效果嘅因素
開咗字幕之後,會顯示翻譯文字。對方最新嗰句會大啲;你自己嗰句顯示你講嘅嘢翻譯成對方語言之後係點。字幕預設係閂咗,要你自己開,呢個設定同「設定」同步。
有語音輸出嘅語言,文字係可有可無。只支援字幕嘅語言,要開字幕先睇到結果。字幕唔會將翻譯搬去手機度做,亦唔會取消雲端處理。
底層技術
語音要經網絡傳送,模型需要足夠嘅上文下理先明,翻譯咗嘅語音仲要整出嚟同播放。噪音、幾個人同時講、語言揀選同網絡連線都會影響結果。冇一個適用於每次對話嘅固定保證延遲。
講短啲,比較容易發現邊句翻錯。姓名、日期同金額要用文字再確認一次。字幕係睇結果嘅好方法,但佢都可能重複你聽到嘅同一個辨識或者翻譯錯誤。
聲音、字幕與私隱
使用翻譯嘅通話喺傳輸過程中全程加密;使用翻譯嘅通話唔採用端對端加密。經發言者授權同意之後,其語音先會傳送到雲端翻譯提供商處理。視訊影像絕不會傳送進行翻譯。
通話翻譯喺雲端即時進行,因此語音資料必須由翻譯服務接收處理。通話未開翻譯嗰陣,通話採用端對端加密。
常見問題
為了翻譯,我嘅通話會被錄音嗎?
唔會。音频喺你講嘢時流式傳送畀翻譯服務,AiThao 唔錄制通話。
為乜嘢會有短暫延遲?
語音需要被辨識、翻譯再重新朗讀。延遲取決於網路、語言和每句話嘅长度。