リアルタイム通話翻訳のしくみ

あなたにとっての意味

• 通話中、それぞれが自分の言語で話し、聞けます。
• 音声の翻訳がない言語では、相手は代わりに字幕を読みます。

しくみ

2 人が同意すると、翻訳プログラムが無言の参加者として通話に加わります。それぞれの音声を受け取って短く区切り、クラウドの音声モデルにストリーミングします。モデルは音声を認識して翻訳し、結果を読み上げます。翻訳プログラムは訳した音声を相手向けに通話に流すか、音声のない言語では字幕を送ります。

翻訳プログラムはサーバーのほかの部分とは別のプロセスで動くので、翻訳通話が同時にたくさんあっても、互いにも、ふつうのチャットにも影響しません。

仕上がりを左右するもの

• 両側の安定したインターネット接続。
• 1 人ずつ、短い文で話すこと。
• 静かな場所。周りの雑音は認識を悪くします。

使っている技術

WebRTC · ストリーミング音声認識 · 機械翻訳 · 音声合成

音声・字幕とプライバシー

通話の初期設定では翻訳が選ばれていますが、開始には双方の同意が必要です。通常の翻訳モードでは翻訳音声が流れます。同意を待っている間や翻訳を開始できない場合は元の音声が流れます。字幕は同じ翻訳内容を文字で示します。翻訳音声がない言語では字幕をオンにしてください。

翻訳処理は通話の鍵を受け取り、復号した音声をクラウドで処理します。映像は翻訳のために送信されません。この通話はエンドツーエンド暗号化ではなくなります。翻訳をオフにするとクラウド処理は止まりますが、共有済みの鍵は取り消せません。クラウド翻訳を使わずに話すには、翻訳をオフにした新しい通話を開始し、暗号化の表示を確認してください。