実用的な英語通訳 「ポケトーク同時通訳」の課題と可能性

ポケトークが今冬導入するポケトーク同時通訳。その名のとおり、同時通訳ができるアプリ。英語を他言語に翻訳し、それを読み上げてくれる

ポケトークは、12日に新サービスの「ポケトーク同時通訳」を発表した。提供開始は今冬を予定する。

同社は現在、オンライン会議で利用できる「ポケトーク字幕」を提供しているが、これをベースに機能を拡張し、同時通訳に仕立て上げたのがポケトーク同時通訳だ。オンライン会議システムに特化していたポケトーク字幕とは異なり、ポケトーク同時通訳は独立したアプリとして動作するため、オフラインや動画視聴時にも利用できる。

対象となるデバイスは、WindowsやMacなどのPC。Windowsは64bitのWindows 10/11、MacはMojave10.14以上のmacOSが必要になる。音声や文字で出力可能な言語は70にのぼるが、翻訳可能な言語は英語のみに限定される。

英語のプレゼンを“読み上げ”できる

通訳の流れはこうだ。

まず、ポケトーク同時通訳が聞き取った音声をテキスト化。そのテキストをポケトークが得意とする翻訳エンジンにかけ、出力する言語に変換する。ここまではポケトーク字幕とほぼ同じだが、ポケトーク同時通訳では、その言語を機械音声が読み上げてくれる。イヤホンをつけながら聞くスタイルは、まさに同時通訳。このようなプロセスで翻訳されるため、原文や日本語を耳だけでなく目で確認することも可能で、ログも出力される。

流れとしては、まず英語の音声を認識。画面下に青い文字でその英文が表示される。その後、日本語などの他言語に翻訳される。アプリでは、その文章を読み上げている

ポケトークをはじめとする翻訳機や、翻訳アプリはすでに存在するが、逐次通訳的なものが多い。これに対し、流しっぱなしの音声を自動的に翻訳し、読み上げてくれる点で、ポケトーク同時通訳のユーザー体験は本物の同時通訳に近い。

発表会では、ポケトークの松田憲幸社長兼CEOが日本語で話しつつ、英語話者の音声が翻訳される様子が披露されたが、読み上げも自然で内容がすっと頭に入ってきた。

発表会でデモを披露した松田氏。翻訳もきちんとされ、英語と日本語で双方向にコミュニケーションが取れていた

アップルのiPhone発表会で「同時通訳」を検証

ここまでスムーズに翻訳されるのであれば、ビジネスシーンでも活用できそうだ。ポケトーク社も、このアプリを翻訳コストがかさむ企業への導入を考えているようだ。とは言え、発表会でのデモということで、英語を話した人が翻訳されやすいよう、意識しながら話していた可能性もある。デモだけでは、“手加減”されていたかどうかが分かりづらい。

穿ちすぎかもしれないが、それを確かめるため、筆者もβ版のアプリを自身のPCにインストールし、ポケトーク同時通訳を使ってみた。

ソースにしたのは、9月に開催されたアップルの発表会だ。ティム・クックCEOのプレゼンは、国際的なイベントに慣れた米国のエグゼクティブらしく、さまざまな人が聞き取りやすいよう、発音がはっきりしている。まくし立てるよう、いっきにしゃべり倒すといったこともない。

一方で、ある程度込み入ったことを話す際には、一文が長くなる傾向もある。この本気のプレゼンを、ポケトーク同時通訳で聞いたらどうなるのかを試してみた。

アップルの発表会を、ポケトーク同時通訳を通して聞いてみた

驚いたのが、翻訳された日本語だけを聞いていても、内容がある程度理解できるレベルになっているということだ。例えば、冒頭で話された以下の一文を抜粋してみよう。

At Apple, we're fortunate to be surrounded by people who strive to innovate together to create products and experiences that enrich people's lives, products that are intuitive and easy to use that have a unique integration of hardware and software, and that are incredibly personal

何やら英語のテストに出てきそうなぐらい長く、構文が入り組んでいる。英語のままだと何を言っているかは理解しやすいが、文法の構造がまったく異なる日本語に訳すのは大変そうだ。これを、ポケトーク同時通訳は以下のように翻訳した。

「ハードウェアとソフトウェアの独自の統合を備え、直感的で使いやすい製品と、人々の生活を豊かにする製品と体験を生み出すために、一緒に革新しようと努力している人々に囲まれていることを幸運に思います」

最後の「and that are incredibly personal」がバサッとカットされていたり、頭の「At Apple」が無視されていたり、「直感的で使いやすい製品」以下を前の文で受けてしまっていたりするところは不正確と言えるが、クック氏が何を言いたいのかは日本語を聞いていれば大体理解できる。

分からなかったところを勝手にカットしてしまうのは、どことなくDeepL的。ポケトークは翻訳エンジンにDeepLを採用しているが、同時通訳もこの部分は同じ可能性が高そうだ。

スクリーンショットを取るため、上記の個所をもう一度再生してみたところ、別の訳文が表示された。こちらは、パーソナルのあたりも取りこぼしなく訳しているが、そのぶん全体が日本語として少しおかしくなっている

ちなみに、Appleの公式動画についていた字幕は次のとおりだ。

「Appleでは幸運なことに、人々の生活を豊かにする製品と体験を生み出すために共に革新を目指す人々に囲まれています。製品は直感的で使いやすく、ハードウェアとソフトウェアがユニークに連携し、驚くほどパーソナルです」

さすがにこちらは正確で読みやすい。日本語として自然になるよう、後半部分は原文を少しだけ意訳していることも分かる。

ただ、アップルの発表会は映像に対して事前に字幕をつけたもの。同時通訳だと、ここまで自然な日本語にはならないだろう。筆者も、仕事上、同時通訳を聞くことは多いが、やはり逐次通訳より精度は落ちるし、部分的に文章がカットされてしまっていることもある。その意味で、ポケトーク同時通訳は結構実用的なのではと感じた。

オフィシャルの日本語字幕の方が、さすがに日本語としてこなれている。ただし、これは同時通訳ではない

翻訳はこの後も、終始このような調子だった。英語からあまり遅れないよう、かなり早口になる印象ではあるが、音声もそこそこ自然で聞き取りやすい。バッサリカットや誤訳もあるため、厳密性を求められる場面やシーンには使えないが、全体をザックリと理解したいときには役立ちそうだ。ビジネスシーンでは、最低限コミュニケーションを取るための道具になるかもしれない。今はまだβ版のため、今後、精度が向上する可能性もある。

英語→多言語のみの対応。待たれる双方向とスマホ対応

一方で、いくつか課題もある。

1つが、英語から他言語にしか翻訳できない点だ。相手がしゃべったことは日本語になるが、こちらが話したことは字幕でしか伝えられない。プレゼンを聞いたりするぶんにはいいが、こちらが話したことが字幕にしかならないのは少々もどかしい。双方向で同時通訳ができれば、もっと利用シーンが増えるだろう。

現状では、あくまで英語から日本語などへの同時通訳に限定される。日本語で話すと字幕にしかならず、双方向の音声通訳はできない

もう1つのネックは、デバイスがPCに限定されている点だ。会議室で面と向かって話したり、今回試したようにオンラインのプレゼンを聞いたりするには今のままでもいいが、PCだけだと立ち話のような場面では使いづらい。マイクの性能などを考えても、スマホやタブレットに対応していた方がいいだろう。こちらに関しては、発表会で松田社長が対応を名言しているため、その完成を期待したい。