カテゴリー
ネットのサービス

ZTranslate – OCR+機械翻訳でゲーム画面を自動翻訳するサーバ

Ztranslate は、ゲーム画面のスクリーンショットを自動で翻訳してしまうというサービスです。たとえば、日本語でしか存在しないゲームを、英語でプレイすることができるようになります。

左がオリジナルの日本語版。その日本語によるテキスト表示部分が、右側のウィンドウでは英語で表示されています。

ユーザーの依頼タイミングで翻訳する自動モード

ZTranslate の自動モードでは、ゲームプレイ中にチルダキーを押すことで、スクリーンショットがZTranslateのサーバに送られます。サーバではまずGoogle OCR API を使って画面中の文字列を読み取り、さらにその読み取った文章を Google Translate API を使って翻訳、元の文章の位置に差し替えた画像を表示することで、自分が読める文章のゲーム画面が得られるといいます。

自動モードの動画がこちら。

オリジナル画面で表示されたものを翻訳した画面が右側に表示されるのに、12,3秒ぐらい掛かっていますね。これは二つのAPIの呼び出しにそれだけ時間が掛かっているのだと思われます。いずれはより短時間で返ってくるように技術が進むでしょうけれど、ゲームプレイ的にはちょっと不便そうです。

複数ユーザーの共同作業でリアルタイム性を改善するパッケージモード

そこで、もう一つのパッケージモード。こちらは、一度変換された画像を蓄積しておき、さらに参加ユーザーが人力による翻訳の改善を反映できるモードだそうです。ゲームプレイの画像が常時サーバに送られ、その画像に対応した翻訳後の画面がリアルタイムで表示されます。

パッケージモードのデモ動画はこちら。

英語版のゲームを、ドイツ語で翻訳表示し、さらに音声合成でゲーム中のナレーションを喋らせています。ゲームに対する入力は左側のオリジナル画面に対してやらないといけないようですが、外国語のゲームを遊ぶ不便さはほとんど解消されているように見えますね。

エミュレーターがZTranslate対応

半年前にはリリースされていたらしいこの ZTranslate サービスを今回知ったのが、RetroArchi というエミュレーター用UIの新機能リリースでした。複数のレトロゲーム機エミュレーターをたばねて使えるツールのようですが、これの新バージョンが、ZTranslate の呼び出しを内蔵するようになったというニュースです。

こちらの新機能デモ動画では、アクトレイザーという日本のゲームを動かしつつ、出てくるメッセージが英語で読み上げられる様子を流しています。

主人公の名前を入れるところ、ひらがなからしか選べないので困ってますね。OCRと自動翻訳だけではどうしようもない箇所があることもわかりますが、それでもわからない言葉のゲームをこれだけ遊べるのはすごいと感じます。

ゲーム機のエミュレーターについては、本来所有しているカートリッジから自分でデータを吸い出して遊ぶ分には合法なものの、ネット等に流れている不正コピーで遊ぶユーザーも確実に存在するわけです。

映画や漫画でもそうですが、自分の国で公式の翻訳版が発売されないとか、翻訳版が登場するのに長い時間が掛かるとかが、ファンによる勝手な翻訳が配られる理由の一つと言われていますね。

エミュレーターでの利用よりも、権利を持っている公式こそが、こういったOCRや自動翻訳の仕組みを活用して、100%完璧ではないけど多くの国や言語に同時に近いスピードで翻訳版を届ける仕組みを作ってくれると良さそうだし、上記のような勝手な海賊版対策にもなるように思います。

そういう意味でZTranslate は面白いプロジェクトだなと思いました。

カテゴリー
fun

Google翻訳を通した変な訳詞で歌うYouTuber

YouTuber マリンダ・カスリーン・リースさんの人気ネタは、オリジナルの英語歌詞をGoogle翻訳して歌う “Google Translate Sings” シリーズ

Google翻訳で、オリジナルの歌詞を英語⇒他の言語⇒英語⇒他の言語⇒英語… と繰り返し翻訳させることで、元のとは異なる英語の歌詞ができあがります。

最初に注目されたのがディズニーアニメ「アナと雪の女王」から「ありのままで」

サビの”Let it go”(好きにすればいい)が、”Give up”(あきらめろ)になっています。まあ逆の意味というほど違うわけではないんですが、ディズニーで”Give up”を連呼する歌ってのもね。

“A kingdom of isolation, and it looks like I’m the Queen.”(孤立した王国、私はその女王のよう)が、”Discrimination law is probably the Queen.”(反差別法はおそらく女王だ)となったり。

意味が変わってしまうところもあれば、元の歌詞の意味は残しているのに表現がちっとも詩的じゃなくなっていて笑えてしまうというところも。

ミュージカル「オペラ座の怪人」のテーマ

最初の動画ではオリジナル画像をそのまま差し込んでましたが、こちらはミュージカルをちゃんと再現しようとしています。また、画面の上端にオリジナルの歌詞も載せているので、その場でどう変わったかが確認できるようになりました。

サビの「オペラ座の怪人はそこ、心の中に居る」が”Audio Combination of Opera here the ghost”(オペラ座の音声の組み合わせはここ幽霊)に。

クイーンの「ボヘミアン・ラプソディ」

元々わかりにく歌詞だけに翻訳後はおかしな箇所が多いです。

”Anyway the wind blows”(どのみち風は吹く)が”Panda blowing you say”(パンダが爆発するとあなたは言う)に。そのパンダどこから来たん?

そして”Nothing really matters”(どうでもいい)は”Nothing really ATM”に。

ご本人の説明

変になった歌詞はもちろんですが、歌唱力、変な歌を顔色も変えずに歌う点、オリジナル曲の動画再現、なども評価されているようです。日本の歌でも同じようにやると面白いかもしれないですね。

翻訳サービスが更に賢くなれば、英語の歌詞を入れて日本語に翻訳したら、自分で訳さずに公式の日本語訳の歌詞を見つけてきて出すようになるのではないかと思います。そうなってしまうとこの遊びはできなくなってしまいますね。

カテゴリー
ネットのサービス

SpeakEmoji – 音声→絵文字変換アプリ

SpeakEmojiは、音声で入力した言葉から、それにマッチした絵文字への翻訳ツールです。ブラウザ・iPhone・Android アプリが提供されています。

マイクから英語のセンテンスをしゃべると、うまくいけば対応する(?)絵文字のテキストを返してくれます。これをツイッターやフェイスブックに張り付けて送れば、絵文字で会話できますね。

speak-emoji-pc

こちら説明動画

https://www.youtube.com/watch?v=TIhxCNNG50E

わざとらしいイギリス英語ですが、ドメインもco.uk だしイギリスの会社ということをアピールしているのでしょう。絵文字を使うとクールになれて、子供たちに無視されることもなくなるそうですよ。

via TheNextWeb