https://labs.cybozu.co.jp/blog/akky/tags/ztranslate/ Recent content in Ztranslate on akky@サイボウズラボ・ブログ Hugo ja Mon, 26 Aug 2019 00:00:00 +0000 https://labs.cybozu.co.jp/blog/akky/2019/08/ztranslate-auto-translates-game-screens/ Mon, 26 Aug 2019 00:00:00 +0000 https://labs.cybozu.co.jp/blog/akky/2019/08/ztranslate-auto-translates-game-screens/ <p><a href="https://ztranslate.net/">Ztranslate</a> は、ゲーム画面のスクリーンショットを自動で翻訳してしまうというサービスです。たとえば、日本語でしか存在しないゲームを、英語でプレイすることができるようになります。</p> <p><a href="https://labs.cybozu.co.jp/blog/akky/2019/08/ztranslate-auto-translates-game-screens/ztranslate-screenshot.png"><picture> <source type="image/webp" srcset="https://labs.cybozu.co.jp/blog/akky/2019/08/ztranslate-auto-translates-game-screens/ztranslate-screenshot_hu_67c0c18403d964ec.webp 480w, https://labs.cybozu.co.jp/blog/akky/2019/08/ztranslate-auto-translates-game-screens/ztranslate-screenshot_hu_3ceeaae5b607c2cf.webp 768w, https://labs.cybozu.co.jp/blog/akky/2019/08/ztranslate-auto-translates-game-screens/ztranslate-screenshot_hu_702d70b88db10853.webp 825w" sizes="(max-width: 56rem) 100vw, 54rem"> <img src="https://labs.cybozu.co.jp/blog/akky/2019/08/ztranslate-auto-translates-game-screens/ztranslate-screenshot.png" width="825" height="316" alt="" loading="lazy" decoding="async"> </picture></a></p> <p>左がオリジナルの日本語版。その日本語によるテキスト表示部分が、右側のウィンドウでは英語で表示されています。</p> <h3 id="ユーザーの依頼タイミングで翻訳する自動モード">ユーザーの依頼タイミングで翻訳する自動モード</h3> <p>ZTranslate の自動モードでは、ゲームプレイ中にチルダキーを押すことで、スクリーンショットがZTranslateのサーバに送られます。サーバではまずGoogle OCR API を使って画面中の文字列を読み取り、さらにその読み取った文章を Google Translate API を使って翻訳、元の文章の位置に差し替えた画像を表示することで、自分が読める文章のゲーム画面が得られるといいます。</p> <p>自動モードの動画がこちら。</p> <div style="position: relative; padding-bottom: 56.25%; height: 0; overflow: hidden;"> <iframe allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share; fullscreen" loading="eager" referrerpolicy="strict-origin-when-cross-origin" src="https://www.youtube.com/embed/H-EIsOpdLEE?autoplay=0&amp;controls=1&amp;end=0&amp;loop=0&amp;mute=0&amp;start=0" style="position: absolute; top: 0; left: 0; width: 100%; height: 100%; border:0;" title="YouTube video"></iframe> </div> <p>オリジナル画面で表示されたものを翻訳した画面が右側に表示されるのに、12,3秒ぐらい掛かっていますね。これは二つのAPIの呼び出しにそれだけ時間が掛かっているのだと思われます。いずれはより短時間で返ってくるように技術が進むでしょうけれど、ゲームプレイ的にはちょっと不便そうです。</p> <h3 id="複数ユーザーの共同作業でリアルタイム性を改善するパッケージモード">複数ユーザーの共同作業でリアルタイム性を改善するパッケージモード</h3> <p>そこで、もう一つのパッケージモード。こちらは、一度変換された画像を蓄積しておき、さらに参加ユーザーが人力による翻訳の改善を反映できるモードだそうです。ゲームプレイの画像が常時サーバに送られ、その画像に対応した翻訳後の画面がリアルタイムで表示されます。</p> <p>パッケージモードのデモ動画はこちら。</p> <div style="position: relative; padding-bottom: 56.25%; height: 0; overflow: hidden;"> <iframe allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share; fullscreen" loading="eager" referrerpolicy="strict-origin-when-cross-origin" src="https://www.youtube.com/embed/gh-C2TXew3Q?autoplay=0&amp;controls=1&amp;end=0&amp;loop=0&amp;mute=0&amp;start=0" style="position: absolute; top: 0; left: 0; width: 100%; height: 100%; border:0;" title="YouTube video"></iframe> </div> <p>英語版のゲームを、ドイツ語で翻訳表示し、さらに音声合成でゲーム中のナレーションを喋らせています。ゲームに対する入力は左側のオリジナル画面に対してやらないといけないようですが、外国語のゲームを遊ぶ不便さはほとんど解消されているように見えますね。</p>