2019-08 on akky@サイボウズラボ・ブログ

ZTranslate - OCR+機械翻訳でゲーム画面を自動翻訳するサーバ

Mon, 26 Aug 2019 00:00:00 +0000

Ztranslate は、ゲーム画面のスクリーンショットを自動で翻訳してしまうというサービスです。たとえば、日本語でしか存在しないゲームを、英語でプレイすることができるようになります。

左がオリジナルの日本語版。その日本語によるテキスト表示部分が、右側のウィンドウでは英語で表示されています。

ユーザーの依頼タイミングで翻訳する自動モード

ZTranslate の自動モードでは、ゲームプレイ中にチルダキーを押すことで、スクリーンショットがZTranslateのサーバに送られます。サーバではまずGoogle OCR API を使って画面中の文字列を読み取り、さらにその読み取った文章を Google Translate API を使って翻訳、元の文章の位置に差し替えた画像を表示することで、自分が読める文章のゲーム画面が得られるといいます。

自動モードの動画がこちら。

オリジナル画面で表示されたものを翻訳した画面が右側に表示されるのに、12,3秒ぐらい掛かっていますね。これは二つのAPIの呼び出しにそれだけ時間が掛かっているのだと思われます。いずれはより短時間で返ってくるように技術が進むでしょうけれど、ゲームプレイ的にはちょっと不便そうです。

複数ユーザーの共同作業でリアルタイム性を改善するパッケージモード

そこで、もう一つのパッケージモード。こちらは、一度変換された画像を蓄積しておき、さらに参加ユーザーが人力による翻訳の改善を反映できるモードだそうです。ゲームプレイの画像が常時サーバに送られ、その画像に対応した翻訳後の画面がリアルタイムで表示されます。

パッケージモードのデモ動画はこちら。

英語版のゲームを、ドイツ語で翻訳表示し、さらに音声合成でゲーム中のナレーションを喋らせています。ゲームに対する入力は左側のオリジナル画面に対してやらないといけないようですが、外国語のゲームを遊ぶ不便さはほとんど解消されているように見えますね。

開始1カ月で20万フォロワーを獲得した、絵文字自動生成bot

Thu, 22 Aug 2019 00:00:00 +0000

😬 grimacing + 🤯 exploding = pic.twitter.com/0FZiLYrNis
— Emoji Mashup Bot (@EmojiMashupBot) August 20, 2019

フランスのウェブエンジニアを志望する18歳の学生ローアンさん(@laouanben)が作った、新しい絵文字を毎時間合成してつぶやく絵文字マッシュアップ・ボット(@EmojiMashupBot)が、7月の公開らあっという間に話題を呼んで、現時点で23万人ものフォロワーを獲得しています。

pic.twitter.com/swRSAUhv7L
— Emoji Mashup Bot (@EmojiMashupBot) July 16, 2019

二つの絵文字(現在は3つ目の要素を使うことも)の要素をバラバラにして、

ルールに従って地の形や要素を組み合わせ、新しい絵文字を作成しています。

pic.twitter.com/v38Xp2YGh3
— Emoji Mashup Bot (@EmojiMashupBot) July 16, 2019

合成はProcessingで実施しているそうです。

[An update with new emojis is also coming at 500 subscribers 😬] pic.twitter.com/OmZSZnc6bL
— Emoji Mashup Bot (@EmojiMashupBot) July 17, 2019

[ We just passed 100k followers 🎉. In only a week. You guys love emojis. Here a big update that will evolve in the future. I hope you will like it ! ] pic.twitter.com/Bv6AflTVMy

Pushshift.io - reddit掲示板の過去投稿を提供するwebサービス/API

Mon, 19 Aug 2019 00:00:00 +0000

pushshift.io は、英語圏の巨大掲示板 reddit の過去の書き込みを蓄積し提供しているサイトです。ジェイソン・バウムガートナーさん(Jason Baumgartner)という個人の方による運営です。

FAQ ページを読むと、過去のデータを期間やキーワード、ユーザー等で一括取得したい時に使うサービスだということ。新規のコメントをリアルタイムで取得したい時は reddit 公式の API を使ったほうが良いとありますね。

reddit は巨大な掲示板なので、データ量も相当になると思いますが、 Pushshift は個人 + 寄付によって維持されているようです。

Pushshift API を使ったサービス

過去の膨大なコメントにAPIやCSVでアクセスできるということで、これを利用したサービスもいろいろ存在するようです。

revddit

任意の reddit ユーザーに対し、削除した/削除されたコメントを検索できるサービス。

自分の記憶にない8年前のコメントが出てきました。僕が消したわけではなさそう。スレッドがアーカイブされた結果見えなくなっているという意味でしょうかね。

Pushshift Reddit Search

いろいろな指定で、過去の reddit 掲示板をテキスト検索できるサービス

PSAW

Pushshift API を Python 3 から呼び出すためのラッパーライブラリ。

最新のスレッドを100件取るにはこんな感じ。

# The `search_comments` and `search_submissions` methods return generator objects gen = api.search_submissions(limit=100) results = list(gen)

手書き風グラフを描けるライブラリ xkcd.chart

Mon, 19 Aug 2019 00:00:00 +0000

英語圏でエンジニアに人気の線画コミックサイト xkcd には、グラフを使ったジョークネタも頻出します。こんな感じ。

xkcd に出てくるようなグラフは、だいたい手書き風のテイストで描かれているのですが、その手書き風グラフを再現できるグラフ描画ライブラリが xkcd.chart です。

日本語も出ますね。日本語入れると凡例の枠がはみ出てしまうので、ソースの調整が要るかもしれません。xkcd 風のフォントも同梱されていますが、日本語ではデフォルトフォントになるでしょう。

円グラフ、折れ線グラフ、棒グラフを描くことができます。

ウィンドウズグラフの元ネタ

ぶつかるたびに悪態をつくロボット掃除機ルンバ

Thu, 15 Aug 2019 00:00:00 +0000

生活に彩を与えてくれるルンバの改造ネタ。

I built a Roomba that swears when it bumps into stuff pic.twitter.com/ZdbKWGszT8
— Michael Reeves (@michaelreeves) May 4, 2019

YouTuber マイケル・リーブスさんが公開した動画は、話すルンバ。

衝突センサー、Raspberry Pi、Bluetooth スピーカーを追加で搭載し、障害物にぶつかると任意の音声ファイルを再生します。

こちらが10分のロング・バージョン

変な日本語を使ったり(03:04)、声の可愛いYouTuber に悪態を吹き込んでもらったり(05:20)、スーパーマーケットTarget で(おそらく勝手に)走らせて客の反応を見たり(06:30)、買ったルンバがおかしいとサービスセンターに持ち込んだり(ひどい)

動画内にあるようなフィールドテストの結果、悪態をつくルンバは面白いと思った人もいれば不快に思った人もいたようです。

悪態じゃなくて健気に頑張ってる声とかなら良いという人も増えますかね。

via Bored Panda

親にスマホを取り上げられたため、DS、Wii、そして冷蔵庫でツイートする少女?

Thu, 15 Aug 2019 00:00:00 +0000

アリアナ・グランデのファンとしてのつぶやきをしていた15歳の少女ドロシーさんが、親の監視をかいくぐってツイートを続ける工夫によって注目を集めているようです。

母親にスマートフォンを取り上げられたドロシーさん、おそらくスマートフォン中毒のような状態でツイッター等から離れられず、学業等に支障をきたしていたのかもしれません。

im leaving forever. my mom took my phone. ill miss u all sm. im crying. goodbye. #ACNL pic.twitter.com/yqDNQylGIR
— dorothy 🏹 (@thankunext327) August 5, 2019

永遠にお別れです。ママにケータイを取り上げられました。みんなとお別れするのはさみしい。泣いてます。さよなら

ニンテンドー3DS画像投稿ツールより

スマートフォンが無いので、DS からツイートしてますね。しかし、ドロシーさんは情熱を持って抜け道を探しました。

i messed it all up. im texting off my nintendo ds. :(
— dorothy 🏹 (@thankunext327) August 5, 2019

なにか壊しちゃったみたい。ニンテンドーDSから投稿してます :(

Twitter モバイル版より

I seen that Dorothy has been using twitter on her Nintendo. This account will be shut down now. pic.twitter.com/L4JqNYhUHe
— dorothy 🏹 (@thankunext327) August 5, 2019

ドロシーはニンテンドーからツイートしてました。このアカウントは閉鎖されます。

アメリカ銃乱射地図

Wed, 07 Aug 2019 00:00:00 +0000

Voxメディアが公開している、インタラクティブな銃乱射記録地図です。

2012年のサンディー・フック小学校乱射事件以降の銃乱射事件のデータが使われていて、新しい乱射事件が起こるたびに更新されているようです。今日の時点、2012年からのたった7年弱で、2178件の乱射事件が記録されているということ。

州別に人口比の発生頻度で塗ったもの。マウスカーソルを当てると件数が見られます。ほとんどの州で乱射事件が起こっていることがわかります。

横軸が人口100人あたりの銃の数。アメリカは一人に銃一つなんですね。縦軸は10万人あたりの銃による死亡者数。アメリカは1万人に一人以上。国別でみるとダントツに他の先進諸国を離して右上に君臨しています。日本は左下、ほぼゼロに近いところ。

他にも、乱射事件で亡くなった人数は全体からみるとわずかで、その他の殺人や自殺に銃が使われていること、2012 年から乱射事件のある日に色をつけたカレンダー、など、パッと見るだけで異常な状態がわかる資料がよく可視化され、まとめられています。

銃事件の元データは、銃暴力アーカイブ(Gun Violence Archive)というサイトのものを使っているようです。こちらのサイトでは、今年2019年に銃乱射で亡くなった被害者が既に253名とわかります。

via Maps Mania

スマートフォンのカメラで血圧を計る研究とそのアプリ

Wed, 07 Aug 2019 00:00:00 +0000

経皮的工学イメージング(Transdermal Optical Imaging)によるスマートフォン血圧測定というトロント大・杭州師範大学附属医院の共同研究が発表されています。スマートフォンのカメラで撮影するだけで、映った人物の血圧を計るという研究です。

現在のスマートフォンのカメラでも、顔の表皮付近のタンパク質から反射された光を検出できるそう。特に、血液中のヘモグロビンに反射した光を追跡することで、表面近くを流れる血流の変化が取れます。これを機械学習によって処理することで、1328人の被験者の95%程度の正確さで血圧を当てることができたということ。

ただ、この1328人のほとんどが白人系と東アジア系だったということで、今回の検証モデルでは、色が濃い肌の人についてはまだまだ正確に計れないのだそう。

この研究をベースにしたスマートフォン用のアプリ Anura が Android, iPhone 向けに配布されています。

僕の手持ちのスマートフォンは対応していなかったので試せていませんが、現バージョンでは顔の表面を撮影した短い動画から、安静時心拍数とストレスレベルを測定することができるそうです。今回論文発表された血圧測定についても、すべての人が使えるようになるには数年掛かるそうですが、テスト的に搭載されるのも近いかもしれません。

今でも個人が自宅で血圧測定することはできますが、専用の機械はそれなりの値段がしますし、毎日腕に巻いて計り記録をつけるのもたいへんです。既に高血圧と判定されて医者から気をつけるように言われた人ぐらいしか測定はしていないでしょう。

カメラで写すだけで測定できる今回の技術、すべての人種に対する判定の精度があがれば、パソコンのカメラや監視カメラも併せて常に人々の血圧が測定され、健康状態の変化がフィードバックされたり異常な状態が素早く検知されて医療的な対処が提案されたり、というSF的な未来も近づいているのかもしれませんね。

https://itunes.apple.com/app/anura/id1358813934

via Quartz