画像認識 on akky@サイボウズラボ・ブログ

アナログなメーターをデジタルなネットワークに接続する

Thu, 08 Jul 2021 00:00:00 +0000

従来の機器についたメーターが示すデータをネットワークで利用するためにカメラと画像認識を組み合わせるという話、つい最近も新型コロナウイルスのワクチンを低温で保管する冷凍庫の温度監視という文脈でNHKニュースで紹介されて話題となってました。

メータのデータは内部に存在するのだから、データを直接取り出すのが技術的には筋が良いように思います。しかし、既存の冷凍庫をこのために新しいものに置き換えるのは費用が掛かるし、別の冷凍庫を監視したくなったらそちらに対応するにはまた別の接続ツールが必要となるでしょう。

人間が読み取る目的のメーターをカメラで読み取るという、一見無駄のあるソリューションにもそれなりの利点があるというわけです。

ピート・ワーデンさん(Pete Warden)がブログで紹介しているのも、そんなメーター読み取りの事例です。

アナログ式のメーターの上にかぶせる形でカメラをつけ、そこからメーターの最新の画像を入手し、

画像中の数字や文字、針の向きなどをソフトウェアで解析して、

メーターで表示されている情報を取り出せます。

あわせて10ユーロもしない IoTマイクロコントローラ ESP32 の載ったマイコンボードと200万画素のカメラモジュール OV2640 の上で、畳み込みニューラルネットワーク(CNN)を作り、文字盤や針を読ませることができているそうです。ソフトウェアは jomjol/AI-on-the-edge-device で公開。

このマイコンボード上からWebインタフェースで読み取り結果を公開してるので、読み取った結果を蓄積するもグラフ化するも、異常値を見てアラートを上げるのも自由ですね。

もちろん同様の商用のソリューションはいろいろあるようですけど、それなりの価格はしそう。安価なマイコンボードと自作ソフトウェアでもここまでできるんですね。

Audeo - 鍵盤部分だけのピアノ上で動かした手の映像から音を鳴らす技術

Mon, 08 Feb 2021 00:00:00 +0000

音が鳴らないピアノを弾いた手の映像から、指の動きを見て音声をつけるという研究[pdf]が Audeo です。

ワシントン大学のエリ・シュリザーマン氏の研究室のこの研究では、音楽家がピアノを弾いている「映像」だけを持ってきて、その映像から本来流れていたであろう「楽曲」を構築します。

ピアノ演奏の動画(映像)からピアノロールに変換するコンポーネント(Video2Roll)、生成されたピアノロールから指が重なって見えない箇所や音楽的に不自然な個所を本来の演奏に近いMIDIデータに変換するコンポーネント(Roll2Midi)、MIDIから楽曲を再生するコンポーネント(Midi Synth)を通すことで、ピアノの上で動かした指から、音楽を鳴らせたそうです。動画があります。

ピアノの音色を変えることもできますし、ピアノを弾くことでバイオリンを鳴らす、みたいなこともできますね。

研究としては音階と指がはっきり見えているピアノが適していて実現可能性が高かったのかもしれませんが、演奏の動画から音程が取れるなら、他の楽器についても同様のことはできるようになるのでしょう。

この研究が進めば、テーブルで指を動かすだけでスマートフォンが曲を鳴らす、みたいなこともできるようになるかもしれないですね。

via TheNextWeb

機械学習で最密充填ピーナッツバナナサンドイッチづくり

Fri, 28 Aug 2020 00:00:00 +0000

バナナをはさんでピーナッツバターを塗ったサンドイッチを作る際に、いかにバナナをぎっしりと敷き詰めることができるか、というのを機械学習によって示すツール EthanRosenthal/nannernest が公開されています。

http://localhost:8099/wp-content/uploads/2020/08/banana_small.mp4

家にバナナが無かったので買ってきました。

今日は世界一のバナナ輸出国エクアドル産のものが手に入りました。

バナナと、パンの断面がわかる写真を撮ります。台所がが暗くてすいません。

nannernest コマンドにこの画像を与えると、デフォルトの動作ではパンに敷き詰めるだけのバナナが無く、隙間が多数できてしまいました。日本の食パンが大きいのかな? もっと薄くスライスするよう調整した結果がこちら

この結果が正しいかを確かめてみます。

29個の輪切りにするのは結構たいへん。なんとか切り終えたので、画像の指示する番号に従って、スライスを配置していきます。

「なんだか少し窮屈だな」と思いながらも進めていくと、16番を置こうとした際についに限界が。

日本で売っているエクアドル産のバナナの形状が、ツール作者のバナナとは異なるのかもしれません。

コマンドラインオプションで、バナナを何個の輪切りにするか(デフォルトは22個。バナナ層の厚みが変わってきます)、バナナの皮の厚さ、バナナの断面の長軸短軸の比率、など細かな設定もできます。

調整次第では、バナナの詰まったサンドイッチを作ることができるのではないでしょうか。

via Ethan Rosenthal via Geekologie

CRAPPSY - 毎日トイレ(大)の写真を送って健康状態チェックするサービス

Sun, 24 May 2020 00:00:00 +0000

CRAPPSY は、15歳の高校生イスカンダル・ハンさん(ハンドル名かもしれないけどすごい名前)による新サービス。ほとんどの人類が毎日のように接するものをテーマにしています。お通じです。

大便の写真を撮影してアップロードすると、その状態を機械学習によって判定し、腸の状態を点数化した Crappsyスコアが表示されます。

スコアは、腸の消化状態を表しているそう。7段階に分類するブリストル便形状スケールがその基本にあるということ。

毎日撮影して送信することで、スコアの変化から自分の胃腸の消化能力を把握できるのではと。

医者に言われて排泄後の便をチェックしているような人もいるでしょうから、写真で記録するのも意味はあるでしょうし、写真から客観的な情報を抽出してくれるのも良さそう。ただこのサービスを使い始めるには心理的な壁もあるように思います。そもそも撮影したいか、という話もあるし、専用サービスとはいえそんな写真をネットの向こうに送り出してしまっていいのか、とかも。

機械学習による判定ということは、最初は既存の大便写真を大量に集めて元データを用意しているわけです。また、サービスにも毎日毎日大便の写真が届き続けることになります。人々の健康のためのサービスで15歳の高校生が起業することもすごいですが、このサービスの開発や運営には独特の苦労がありそう…

食べたものやカロリーを写真で記録するアプリやサービスも色々ありますが、入れたものと出したもので連携したりするのもありかもしれませんね。

iOS版と Android 版の両方が存在します。

via Product Hunt

GoogleのCloud Vision API が画像内の男女の性別分類を停止

Fri, 21 Feb 2020 00:00:00 +0000

Cloud Vision API の利用者にメールで告知があったようです

2020年2月19日から、もう過ぎてますね、Vision API はラベルによる分類をした時に画像の中の人物に対して"man"/“woman"といった男女を区別したラベルを返さず、“person"を返すようになったということです。

人の性別は外見からわからないはずなのに、どちらかの性別にしてラベル付けしてしまっていたことが、Google が自ら取り決めて公開している GoogleにおけるAIの原則(Artificial Intelligence at Google: Our Principles)の第2項、「新たな偏見を生み出したり既存の偏見を強化しない」に反している、などが今回の変更の理由だということです。

見た目から性別を特定するのは偏見である、という考え方は良いと思います。Business Insiderの取材に回答したMozillaのフェローは、たいへんポジティブな変更だ、と評価しているよう。

このAPIで男女判定をしている既存のサービスやアプリは慌てているところかもしれませんね。

他社の同様のサービスはまだこのような方針になっていないため、とりあえずは別のAPIを利用するように直すのでしょうけれど。

via Business Insider

賞金の出る4択クイズゲームを隠しカメラとOCRで解くプロジェクト

Fri, 21 Sep 2018 00:00:00 +0000

イギリスのパブなどに置いてあるゲーム機に、クイズを解き続けることで勝ち進み、最後は賞金が出るものがあるそうです。

GitHub に公開されたこちらのリポジトリでは、そのトリビアクイズ機を解いてしまう支援ツールが公開されています。

こちらのアニメーションgif でプレイしている様子が見られますが、質問文と、4択の回答が表示されて、時間内に正答をタッチすると次の問題へ行けるんですね。

https://github.com/tensor8/hacking_slot_machines

こちらの動画に、ドラマか何かの中で出てくる、この手のゲームで遊んでいるシーンがあります。

Github上の解説によると、

カメラ内蔵のボタンで撮った画面の画像を Raspberry Pi へ送信
画面の傾きを補正、OpenCV で問題・4つの回答のボックスを切り出す
Google Tesseract で文字を抽出
得られた文字を[問題・回答]のデータから総当たり検索
espeak で音声合成した結果を隠しイヤホンに送る

という作りで、画面に映った問題の答えがイヤホンで聴こえてくる仕組みを実現しているそうです。

上にあるように、すべての問題と回答のデータはある前提で、これはゲーム機のROMからごく簡単な暗号化されたデータが取れていて、Pythonスクリプトで逆変換しています。

最初は問題文だけの検索で済ませるつもりだったそうですが、問題文の認識精度が完全ではなく、回答(20個のうち正答含めた4つがランダムに選ばれる)もあわせ、読み取りに間違いがある前提で単語間距離が小さいものを検索することで質問を特定しているとのこと。

当初は Raspberry Pi だけでこの処理を完結させるつもりだったそうですが、それだと回答が出てくるのに30秒掛かって間に合わないため、バックパックに入れたノートパソコンに画像を飛ばして、イヤホンへの音声合成もそこでやっているということ。Raspberry Pi はあまり関係なかった

やってる内容が内容なので、Hacker News のコメント欄では法律やモラルの問題を指摘する声も多く出ています。ボタンの穴から写す隠しカメラや、小型コンピュータであるラズパイ、バックパックに隠したPCなどの道具だてから、隠れてやるつもりがあるのも明らかですし。

Hacker News に紹介した id:jamesough が本当の作者なのかは確認できてませんが(作者である風にコメントで答えてはいます)、コードの更新日が2年前なので、これを実際に使ってたとしても前のことなのでしょうね。

アメリカのカジノでは、こういった本人の努力や知識で結果が変わるギャンブル機は無いそう。規則で許されていないようです。また、イギリスではこの手の Skill with prize (スキルで賞金)ゲームはギャンブルの範疇には入らないそうで、そのためパブ・映画館・ショッピングモールなどに自由に置くことができるのだとか。

この手の知識を問うゲーム機、特に賞金が出るものは、最初は簡単に答えられるものの、勝ち進めば進むほど問題の難度が上がり、またとても人間が答えられなさそうな問題も出るようになっているそうです。しかし、こんな風に機械による支援を受けた人間なら解ける、となってしまうと、賞金を出すビジネスモデルではもう立ちいかなくなってしまうでしょうね。

via Hacker News

HomeCourt - バスケットボールのシュート結果を画像認識で自動記録するアプリ

Tue, 17 Jul 2018 00:00:00 +0000

HomeCourtは、スマートフォンのカメラを使ったバスケットボールの練習支援アプリケーションです。打ったシュートをリアルタイムで追跡し、結果をまとめてくれます。

シュート練習が映っているアプリの画面の右上に、シュートの企図回数や成功数、コート内でのシュート位置がリアルタイムで更新されていますね。

このアプリ、コートの外側に三脚でスマートフォンを固定設置して、3ポイントラインやゴールなどを認識させると、その後に打ったシュートの位置や結果が判定されます。また、シュート時の動画をスローモーションで見返したり、それをコーチと共有する機能もあるそう。

こちらが統計結果の表示画面例。コートのどの地点からシュートを試みて、その結果がどうだったかがわかりやすく表示されていますね。距離や角度ごとの成功率や、成功率が経時でどう変化してきたかも出てくるので、得意・苦手の把握や自分の成長の度合いの確認に使えそうです。

ラインの線の色、背景に木などが無い屋内コートが良い、ボールは標準的な色、十分な明るさ、など、より良い認識のための条件はいくつもあるものの、こういった結果が画像/動画認識技術の進歩によってスマートフォンレベルで動くようになったのはすごいですね。

ウェブサイトには利用者として大学チームのロゴも多数表示されていて、実際の練習に使われているようです。効率よく上達を目指すために、こういった支援ツールが中高生の部活などにもどんどん普及していくかもしれないですね。

https://itunes.apple.com/app/apple-store/id1258520424?mt=8

via VentureBeat

Flippy - ハンバーガー裏返しロボットがアメリカで実店舗導入へ

Wed, 14 Mar 2018 00:00:00 +0000

ミソ・ロボティクス(Miso Robotics)社の Flippy (フリッピー、flip は「裏返す」)は、ハンバーガーのパテを焼き、焼き具合を見てひっくり返し、焼きあがったら引き上げることができる調理ロボットです。

今回、この Flippy がカリフォルニア州パサデナのハンバーガーショップ Caliburger に実践投入されたということでリリースが流れています。

クラウド接続されたこの Flippy は、温度センサーとカメラ映像の両方を分析して、バーガーの焼き具合を正しく判定することができるということ。

生、調理中、チーズが乗ってる、など、鉄板の上で焼かれているものの判別ができているようですね。

ロボットアームはファナック。日本製ですね。

C++かな?

回転寿司の裏ではロボットがシャリを握ってることを僕らはもう知っているわけですが、調理の状態を見て動作を変えるのは、ご飯を同じサイズに固めるよりも難易度が上がってるように思います。

DeepDex - 実世界のポケモンを判定してくれる勝手アプリ

Fri, 09 Mar 2018 00:00:00 +0000

「AIとニューラルネットワークの力で」(アプリ説明文)、未知のポケモンを判定するAndroidアプリだそうです。

「10歳のあなたが、博士の研究所でパートナーのポケモンを選べと言われた時に、このアプリを渡されたらいいよね」

こちらがアプリの動く様子をおさめた動画。ぬいぐるみを見せて、そのポケモンの名前を言わせて、説明を読み上げさせています。(読み上げはAndroid OS側のアクセシビリティ機能かもしれません)

僕の持っている機種は「対応していません」となったので、実際にどれぐらい正しく判定されるかは試せませんでした。

「ファンが作った勝手アプリである」と書いてあるのですが、見つけたポケモンのイラストとか表示しているので権利的にはグレーっぽいようにも思います。本家がこういうアプリを出してくれるのが一番良いかもしれません。

via Geekologie

Wiredの「Facebookが顔写真認証をテスト中」は誤報のような気がする

Fri, 01 Dec 2017 00:00:00 +0000

これが発端のツイート、「フェイスブックにログインできなくなってると思ったら自撮り写真のアップロードを要求された」という体験なのですが、これをWired が取り上げて、フェイスブックが顔写真をCaptcha とした本人認証を実験中、みたいに報じ、他メディアもそれを参照する形で追ってるわけです。

しかし、7か月前にredditでまったく同じ体験が公開されていますし、フェイスブックのサポートコミュニティでも顔の映った写真をアップロードしろと出てきましたが、どうしてですか?というFAQ として公開されています。

自分の写真をすでにたくさん上げているユーザーなら、それらと同一人物か判定することも今ならできなくはないでしょうけど、写真をアップロードしたかどうかに関わらずこれは発動している(どちらかというと、二つ目のアカウントを使おうとしたら、とか、家から遠く離れたところでログインしようとしたら、とかの事例が多い)ので、AIで本人確認とかそういう高度な話ではなく、免許証のコピーをアップロードさせるとかと同じく、「スパマーやなりすましなら時間をかけて対応してこないだろう」という、以前からやってる人力確認の話ではないかなと思うんですよね。

Not Hotdog - 写したものがホットドッグかどうか判定してくれるiPhoneアプリ

Mon, 15 May 2017 00:00:00 +0000

iPhone 用の新作アプリ Not Hotdog は、iPhone を使うことで目の前の食べ物(物体?)がホットドッグかどうかを調べてくれます。

右の画像、ホットドッグのケースに乗ってますがホットドッグでは無いようですね。

判定結果はソーシャルメディアで共有することができます。実際に共有している人たちもいますね。

RT dannysullivan: Yep. "Not Hotdog" works as advertised. Nice SiliconHBO er I mean Seefood … https://t.co/1qE2Rn8RwA
— Weng Jauod (@wengjauod) May 15, 2017

「なんだこれ?」と思う人も多いでしょうが、このアプリ、アメリカの起業ドラマ「シリコンバレー」シーズン4の中で出てくるアプリを実際にリリースしたもののようです。

Not Hotdog: An app that shows if your food is a hotdog 🌭 https://t.co/ylC9zMexA7 via @rrhoover pic.twitter.com/5fBpaNpseu
— Fundamental Valuation 🍅 (@eyekwasi) May 15, 2017

https://itunes.apple.com/app/not-hotdog/id1212457521

via The Verge

ARクライミングウォールが壁登りにゲーム性やバリエーションを与える

Tue, 20 Sep 2016 00:00:00 +0000

フィンランド発のAugmented Climbing Wallは、クライミングウォールにAR技術を組み合わせた製品です。

プロジェクターとカメラ、コンピューターを組み合わせた製品は、カメラで壁にいる人の動きを認識し、それにあわせて投影される内容を変化させます。

普通は石に色を塗って複数のルートを作ると思いますが、投影であれば毎回異なるルートを作ることができますね。

過去の自分を投影して、以前の自分と競ったり、成長を確かめたりも。

現在はフィンランドのヘルシンキとタンペレでのみ稼働中ですが、11月から海外展開も予定されているのだとか。

屋内で雨でもできるスポーツで、同じ場所での遊び方のバリエーションを何倍にも増やせるというのはいいですね。

Emojini - 写真から絵文字への翻訳サービス

Sun, 31 Jan 2016 00:00:00 +0000

Emojini は、画像を与えるとその画像に映っている内容から類似の絵文字を探してくれるというサービスです。

画像を、アップロードする、URLで指定する、Instagram から選ぶ、などいくつかの方法でこのサイトに与えると、その画像の内容に合った絵文字を選んで並べてくれます。

お昼ごはんの写真をアップロードすると、こんな結果がでました。なかなかいい線いってます。

🍚 🍳 🍵 🌱 の4つですね。

提案された絵文字は、ツイッター等へ流すこともできますし、コピーしてメール等で使うこともできます。

via TheNextWeb

お題どおりの表情を作ると止まるアラームアプリ Mimicker Alarm

Thu, 21 Jan 2016 00:00:00 +0000

双子かどうかを判定するサービス、Twins or Notなど、顔写真の認証技術を使った実験サービスをいろいろ出しているマイクロソフトが、止め方に特徴のある新たなアラームアプリ Mimicker Alarm をリリースしました。

Mimic(モノマネする)の名前が示すとおり、このAndroid用アラームアプリでは、アラーム音を止めるために、カメラに向けてアプリに指示された表情を作る必要があります。

「驚いた顔をして」「ハッピーな顔をして」などという指示を見て、30秒以内にアプリが判定する驚いた顔を撮らないと、アラームが後でまた鳴るようになっています。

マイクロソフトの Oxfordプロジェクトの一つ、表情を判定する Emotion API のデモとしての役割を持つこのアプリ、太っ腹なことにソースコードがGitHubで公開されています。

表情の変化を使って何かをするアイデアがあれば、このコードをベースに自分のアプリを作ることもできるというわけですね。

via The Verge

子供が映っている写真は自動的に限定公開にしたい、とフェイスブックの中の人が語る

Thu, 10 Dec 2015 00:00:00 +0000

「フェイスブック10年間のイノベーション」というイベントでフェイスブック副社長(日本語の副社長ほどは高い役職ではありません)のジェイ・パリクさんが語ったところによると、親が自分の子供の写真をフェイスブックへアップロードして、それがフェイスブック全体に公開する指定となっている場合に、「知人限定じゃなくていいんですか?」と警告することが将来的にできるだろうということです。

GoogleもFacebookも、利用者が撮影してアップロードした写真の中の人物の誰が誰かを特定することに一生懸命になっています。いずれは動画の中に映っている人を特定したりもできるようになるでしょう。

巨大なネットサービスに、居場所や友人とのやりとりだけでなく顔や表情まで読み取られ、広告のターゲットとなっていくのは不安もあります。ユーザーのためになることにも使えるんですよ、という言い訳用であっても、子供のプライバシーを守るための機能も検討してくれるのはいいかなと思います。

TwinsOrNot?(双子かどうか?) - 二人の顔写真の類似度を調べるマイクロソフトのミニサービス

Sat, 06 Jun 2015 00:00:00 +0000

TwinsOrNot.net は、二人の人物の顔写真をアップロードすると、その二人が双子かどうかを判定してくれる新サービスです。

マイクロソフトは、顔写真から年齢を当てるHow Old Do I Look?(何歳に見える?)で先月ソーシャルメディアにバズを起こしたばかりですが、そのマイクロソフトのスタッフが同社の機械学習APIのショーケース的なミニサービスとして公開されました。

中央の “upload two photos to compare” (比較する2枚の写真をアップロードしてください)をクリックして、顔写真を2枚アップロードすると、2枚の写真の人物の双子度をパーセントで表示してくれます。

ハッシュタグ #TwinsOrNotRobot で、サービス利用者の試した様々な人物がツイッターのタイムラインに上がってきています。

Я один вижу за вирусняком от Microsoft желание вывести на новый уровень алгоритмы распознавания лиц?#TwinsOrNotRobot pic.twitter.com/kKFYMkn693
— рябов иксит (@ilyaliya) June 6, 2015

Circa 2000 I looked like Richard Karn (Al from Home Improvement) -- I could live with that. #TwinsOrNotRobot
1/3 pic.twitter.com/FYq2qDqR8q