画像処理 on akky@サイボウズラボ・ブログ

アナログなメーターをデジタルなネットワークに接続する

Thu, 08 Jul 2021 00:00:00 +0000

従来の機器についたメーターが示すデータをネットワークで利用するためにカメラと画像認識を組み合わせるという話、つい最近も新型コロナウイルスのワクチンを低温で保管する冷凍庫の温度監視という文脈でNHKニュースで紹介されて話題となってました。

メータのデータは内部に存在するのだから、データを直接取り出すのが技術的には筋が良いように思います。しかし、既存の冷凍庫をこのために新しいものに置き換えるのは費用が掛かるし、別の冷凍庫を監視したくなったらそちらに対応するにはまた別の接続ツールが必要となるでしょう。

人間が読み取る目的のメーターをカメラで読み取るという、一見無駄のあるソリューションにもそれなりの利点があるというわけです。

ピート・ワーデンさん(Pete Warden)がブログで紹介しているのも、そんなメーター読み取りの事例です。

アナログ式のメーターの上にかぶせる形でカメラをつけ、そこからメーターの最新の画像を入手し、

画像中の数字や文字、針の向きなどをソフトウェアで解析して、

メーターで表示されている情報を取り出せます。

あわせて10ユーロもしない IoTマイクロコントローラ ESP32 の載ったマイコンボードと200万画素のカメラモジュール OV2640 の上で、畳み込みニューラルネットワーク(CNN)を作り、文字盤や針を読ませることができているそうです。ソフトウェアは jomjol/AI-on-the-edge-device で公開。

このマイコンボード上からWebインタフェースで読み取り結果を公開してるので、読み取った結果を蓄積するもグラフ化するも、異常値を見てアラートを上げるのも自由ですね。

もちろん同様の商用のソリューションはいろいろあるようですけど、それなりの価格はしそう。安価なマイコンボードと自作ソフトウェアでもここまでできるんですね。

マジック・ザ・GIFニング - 面白動画を載せたMtGのカードを生成するプログラム

Fri, 13 Oct 2017 00:00:00 +0000

カードゲーム「マジック・ザ・ギャザリング(MtG)」のデータを使ったネタプログラミングが Hacker News で話題となっていました。

Pythonで書かれ、GitHubで公開されているこのツールは、MtGのカードのタイトルに合った内容のアニメーションGIFを埋め込んで、MtGのパロディカードを生成するというプログラム。

生成したカードを定期的にツイッターにつぶやく bot 機能も持っていて、作者自身によるデモアカウント@MTGIFening では、6時間おきに一枚、新作カードが自動投稿されています。

ハウル・フロム・ビヨンド(彼方からの雄叫び)というカード名から生成されたのが、こちらのカード

pic.twitter.com/sxqKUYHmfv
— Magic: The GIFening (@MTGIFening) September 30, 2017

なるほど、雄たけんでるように見えなくもない。

仕組み

Readme/ソースによれば、このツールの仕組みはこんな感じ。

カードデータの入手

MTG JSONで提供されている、全カードのJSONデータを取得する。そんなデータが有志によって管理されているんですね。これもGitHub上で管理更新されているようです。日本語データファイルもありました

ここからJSONファイルをダウンロードし、それを前処理のスクリプトで必要なレコードのみのcsvを作り、それを使って動いています。

ネタになるアニメーションGIFの入手

アニメーションGIF版 YouTube、みたいなサイトGIPHYにAPIが提供されていて、その中にキーワード検索APIもあるので、ランダムに選んだMtGのカードのタイトルを食わせています。タイトルによってはGIFが見つからない場合もあるみたいですが、その時は見つかるまで繰り返しています。

“MtG"で検索して最初にでてきたのがこれ。

オリジナルのカード画像に、GIFをはめ込む

MtG公式からカード画像を取得し、MoviePyライブラリで、動画の各フレームを書き換えているようです。カードの世代によって画像の位置やサイズが違うので、世代にあわせて埋め込み座標を変えたりもしています。

ツイートする

PythonでTwitterを読み書きするTwythonを使い、生成されたGIFをツイッターに投稿させています。

これらをパッケージする Docker ファイルも置いてあり、自分の環境で簡単に再現できます。ツイッターに投稿するところは動かしませんでしたが、ローカルで動かしてみてできた画像がこちら。

https://labs-staging.31tools.com/blog/akky/wp-content/uploads/2017/10/mtg_gif.mp4

コードも完結で短く、データやAPIを組み合わせてうまく作ってるなと思いました。

via Hacker News

Dreambit - キーワードで写真のヘアスタイルを着せ替えできる実験サービス

Mon, 25 Jul 2016 00:00:00 +0000

Dreambitは、顔写真を加工してくれるサービス。「インド」や「1930」などといったキーワードを与えると、写真に写っている人物の髪型を「インド風」にしたり「1930年代風」に変換してくれます。

(credit: ワシントン大)

ベータアクセスは申請式ということで、とりあえず申請しましたがまだ自分で使えてはいません。髪型やファッションスタイルを表す言葉「以外」の言葉を入れてどんな髪型が出てくるか、試せると面白そうですね。

Captain Picard simulated with curly hair by #dreambit pic.twitter.com/rPiHIgaOt6
— Dreambit (@dreambitxyz) July 24, 2016

ピカード船長!

Tom Hanks with "Long Hair" #dreambit pic.twitter.com/HyXjAZwZUu
— Dreambit (@dreambitxyz) July 22, 2016

デモの動画はこちら。

同じ助教のチームは、2014年に「写真の人が歳を取ったらどんな顔になるか」という画像処理研究を発表しています。

Fetch! 写真から犬種を当てるiPhoneアプリ

Sat, 13 Feb 2016 00:00:00 +0000

顔写真から年齢を当てるサービスや、顔写真から感情を当てたりするサービスなど、機械学習を活用した実験的サービスを連発しているマイクロソフトのガレージ・プロジェクトから、こんどは犬の写真を使うアプリ Fetch! がiOS向けに登場しました。

犬の写真を撮ると、その犬の種類 - マルチーズとか柴とかブルドッグとか - を推定してくれる、というアプリです。

ウェブサービス版の What-Dog.net もあります。

うちの犬は特に血統書等は無いけど、どの種類に近いのだろう、みたいな疑問にも、答えてくれるかもしれません。

過去に出したサービスの流れからいくと、犬種じゃなくて「人種を判定するサービス」だったとしてもおかしくないですし、そういう仕組みも作っていたかもしれません。ですが、今の時代にそんなものを作って公開するのは炎上必死でしょうね。犬の血統書だって全ての人が賛同しているものではないのですから。

https://itunes.apple.com/us/app/id1050367912?mt=8

via GeekWire

Megabite - 並んだ食材から福笑いのように顔を作るアルゴリズム

Tue, 02 Feb 2016 00:00:00 +0000

Megabite は、皿に盛った料理の写真をパーツとして、福笑いのように顔を作るアプリだそうです。

考えてみよう、食べ物もハッピーに見えるに越した事はない。あるランチの時、料理で遊んでるときにふと思ったんだ - このプロセスは自動化できるのでは? 解決すべきビッグな問題がここにあるじゃないか。Let’s face it, food is more fun when it looks happy. I was playing with my food one lunchtime, and I wondered to myself - would it be possible to automate this process? Solving the big problems right here.

このアプリは画像中の皿に乗った食べ物を個別に切り出し、それをより興味深く並べ替えます。

作者の解説するアプリの全行程は以下のようなもの。

食べ物の写真の撮影とリサイズ、丸く切り出し
輪郭の抽出、閉じてない(例: Cのような形の)輪郭の除去
重複した輪郭や多重の輪郭(例: 目玉焼きの中の黄身)の除去
抽出した要素を含む最小の長方形の決定
要素の数に応じた3つの顔型のテンプレートからの選択
テンプレート中の要素の形に合わせて、どの食べ物をどこにはめるかの判定
要素に最もフィットする方向に食べ物を回転
食べ物をポップさせたりしながら、回転して最終形を表示する

動画でアプリが動く様子が見られます。

ツールはiPhoneアプリとして作成されていますが、iTunes Storeには見当たらないので一般公開してないか、申請中なのかもしれません。ソースコードがGitHubで公開されているので、自分でビルドすれば試せるかもしれません。

スマホサイズに16個ものレンズを搭載、コンピューター処理で高画質が得られると主張するカメラ Light L16

Thu, 08 Oct 2015 00:00:00 +0000

Light は、スマートフォンをちょっと分厚くしたぐらいのサイズに、なんと16個ものレンズを収めたという「世界初のマルチ・アパーチャー(開口部)・コンピュテーショナル(コンピューター処理)・カメラ」。

(credit: Light http://light.co/ )

「スマートフォンサイズながらデジタル一眼レフ並みの写真が撮れる」と自ら語っている Light L16 は、35mm から 150mm までの16個のレンズのうち、同時に最大で10レンズで撮影し、それらのデータをデジタル処理することで、高画質の画像データを生成することができる、と言っています。

(credit: Light http://light.co/ )

その際に処理する画素数は最大で1億3千万ピクセル。最高で5200 万画素の解像度の写真を撮れるといいます。また、被写界深度や露出は撮影の「後で」調整することができます。

(credit: Light http://light.co/ )

米国向けの出荷予定が2016年晩夏。定価$1,699 が今月中の注文で$1,299 。ただし前金として$199 分は今すぐ差し引かれます。

台湾の Foxconn パートナーシップを結んでいるということで、工場のものらしき風景も動画には映っています。2013年の創業から2度の出資も受けており、単にヤケクソでレンズを沢山積んでみた、みたいなレベルでは無さそうに感じました。

レンズとセンサがスマートフォンの普及等で劇的に安くなったことで実現したところはあるのでしょうね。

中世から現代まで、21万枚の絵画に使われている色の変化をRで可視化したグラフ

Fri, 17 Apr 2015 00:00:00 +0000

過去から現在までの大量の絵画データを使い、「時代の色遣い」があるかどうかを調べようとしたマーティン・ベランダーさん(Martin Bellander)のブログから。

大量の絵画データの取得先は、グーグルのアート・プロジェクトやWikiアートなどいくつか候補があったのですが、英BBCのサイト Your Paintings を選んだということです。このBBCのサイトにはイギリスを中心にヨーロッパ絵画が収められていると思われます。

21万枚を越える絵画データが閲覧できるということで、Windows上のR言語スクリプトで全絵画ファイルのURLを取得し、そこから、画像ファイル、描かれた年(年代で示されているものは最初の年)、油彩かアクリルかテンペラか混合技法か、などの情報を取得保存しています。

ファイルが壊れているものなどを自動・手動で除去した後で、描かれた年ごとにまとめ、各絵画から100個の点をランダムにサンプリングし、色相・彩度・明度を調べ足しこみます。

グラフの左側にある白い部分は、その年代の絵画が無かったからですね。全体的に、絵画に使われている色の多くが赤・オレンジ・黄色で占められているというのがわかります。

また、20世紀に入ってから青や緑の量が増えていることがわかります。これについてもベランダーさんは考察し、いくつか仮説を立てています。

「青」という色や名前が他の色と比べ新しい概念・認識である(Business Insiderの記事)
(グラフでカウントしてない)暗い色・黒を、青として取ってしまっている
古い絵画ほど、経年変化で青色の樹脂が失われている
昔は青い絵の具が高価だったが安くなって使われるようになった

他にも、全体的な絵画界の流行としてそうなった要素もあるかもしれませんね。どれも決め手というほどの理由でもなさそうで、コメント欄では議論が続いています。

コメント欄では1914年からの映画ポスターの色を分析したという2012の記事も紹介されていて、絵画だけでなく、20世紀は青色の利用が増えた時代と言えるかもしれません。

via Flowing Data

ちょっと悲しい、スタートアップの集合写真

Fri, 08 Nov 2013 00:00:00 +0000

いかにもスタートアップ、という風のシリコンバレーのweb広告技術の会社。企業サイトの「チーム紹介」のページは、オシャレデザインのオフィスに、カジュアルな服装でリラックスした感じの集合写真です。マウスカーソルをあわせると名前が表示されるというギミックも今風です。

が、しかし、どこにでも良く見ている人はいるもので、「まったく同じ写真なのに、人が居なくなったり、別の人が増えたりしてるぞ」という発見者が。

一見、同じ場所で撮り直したようにも見えますが、両方の写真に映っている数人を見ると、まったく同じ服装、まったく同じポーズです。つまり、社員が辞めたり増えたりすると、この集合写真は画像加工されて最新のメンバーにアップデートされているということ。

コメント欄では、「他のバージョンも見つけたよ」と、複数のバージョンでアニメーションgifを作る人も。

集合写真 + スクリプトで個々人の紹介、という仕掛けを会社紹介でやりたかった、けれども人が辞めたり増えたりした時にどうするかは考えてなかった。ということで、広い意味ではwebサイト制作の設計ミス、と言えそうですね。

このサイズの小さな会社でも、これだけ頻繁に人が出入りしているということでは、シリコンバレーのIT企業の人材のダイナミズムがわかる写真、とも言えそうです。救いは、どんどん人が消えていく(辞める人の方が多い)わけではないという点でしょうか。

しかし、画像の加工ツールがこれだけ普及して誰でも使えるようになると、写真に一緒に映っていても何の証明にもならないですねえ。

監視カメラの長時間画像を圧縮して短く見せるBriefCam

Tue, 30 Jul 2013 00:00:00 +0000

BriefCam は、ほとんど変化がない景色を撮影した監視カメラ等による長時間動画を、数十～数百分の1の短い動画に圧縮するという、動画の要約ソフトウェアです。

建物のホールに設置したカメラの110分の動画を、2分に圧縮したもの。違う時刻に現れたそれぞれ別の人物、あるいは同一人物が、カメラ内に登場し・去っていく様子を見せています。同じ画面上に同時に見えますが、それぞれの人には時刻が重ねて表示されています。

工場で作業する人たちの動画。同様に15分が2分になっています。

2時間のドア付近の人の出入りを90秒で再現。

サイトには、道路を通る車や駐車場の出入り、部屋内の荷物の移動など、他のいろいろな利用例も掲載されています。

カメラの価格も、撮影した動画をコンピューターに保存することも、ネットで閲覧することも、一昔前からすれば格段に簡単になったため、世の中には監視カメラで取った動画情報はあふれるほどに存在するかと思います。

しかし、1時間撮影したものを見直して何かを発見するには、たとえ2倍速で観たとしても30分掛かってしまうわけです。重大な事件の証拠探しなら人海戦術も採れるでしょうが、それ以外の場合には、撮ったはいいが確認がたいへん、ということも多いのが実際なのではと想像します。

音声レコーダーでも、誰かが話している時だけ録音する、という機能がありますが、動画についても、変化のある箇所だけを手早く発見・確認したいという需要は多いのかもと思いました。

via The software that caught the Boston bombers

酒飲みに10年後の顔の老化を見せてくれるアプリDrinking Mirror

Wed, 23 Jan 2013 00:00:00 +0000

Drinking Mirror、その名も飲酒鏡、というこのスマートフォンアプリは、自分の顔写真と今飲んでいる酒量を与えることで、10年後にどんな顔になるかを予想してくれるアプリです。

まず、顔写真を用意します。アプリ上からカメラを起動して撮影することも可能。

写真の目の高さや目の位置を画面上で調整します。

次に、一週間の酒量をグラスの数で自己申告。

もしこの人が毎週10杯以上(175mlを一杯とする)飲んでいるなら、10年後にはこんな感じになるのだとか。肌はかさつき、頬には赤みが広がり、老化はより速くなり、体重も増える、と。

下のスライダーで少し小さいグラスに変えたときの予想と切り替えることができるので、「あ、ちょっと控えればこれだけましになるのだな」というのが確認できるというわけ。

イギリス・スコットランドの政府キャンペーンDrop a Glass Size(小さいグラスを使おう) in 2013の公式アプリで、日常的に飲みすぎるとどんなショッキングな影響があるかというのを啓蒙するために作成・配布されているものです。

アプリは無料で、Android版とiOS版があります。また、パソコンのWebブラウザで使えるFlash版も存在します。

これらのアプリは、人間の顔の経年変化を予想する技術を持つChangeMyFaceという企業によるもので、この技術の適用分野は大まかに3つあるそうです。一つが行方不明になった人を探すための、その人が今の歳になったらそうなっているであろうという予測、二つ目は犯罪の指名手配写真、三つ目が今回のものを含む、ライフスタイルによる変化を予測するもので、喫煙・飲酒・日光浴・無理なダイエットなどの効果をわかりやすく見せるために使われているとか。

https://itunes.apple.com/jp/app/drinking-mirror/id588297432?mt=8

via ‘Drinking mirror’ shows alcohol’s toll on looks Video on TODAY com - YouTube