カテゴリー
技術

アナログなメーターをデジタルなネットワークに接続する

従来の機器についたメーターが示すデータをネットワークで利用するためにカメラと画像認識を組み合わせるという話、つい最近も新型コロナウイルスのワクチンを低温で保管する冷凍庫の温度監視という文脈でNHKニュースで紹介されて話題となってました。

メータのデータは内部に存在するのだから、データを直接取り出すのが技術的には筋が良いように思います。しかし、既存の冷凍庫をこのために新しいものに置き換えるのは費用が掛かるし、別の冷凍庫を監視したくなったらそちらに対応するにはまた別の接続ツールが必要となるでしょう。

人間が読み取る目的のメーターをカメラで読み取るという、一見無駄のあるソリューションにもそれなりの利点があるというわけです。

ピート・ワーデンさん(Pete Warden)がブログで紹介しているのも、そんなメーター読み取りの事例です。

アナログ式のメーターの上にかぶせる形でカメラをつけ、そこからメーターの最新の画像を入手し、

画像中の数字や文字、針の向きなどをソフトウェアで解析して、

メーターで表示されている情報を取り出せます。

あわせて10ユーロもしない IoTマイクロコントローラ ESP32 の載ったマイコンボードと200万画素のカメラモジュール OV2640 の上で、畳み込みニューラルネットワーク(CNN)を作り、文字盤や針を読ませることができているそうです。ソフトウェアは jomjol/AI-on-the-edge-device で公開。

このマイコンボード上からWebインタフェースで読み取り結果を公開してるので、読み取った結果を蓄積するもグラフ化するも、異常値を見てアラートを上げるのも自由ですね。

もちろん同様の商用のソリューションはいろいろあるようですけど、それなりの価格はしそう。安価なマイコンボードと自作ソフトウェアでもここまでできるんですね。

カテゴリー
技術

Audeo – 鍵盤部分だけのピアノ上で動かした手の映像から音を鳴らす技術

音が鳴らないピアノを弾いた手の映像から、指の動きを見て音声をつけるという研究[pdf]が Audeo です。

ワシントン大学のエリ・シュリザーマン氏の研究室のこの研究では、音楽家がピアノを弾いている「映像」だけを持ってきて、その映像から本来流れていたであろう「楽曲」を構築します。

ピアノ演奏の動画(映像)からピアノロールに変換するコンポーネント(Video2Roll)、生成されたピアノロールから指が重なって見えない箇所や音楽的に不自然な個所を本来の演奏に近いMIDIデータに変換するコンポーネント(Roll2Midi)、MIDIから楽曲を再生するコンポーネント(Midi Synth)を通すことで、ピアノの上で動かした指から、音楽を鳴らせたそうです。動画があります。

ピアノの音色を変えることもできますし、ピアノを弾くことでバイオリンを鳴らす、みたいなこともできますね。

研究としては音階と指がはっきり見えているピアノが適していて実現可能性が高かったのかもしれませんが、演奏の動画から音程が取れるなら、他の楽器についても同様のことはできるようになるのでしょう。

この研究が進めば、テーブルで指を動かすだけでスマートフォンが曲を鳴らす、みたいなこともできるようになるかもしれないですね。

via TheNextWeb

カテゴリー
ツール

機械学習で最密充填ピーナッツバナナサンドイッチづくり

バナナをはさんでピーナッツバターを塗ったサンドイッチを作る際に、いかにバナナをぎっしりと敷き詰めることができるか、というのを機械学習によって示すツール EthanRosenthal/nannernest が公開されています。

家にバナナが無かったので買ってきました。

今日は世界一のバナナ輸出国エクアドル産のものが手に入りました。

バナナと、パンの断面がわかる写真を撮ります。台所がが暗くてすいません。

nannernest コマンドにこの画像を与えると、デフォルトの動作ではパンに敷き詰めるだけのバナナが無く、隙間が多数できてしまいました。日本の食パンが大きいのかな? もっと薄くスライスするよう調整した結果がこちら

この結果が正しいかを確かめてみます。

29個の輪切りにするのは結構たいへん。なんとか切り終えたので、画像の指示する番号に従って、スライスを配置していきます。

「なんだか少し窮屈だな」と思いながらも進めていくと、16番を置こうとした際についに限界が。

日本で売っているエクアドル産のバナナの形状が、ツール作者のバナナとは異なるのかもしれません。

コマンドラインオプションで、バナナを何個の輪切りにするか(デフォルトは22個。バナナ層の厚みが変わってきます)、バナナの皮の厚さ、バナナの断面の長軸短軸の比率、など細かな設定もできます。

調整次第では、バナナの詰まったサンドイッチを作ることができるのではないでしょうか。

via Ethan Rosenthal via Geekologie