カテゴリー
技術

AI生成の実在しない人物を角膜への反射光で判定する論文

GANによる存在しない架空の人物の画像生成、どうみても本物の顔写真と区別がつかないものもできるようになりましたが、そんな合成顔を見分けるための研究というのもされているようです。

こちらは両目の瞳孔に反射した光のパターンを左右で比べて、両目のパターンが大きく異なる場合はAIによる生成顔だと判定できるとした成果。

片目をつむっている顔は判定できないとか、両目から等しく光源が見えるような状況でなければ誤判定が起こるとか、制限もあるようです。それはそうかという感じ。また、免許証の写真ぐらいの解像度で紙に印刷されてしまえば、このような判定法は適用できなさそうにも思えます。

そしてもちろん、この研究は「今の」GAN生成顔を検出できるというものでしかなく、今後のAIによる顔画像生成は双眸の反射を考慮したものになっていくのでしょうね。

via TheNextWeb

カテゴリー
技術

Audeo – 鍵盤部分だけのピアノ上で動かした手の映像から音を鳴らす技術

音が鳴らないピアノを弾いた手の映像から、指の動きを見て音声をつけるという研究[pdf]が Audeo です。

ワシントン大学のエリ・シュリザーマン氏の研究室のこの研究では、音楽家がピアノを弾いている「映像」だけを持ってきて、その映像から本来流れていたであろう「楽曲」を構築します。

ピアノ演奏の動画(映像)からピアノロールに変換するコンポーネント(Video2Roll)、生成されたピアノロールから指が重なって見えない箇所や音楽的に不自然な個所を本来の演奏に近いMIDIデータに変換するコンポーネント(Roll2Midi)、MIDIから楽曲を再生するコンポーネント(Midi Synth)を通すことで、ピアノの上で動かした指から、音楽を鳴らせたそうです。動画があります。

ピアノの音色を変えることもできますし、ピアノを弾くことでバイオリンを鳴らす、みたいなこともできますね。

研究としては音階と指がはっきり見えているピアノが適していて実現可能性が高かったのかもしれませんが、演奏の動画から音程が取れるなら、他の楽器についても同様のことはできるようになるのでしょう。

この研究が進めば、テーブルで指を動かすだけでスマートフォンが曲を鳴らす、みたいなこともできるようになるかもしれないですね。

via TheNextWeb

カテゴリー
ネットのサービス

Roomality – リアルタイムCGと顔位置追跡で壁面にリアルな景色を再現

Roomality は、壁に掛けた大画面液晶に実写のように合成した景色を描画するという製品です。

デモ動画で映される窓の外の風景は、森の中の渓流、宇宙空間、地球を見上げる月面、雪の降る森、山の上から見る山並みなど。これらすべてが Unreal Engine を使ったCGで描かれているそうです。

最近のオープンワールド系ゲームの中の景色のリアルさを見れば、リアルタイムでこれぐらいの風景が描けること自体はもう驚きでもないのかもしれません。しかし、Roomality はただ合成した景色を映すだけではなく、カメラによるフェイストラッキングを使って見ている人の視点にあわせた描画を行うということ。これにより、部屋の中で自分が位置を変えると、窓の外(=というテイの大画面)に映る景色もそれに連動して描かれ方が変わる、というわけ。

デモを見た限りでは、ほんとうにその大画面が窓であり、窓の外にその景色が広がっているかのようです。

視点の位置をカメラで見てその人視点の3D画像を表示するというのは、実はNintendo 3DSとかでもだいぶん前にやってたみたいで、まったく新しい話でもないみたいなのですが、それをフェイクの大窓とその景色に使うのは面白いし、景色の良くない我が家にもぜひ欲しいなと思いますね。

今後の計画として、窓一面を画面にしてしまいテラスやバルコニーに出ていけそうな体験を再現したり、全方向の壁をディスプレイにしてより完全に近い没入感を実現したり、を考えているそうです。

関連

窓の無い部屋にLEDで太陽光を再現する Coelux