不要な通行人などをビデオから消す技術

マックス-プランク・コンピュータサイエンス研究所(MPI Infomatics)のミゲル・グラナドス氏らによる論文“How Not to Be Seen – Object Removal from Videos of Crowded Scenes”は、動画の中から手前の邪魔な人物や物体を自動的に削除する、という研究発表です。動画加工の研究なので、YouTubeでその発表を見ていただくのが一番わかりやすいでしょう。

例えば、博物館の中を歩いている人たちの動画から、手前を右から左に横切っている女性だけを消し去っています。女性が横切ることで隠れていた部分の奥の男性の動きなどは、他の(すれ違っていない時の)フレームから持ってきたものを使って、自然な感じで合成しています。(動画の冒頭20秒)

こちらでは、二人組のストリートミュージシャンの前を横切る歩行者2人を、ビデオから消し去っています。(動画で4:04ぐらいから)

動画をよく見ると、後ろのお店のガラスに移りこんだ歩行者は消えていないのがわかります。

動画の最後では、彼らのツールを使う加工者が明示的に、合成が完璧でない場所と、どの時点のどこの画像を参考とするかをソフトウェアに対して指定することで、より自然さを高めることもできる、と伝えています。

静止画を加工して、写真等から不要な人物を消すサービスというのを以前にこのブログでご紹介したことがあり、これが2006年の話です。静止画でできるようになったことは、いずれ時間が経てば動画でもできるようになる、というのは、今回のものに限らずいろいろな画像加工に当てはまるものですが、7年でこれだけ進歩があったとすれば、さらに7年後にはもっと自然でびっくりするような動画加工の技術が出てきたり、今回のような技術が一般化して、PCやスマートフォンで誰もが使えるようになったりするのかもしれません。写真やビデオの証拠能力、みたいなものも、今ほどは絶対視されなくなるかもしれませんね。(注: 動画から消す技術についても、先行の研究があったり、より限定された状況ながらリアルタイムで削除するようなものもあったりします。今回の発表も、多数の研究者のチャレンジの中の一歩で、突然にまったく出来なかったことが出来るようになったわけではありませんが)

テレビのニュース映像などでも、伝えたい対象を見せるために、こういった技術で関係の無いものを取り除くということが日常的に行われるようになるのかもしれません。そういった加工をされた映像を事実として伝えることはどうなんだ、という問題も出てきそうですね。

via Gizmag