顔 on akky@サイボウズラボ・ブログ

Speech2Face - 声からあなたの顔つきを当てる研究

Fri, 31 May 2019 00:00:00 +0000

上に並んでいるのが、短文の音声メッセージの話者です。これ左端はダニエル・クレイグ氏(007)ですよね。他はわかりませんが。

サイトで再生ボタンを押すと、推定に使われた音声データが聴けます。10秒も無いぐらいの短い文章です。

そして、下に並んでいるのが、その音声から深層ニューラルネットワークを利用して推定した話者の顔。

学習データとしては、インターネット/YouTube 上の数百万の人が喋っている動画を使ったそうです。「こんな風貌の人は、こんな風に話す」というデータを大量に食わせることで、「こんな風に話す人は、こんな見た目なことが多い」という変換を得たということですね。

推測結果には性別・ジェンダー・人種など繊細な問題が絡むことから、倫理的な注意書きが添えられています。学習データは全人類の平均的な喋り方を集めたのではなく、YouTube などから動画を集めたことから、データには当然バイアスがあります、と。YouTube に出ているような人の喋り方、に偏っているかもしれないし、喋っている言語のサンプルが少なかったりする言語の場合も偏りがあるかもしれない、などなど。

また、話者本人を特定したり、話者のファッション(髪の色やメガネ等)を特定したりは当然できません。(メガネをかけた人特有の話し方、とかない限り)

アプリやブラウザに対して喋ると顔写真を出してくれたり、というお遊びサービスは面白そうですが、その先にどのような実用的な応用がありうるのか。何か面白いことができそうな研究ではありますね。

via Futurism

www.ThisWaifuDoesNotExist.net - 「存在しない俺の嫁(waifu)」画像を作ってくれるサイト

Wed, 20 Feb 2019 00:00:00 +0000

先週ご紹介した、thispersondoesnotexist.com は、StyleGAN を使って実在するかのような顔写真を生成してくれるサービスでした。

その時に、同じ StyleGAN を使って、「実在しない絵画」や「実在しないアニメ絵」を作った人たちがいたことも紹介しましたが、顔写真だけではなく、特徴量のデータを使えば様々な画像の合成が可能ということです。

ということで、このThisPersonDoesNotExist のフォーマットをそのまま踏襲した、この世に実在しない Waifu(=日本のネットで言うところの「俺の嫁」を英語圏で呼ぶときの英製和語) を生成してくれるのが、この ThisWaifuDoesNotExist.net です。

ページのリロードやrefreshボタンのクリックで、次々と違うアニメ顔の画像が表示されます。ほおっておいても勝手に次の画像を表示しますね。

どれも、存在しないキャラクターをプログラムで合成したものだそうです。

# 存在しない、という意味ではアニメのキャラクターは元々存在しないので、意味的に混乱してしまうところはありますが。未発表のもの、誰かが描いたものではないもの、ということで

時々、合成がうまくいってない個所のある画像が出てくるのも、元ネタと同様ですね。

生成されたはずのキャラクターが、既存のキャラクターと見分けがつかなった場合、なんていう新たなトラブルも発生するかもしれませんけど。

この手のサービスはこれが最初というわけではありません(例)が、StyleGAN の論文やその実装が簡単に使える状態になったことと、ThisPersonDoesNotExist がかなり話題になったので、今いろいろなところで応用例を作ってる人たちがいるのでしょうね。

たとえば、他に、「存在しない猫画像を作るサイト」や「存在しない AirBnB の物件画像を作るサイト」も同様に登場しています。

via HackerNews

Wiredの「Facebookが顔写真認証をテスト中」は誤報のような気がする

Fri, 01 Dec 2017 00:00:00 +0000

これが発端のツイート、「フェイスブックにログインできなくなってると思ったら自撮り写真のアップロードを要求された」という体験なのですが、これをWired が取り上げて、フェイスブックが顔写真をCaptcha とした本人認証を実験中、みたいに報じ、他メディアもそれを参照する形で追ってるわけです。

しかし、7か月前にredditでまったく同じ体験が公開されていますし、フェイスブックのサポートコミュニティでも顔の映った写真をアップロードしろと出てきましたが、どうしてですか?というFAQ として公開されています。

自分の写真をすでにたくさん上げているユーザーなら、それらと同一人物か判定することも今ならできなくはないでしょうけど、写真をアップロードしたかどうかに関わらずこれは発動している(どちらかというと、二つ目のアカウントを使おうとしたら、とか、家から遠く離れたところでログインしようとしたら、とかの事例が多い)ので、AIで本人確認とかそういう高度な話ではなく、免許証のコピーをアップロードさせるとかと同じく、「スパマーやなりすましなら時間をかけて対応してこないだろう」という、以前からやってる人力確認の話ではないかなと思うんですよね。

人間の顔を、世界地図の「図法」で表すとこうなる、というコード

Fri, 13 Oct 2017 00:00:00 +0000

Projection face! は、人間の顔を世界地図の上に描いて、図法を変えたらどう歪んで見えるか、というのを見せてくれるウェブサイトです。

図法というのは、メルカトルとかモルワイデとかいうアレですね。代表的なものは社会科で習ったと思います。

D3.js を使って63もの図法で表示してくれますが、ソースコードも公開されています。

一個ずつ選択するのではなく全部を並べて見たい人のために一ページにおさめられたものがこちらになります。

球の表面を二次元で表そうとした時の図法、こんなにたくさんあってそれぞれ名前がついているんですね。

顔をマップしてみるというのは、元々は、1921年に書かれた論文 “Elements of Map Projection”に描かれていたものが初出だそうです。100年近く前ですから、この時のプロットは当然手書きでしょうね。

geojson形式のデータを用意すれば、別の絵についても簡単に同様のプロジェクションが作れます。さまざまな図法の違いの体感もできるし、架空の世界の地図で、真東がどこになるか、等距離の場所はどこになるか、等を考えるのに使えたりするかもしれません。

via FlowingData

まさに「面の皮」なスーツケースカバー

Tue, 22 Aug 2017 00:00:00 +0000

空港の荷物受け取りで、コンベアーベルトに乗って出てくる自分のスーツケースを見分けやすくするためにステッカーなどをベタベタ貼ってる人がいますよね。

Firebox が新たに発売した Head Case は、スーツケースの持ち主が瞬時にしてわかるというスーツケースカバー。なぜわかるかというと、こんな図柄だから。

これはインパクト大きい。

「もう、他の誰も、間違ってあなたのスーツケースを持って行くことはありません」だそうです。

カバーのサイズは大・中・小の3つあり、高解像度の顔写真をアップロードして、できあがったものを20-30ポンドで購入できます。

via Laughing Squid

Dreambit - キーワードで写真のヘアスタイルを着せ替えできる実験サービス

Mon, 25 Jul 2016 00:00:00 +0000

Dreambitは、顔写真を加工してくれるサービス。「インド」や「1930」などといったキーワードを与えると、写真に写っている人物の髪型を「インド風」にしたり「1930年代風」に変換してくれます。

(credit: ワシントン大)

ベータアクセスは申請式ということで、とりあえず申請しましたがまだ自分で使えてはいません。髪型やファッションスタイルを表す言葉「以外」の言葉を入れてどんな髪型が出てくるか、試せると面白そうですね。

Captain Picard simulated with curly hair by #dreambit pic.twitter.com/rPiHIgaOt6
— Dreambit (@dreambitxyz) July 24, 2016

ピカード船長!

Tom Hanks with "Long Hair" #dreambit pic.twitter.com/HyXjAZwZUu
— Dreambit (@dreambitxyz) July 22, 2016

デモの動画はこちら。

同じ助教のチームは、2014年に「写真の人が歳を取ったらどんな顔になるか」という画像処理研究を発表しています。

大量の画像素材で、有名人の顔を合成

Mon, 04 Jul 2016 00:00:00 +0000

素材画像販売の大手 Getty Images 、その大量に抱える素材を活用したクリエイティブで面白いプロモーションをすることがよくあるのですが (参考)、今回のプロモーションは、多数の一般人の顔写真素材を組み合わせて、誰もが知っているあの有名人の顔を作る、というもの。

ウェールズ公や

ドイツ首相アンゲラ・メルケル氏など。

有名人の顔が少しずつできていく動画を観ていると、顔のパーツに関しては必ずしも同性でなくても似てる人がいる、というのがわかります。

多数の写真から、4か月の実験とテストを経て、有名人のと似たパーツを探しだしたということです。

機械学習などを活用して、機械にこういった写真を合成させることは今後どんどん簡単になっていくでしょうね。

本人の写真や映像をまったく使わずに、その人の表情や立ち居振る舞いを再現できるようになる未来もこのままいけば実現できてしまうわけで、そうなった時に肖像権とかはいったいどう判定されるのでしょうかね?

via Design Boom

Megabite - 並んだ食材から福笑いのように顔を作るアルゴリズム

Tue, 02 Feb 2016 00:00:00 +0000

Megabite は、皿に盛った料理の写真をパーツとして、福笑いのように顔を作るアプリだそうです。

考えてみよう、食べ物もハッピーに見えるに越した事はない。あるランチの時、料理で遊んでるときにふと思ったんだ - このプロセスは自動化できるのでは? 解決すべきビッグな問題がここにあるじゃないか。Let’s face it, food is more fun when it looks happy. I was playing with my food one lunchtime, and I wondered to myself - would it be possible to automate this process? Solving the big problems right here.

このアプリは画像中の皿に乗った食べ物を個別に切り出し、それをより興味深く並べ替えます。

作者の解説するアプリの全行程は以下のようなもの。

食べ物の写真の撮影とリサイズ、丸く切り出し
輪郭の抽出、閉じてない(例: Cのような形の)輪郭の除去
重複した輪郭や多重の輪郭(例: 目玉焼きの中の黄身)の除去
抽出した要素を含む最小の長方形の決定
要素の数に応じた3つの顔型のテンプレートからの選択
テンプレート中の要素の形に合わせて、どの食べ物をどこにはめるかの判定
要素に最もフィットする方向に食べ物を回転
食べ物をポップさせたりしながら、回転して最終形を表示する

動画でアプリが動く様子が見られます。

ツールはiPhoneアプリとして作成されていますが、iTunes Storeには見当たらないので一般公開してないか、申請中なのかもしれません。ソースコードがGitHubで公開されているので、自分でビルドすれば試せるかもしれません。

写真から似顔絵クッキーなどが焼けるクッキー型を作ってくれる Copypastry

Tue, 24 Nov 2015 00:00:00 +0000

コピー&ペーストをもじってCopy+Pastry(焼き菓子)というクッキーカッターが、海外ハンドメイド通販サイトの Etsy で一個 $49.01 で売られています。

画像ファイルを受け取って、3Dプリンタで作っているそうです。ハンガリーのブダペストから発送ということ。

自分の顔のクッキーを焼いてプレゼントするのはちょっとどうかなと思いますが、結婚式で配るとか特別な状況ならこういうのもありかもしれないですね。

via Geekologie

ロックな顔 - 伝説の30ロックバンドの「平均顔」

Fri, 10 Apr 2015 00:00:00 +0000

フェイスケア用品の West Coast Shaving が作成したのは、有名ロックバンド30グループのそれぞれのメンバーの顔を合成した、いわばその「バンドの顔」

ビートルズ、ローリング・ストーンズ、グレートフル・デッド、クイーン、グリーン・デイなどのそれぞれの平均的な顔が合成されています。(オリジナル画像)

画像作者は、KISSの化粧したバージョンも作ってみたけれど、ただの白と黒がぐじゃぐじゃな画像が出来上がっただけだったとか、ZZトップも作ったけど単なるヒゲとサングラスになったので載せなかった、とか言ってます。

たくさんの人の顔を合成すると、その平均は多くの人が美しいと思うような顔になる、などと言われますが、成功したロックミュージシャンの平均顔は、ロックな顔になってるでしょうか?

via DesignTAXI via Geekologie

セルフィー(自分撮り)の次に来るのはドロニー(ドローンから自分撮り)?

Wed, 11 Jun 2014 00:00:00 +0000

英語圏での2013年の流行語 selfie (セルフィー、自分撮り)は、スマートフォンで撮影した自分の写真をソーシャルメディアなどにアップロードする行為を指すものです。

カメラ付きスマートフォンが自分撮り写真をネットに溢れさせたように、次はラジコン操作や自動操縦できる空飛ぶドローン(drone)の今後の普及が、ドローンでなければ撮れないような写真の流行を生み出すのではないか、というのがVentureBeatの予想。

有名ブログKottke.org のJason Kottkeさんが、サンフランシスコの丘の上でドローンを使って取ったグループ写真を4月に公開し、drone からもじって dronie (ドロニー)と呼んでいます。

他にも、いくつかの写真や動画のドロニーが公開されつつあるようです。

World's first Vine from a drone https://t.co/ucpXIO8J4t @vineapp @hayekd #dronie
— Keith Hopkin (@KeithHopkin) May 12, 2014

Let's go fly a drone: the best vacation pics come from above. by @geoffreyfowler http://t.co/xaFsDHLvcb (WSJ) pic.twitter.com/cwp0F1lMN0

酒飲みに10年後の顔の老化を見せてくれるアプリDrinking Mirror

Wed, 23 Jan 2013 00:00:00 +0000

Drinking Mirror、その名も飲酒鏡、というこのスマートフォンアプリは、自分の顔写真と今飲んでいる酒量を与えることで、10年後にどんな顔になるかを予想してくれるアプリです。

まず、顔写真を用意します。アプリ上からカメラを起動して撮影することも可能。

写真の目の高さや目の位置を画面上で調整します。

次に、一週間の酒量をグラスの数で自己申告。

もしこの人が毎週10杯以上(175mlを一杯とする)飲んでいるなら、10年後にはこんな感じになるのだとか。肌はかさつき、頬には赤みが広がり、老化はより速くなり、体重も増える、と。

下のスライダーで少し小さいグラスに変えたときの予想と切り替えることができるので、「あ、ちょっと控えればこれだけましになるのだな」というのが確認できるというわけ。

イギリス・スコットランドの政府キャンペーンDrop a Glass Size(小さいグラスを使おう) in 2013の公式アプリで、日常的に飲みすぎるとどんなショッキングな影響があるかというのを啓蒙するために作成・配布されているものです。

アプリは無料で、Android版とiOS版があります。また、パソコンのWebブラウザで使えるFlash版も存在します。

これらのアプリは、人間の顔の経年変化を予想する技術を持つChangeMyFaceという企業によるもので、この技術の適用分野は大まかに3つあるそうです。一つが行方不明になった人を探すための、その人が今の歳になったらそうなっているであろうという予測、二つ目は犯罪の指名手配写真、三つ目が今回のものを含む、ライフスタイルによる変化を予測するもので、喫煙・飲酒・日光浴・無理なダイエットなどの効果をわかりやすく見せるために使われているとか。

https://itunes.apple.com/jp/app/drinking-mirror/id588297432?mt=8

via ‘Drinking mirror’ shows alcohol’s toll on looks Video on TODAY com - YouTube