https://labs.cybozu.co.jp/blog/akky/tags/%E3%83%9D%E3%83%BC%E3%83%88%E3%83%AC%E3%82%A4%E3%83%88/ Recent content in ポートレイト on akky@サイボウズラボ・ブログ Hugo ja Tue, 04 Aug 2020 00:00:00 +0000 https://labs.cybozu.co.jp/blog/akky/2020/08/unselfie-converts-selfie-into-portrait/ Tue, 04 Aug 2020 00:00:00 +0000 https://labs.cybozu.co.jp/blog/akky/2020/08/unselfie-converts-selfie-into-portrait/ <p>バークレー大学アドビ研究所の<a href="https://arxiv.org/pdf/2007.15068.pdf">論文</a>(pdf)で、手を伸ばして撮影した自分撮り(セルフィー)を、他人が撮影してくれた肖像写真のように自動変換するアンセルフィー(unselfie)という技術の研究が発表されています。</p> <p>左のようなセルフィー写真を、右のように変換してくれるということです。</p> <p><a href="https://labs.cybozu.co.jp/blog/akky/2020/08/unselfie-converts-selfie-into-portrait/unselfie-sample.png"><picture> <source type="image/webp" srcset="https://labs.cybozu.co.jp/blog/akky/2020/08/unselfie-converts-selfie-into-portrait/unselfie-sample_hu_df16038ec40755b.webp 375w" sizes="(max-width: 56rem) 100vw, 54rem"> <img src="https://labs.cybozu.co.jp/blog/akky/2020/08/unselfie-converts-selfie-into-portrait/unselfie-sample.png" width="375" height="270" alt="" loading="lazy" decoding="async"> </picture></a></p> <blockquote> <p>「写真家や三脚の助けを借りずにスマートフォンで気軽に自分の肖像写真が撮れるようになりましたが、撮られた写真のポーズは不自然になります。この研究では、セルフィーから自然なポーズの写真を作る unselfie という変換を導入しました。」</p> </blockquote> <p>学習データとして「同じ場所、同じ人物、同じ服装でのセルフィーと自然な写真の2枚のセット」を入手することは難しいため、大量のセルフィーと大量のポートレイト写真をそれぞれ用意し、元のセルフィーと似たようなポートレイト写真への変換が行われるような生成器を学習させるようにしたそうです。</p> <p><a href="https://labs.cybozu.co.jp/blog/akky/2020/08/unselfie-converts-selfie-into-portrait/unselfie-2.pdf.png"><picture> <source type="image/webp" srcset="https://labs.cybozu.co.jp/blog/akky/2020/08/unselfie-converts-selfie-into-portrait/unselfie-2.pdf_hu_98cfb14ea168fb40.webp 480w, https://labs.cybozu.co.jp/blog/akky/2020/08/unselfie-converts-selfie-into-portrait/unselfie-2.pdf_hu_941902ebeb916290.webp 768w, https://labs.cybozu.co.jp/blog/akky/2020/08/unselfie-converts-selfie-into-portrait/unselfie-2.pdf_hu_6847a363a4837abb.webp 816w" sizes="(max-width: 56rem) 100vw, 54rem"> <img src="https://labs.cybozu.co.jp/blog/akky/2020/08/unselfie-converts-selfie-into-portrait/unselfie-2.pdf.png" width="816" height="191" alt="" loading="lazy" decoding="async"> </picture></a></p> <p>普通に撮っていたならこんな感じだったろう、という写真を見つける部分はまだまだ完全ではなく、肩幅や腕の太さが不自然に太く/細くなったりするし、腕の位置が変わったことで見えるようになる背景部分の生成や脇の部分も失敗することはあるそうです。</p> <p>他の画像変換と同様、このような変換もあっという間に改良されていって、よりカジュアルに使えるようになるかもしれませんね。そうなると、証明写真とか遺影みたいなものも、セルフィーしかないところから調達できてしまうのかもしれません。変換してできる自然な写真を「証明」用にできてしまうとしたら、写真による証明という概念自体も揺らいでしまいそうですけれど。</p> <p>via <a href="https://venturebeat.com/2020/08/03/new-unselfie-ai-technique-makes-your-selfies-look-like-posed-portraits/">VentureBeat</a></p>