タグ: 音声

声から、喋っている人がどんな顔なのかを推定する、という研究です。

上に並んでいるのが、短文の音声メッセージの話者です。これ左端はダニエル・クレイグ氏(007)ですよね。他はわかりませんが。

サイトで再生ボタンを押すと、推定に使われた音声データが聴けます。10秒も無いぐらいの短い文章です。

そして、下に並んでいるのが、その音声から深層ニューラルネットワークを利用して推定した話者の顔。

学習データとしては、インターネット/YouTube 上の数百万の人が喋っている動画を使ったそうです。「こんな風貌の人は、こんな風に話す」というデータを大量に食わせることで、「こんな風に話す人は、こんな見た目なことが多い」という変換を得たということですね。

推測結果には性別・ジェンダー・人種など繊細な問題が絡むことから、倫理的な注意書きが添えられています。学習データは全人類の平均的な喋り方を集めたのではなく、YouTube などから動画を集めたことから、データには当然バイアスがあります、と。YouTube に出ているような人の喋り方、に偏っているかもしれないし、喋っている言語のサンプルが少なかったりする言語の場合も偏りがあるかもしれない、などなど。

また、話者本人を特定したり、話者のファッション(髪の色やメガネ等)を特定したりは当然できません。(メガネをかけた人特有の話し方、とかない限り)

アプリやブラウザに対して喋ると顔写真を出してくれたり、というお遊びサービスは面白そうですが、その先にどのような実用的な応用がありうるのか。何か面白いことができそうな研究ではありますね。

via Futurism

Q は、グーグル/アップル/アマゾン/マイクロソフトなどIT大手のスマートスピーカーや音声アシスタントに向けて提案された、男性でも女性でもない合成音声です。

サイトトップでクリックすると、その男女どちらでもない合成音声を聴いてみることができます。

デンマーク・コペンハーゲンのLGBTパレード団体やAIのバイアス問題に対処しようという団体らによって制作されたこの音声は、GoogleアシスタントやAmazonアレクサなどの音声アシスタントの音声が「男性声」「女性声」からの選択を強いていることに対する問題提起だということ。

言われてみれば、機械で合成しているのだから人工音声で男性か女性の声を選ばないといけない理由はないわけです。

「テクノロジー企業は、合成音声の性別を選択できることで人々がより快適になると信じ、性別をテクノロジーに持ち込んでいます」

「残念なことに、これらによって性別が必ずはっきりどちらかの2つに分かれる、というステレオタイプの永続化が補強されてしまうのです」

なるほど。応答ができて情報が返せればいいのですから、機械の合成音声にわざわざ性別を与える必要はないのかもしれません。男性声・女性声が今すぐ無くなるとは思えませんが、中性声を追加することはそれほど抵抗なく採用してもらえる可能性もあるのではないでしょうか。

このQの音声モデルは、数千の候補者から数人を選び、その人たちに話してもらった声のピッチを変換することで作ったと、紹介動画にありました。

「世界初のジェンダーレス音声」とサイトでは言っています。これまでも中性的な音声合成はいろいろ存在していたと思うので、世界初は言い過ぎではないかとも思いますが、ジェンダー中立を訴えて作成されたという意味ではこれまでになかったものでしょうか。

via Hacker News