音声認識 on akky@サイボウズラボ・ブログ

Phonetic Bad Word Filter - 読むと不適切に聴こえる文章をフィルタしてくれるAPI

Fri, 05 Aug 2022 00:00:00 +0000

Phonetic Bad Word Filter API は、字面では一見問題なさそうに見えるが、声に出して読み上げるとヤバイ単語に聴こえてしまう文章や、スペルをわざと間違えることでテキスト合致によるフィルタをすり抜けようとする侮辱語などを発見してブロックするための API です。

API は RapidAPI のサービスで提供されていて、無料枠の利用でもクレジットカードの登録が必要です。

APIの呼び出しサンプルでは、実際のヘイトな単語を使うわけにはいかないので “car” という単語がまずい単語だと見立てて、“kar” という似たような発音になる綴りで置き換えても"car"を検知できますよ、というものになっています。

実際にはここに、いわゆるNワードなどを検知するように指定するということですね。

APIの使い道

APIの作者はもともと、Talking Banana(話すバナナ)というアイデアで、バナナの形の人形に YouTube や Twitch での中継中に視聴者のコメントを自動読み上げさせていたようです。

しかし、入力した結果が大勢の人に見られているライブ動画ですぐ読み上げられるとなると、出てくるのがイタズラ。特に侮辱後や人種差別にあたる言葉をわざと打ち込むというイタズラが登場してしまいました。

ヘイトスピーチにあたるような単語をブラックリスト登録することで、元の文に問題のある単語が直接含まれている場合は読み上げがされないよう対処できたのですが、イタズラする方に「機械に喋らせたら、問題のある単語に聴こえるような別の単語の組み合わせ」を入れてくる人が現れたんだそう。

単語一つだけでも、機械に合成させたら禁止ワードに聴こえる組み合わせをリスト化するのは大変そうです。さらに、単語単位での置き換えではなく、ひとつながりの複数の単語の並びの中に、喋ってみたら禁止ワードが聴こえてしまう、というようなものについて、事前にブロックリストを作るのはかなり難しいことでしょう。

喋らせてみたらまずいかも、という入力を実際に合成させた音をチェックさせるというアイデア、誤検出もありそうには思いますが前記のような用途であれば、ファンの入れた単語が間違って読み上げられなくてもそこまで大きな問題ではないのでしょう。

ユーザー入力をそのまま使うサービスというのは攻撃の対象になりやすいもので、できれば作らない方が楽だとは思います。しかし参加者のフィードバックが表示されることの価値も多いんでしょうね。今回の話は、技術と工夫で一旦はイタズラに勝った、という話で、いつもこういう勝ち筋があるといいのですが。

「ロンドンの時刻を教えて?」どこのロンドンを返すか

Fri, 29 May 2020 00:00:00 +0000

Appleウォッチに「ロンドンは何時?」と訊いたら、数秒間応答が無かったうえに返されたのはカナダのロンドンの時刻だった、というツイッターでの報告がありました。

ジョン・グルーバー氏の有名ブログ Daring Fireball では、自身も Apple Watch を試してカナダのロンドンの時刻が返ってきたことを検証しています。

さらに、同氏の家にある Siri を搭載している HomePod ではイギリスのロンドンの時刻が返ってきたそう。これについて「カナダのロンドンを返すのもコモンセンスが無いが、デバイスごとに一貫してない応答をするのはもっと悪い」と評しています。

冒頭のツイートへの応答では、自分はイギリスの時刻が返ってきた、という人や、イギリスのロンドンとカナダのロンドン、今の場所からの距離が近い方を回答してるのでは、などの推測もありましたが、同じ家の中でも違う回答が来るのはちょっと困りますね。それに、近いとはいってもアメリカ人が訪ねたロンドンのほとんどはイギリスのロンドンの方になるのではと思います。

グルーバー氏はまた、DuckDuckGo, Google/Googleアシスタント, Alexa, Bing の他の検索エンジンやスマートアシスタントをすべて試し、そのどれもがイギリスのロンドンの時刻を返したとレポートしています。

カナダにロンドンがあるのは知りませんでした。Wikipediaによれば人口36万人もいるそうで、かなりの都会ではないですか。なおアメリカ・ケンタッキー州にもロンドンがあり、こちらは群都がある町で人口は7000人台のようです。

オンタリオ州に住んでいる人にとってはカナダのロンドンが正しい場合もあるのかなと思いますが、自動応答に常識を持たせるのは各社の工夫が必要なところでしょうね。

私も以前、Google Maps で日本橋までの所要時間を調べようとして新宿から大阪までの経路が出たことがあります。ここ数年はそんな目には遭っていないので、このあたりも中の人が調整したんでしょうね。

Speech2Face - 声からあなたの顔つきを当てる研究

Fri, 31 May 2019 00:00:00 +0000

声から、喋っている人がどんな顔なのかを推定する、という研究です。

上に並んでいるのが、短文の音声メッセージの話者です。これ左端はダニエル・クレイグ氏(007)ですよね。他はわかりませんが。

サイトで再生ボタンを押すと、推定に使われた音声データが聴けます。10秒も無いぐらいの短い文章です。

そして、下に並んでいるのが、その音声から深層ニューラルネットワークを利用して推定した話者の顔。

学習データとしては、インターネット/YouTube 上の数百万の人が喋っている動画を使ったそうです。「こんな風貌の人は、こんな風に話す」というデータを大量に食わせることで、「こんな風に話す人は、こんな見た目なことが多い」という変換を得たということですね。

推測結果には性別・ジェンダー・人種など繊細な問題が絡むことから、倫理的な注意書きが添えられています。学習データは全人類の平均的な喋り方を集めたのではなく、YouTube などから動画を集めたことから、データには当然バイアスがあります、と。YouTube に出ているような人の喋り方、に偏っているかもしれないし、喋っている言語のサンプルが少なかったりする言語の場合も偏りがあるかもしれない、などなど。

また、話者本人を特定したり、話者のファッション(髪の色やメガネ等)を特定したりは当然できません。(メガネをかけた人特有の話し方、とかない限り)

アプリやブラウザに対して喋ると顔写真を出してくれたり、というお遊びサービスは面白そうですが、その先にどのような実用的な応用がありうるのか。何か面白いことができそうな研究ではありますね。

via Futurism

テレビから"Alexa"と流れてもAlexaが反応しない技術をAmazonがスーパーボウルに向け投入

Fri, 01 Feb 2019 00:00:00 +0000

4日に行われるスーパーボウルでは Amazon もスマートスピーカーアレクサのTVCMを流すようですが、それに先がけて「テレビが “Alexa” という言葉を流しても家の Alexa 機器が反応しない技術」を配備したと Amazon の開発者ブログで明かされています。

この技術、基本的には、発話された"Alexa"に対する指紋のようなデータ(acoustic fingerprint)を使い、家庭でユーザーが発した"Alexa"ではないということを判定するもの。

既知のCM中の"Alexa"については、あらかじめ音声指紋を計算しておき、Echo デバイスがその場で突合せをして撥ねているそうです。なので、今回のCMに出てくる"Alexa"を無視するだけであれば、サーバ側の処理は不要ということになります。

ただ、それだけではなく、同時に広い地域の多数のEchoデバイスから、同じ発声の"Alexa"が届いた時に、これをテレビやラジオの放送によるものだとリアルタイムに判定して無視することもできるのだそうです。事前に知らされてない状態でラジオのDJがリスナー達のAlexaを起動しようとしても、防げるようになった、ということになります。

(参考) トヨタ、ラジオCMから運転手のiPhone Siriに命令する – スウェーデン

スーパーボウルで流される予定の動画は、YouTube で既に公開されています。ハリソン・フォード氏が出演。過去の「うまくいかなかった Alexa 組み込みデバイス」を紹介するという面白動画になっています。

テレビ・ラジオだけでなく、世の中に広く存在する"Alexa"に対処してるとすると、例えば Google Home が喋る"Alexa"にも反応しなくなってるかもしれませんね。そうすると過去にご紹介したこういう遊びは動かなくなるのかな。

voicecoder.net - Alexaの音声でカスタマイズできるゲーム

Fri, 28 Sep 2018 00:00:00 +0000

Voice Coder、「音声でコーディングを学ぼう」とあるこのプロジェクトは、Amazon Alexa を使って初歩のプログラミングを学べる、というサービス/スキルです。

Alexa スキルと連動させたブラウザゲームにおいて、横スクロールゲームで背景画像を切り替えたり、自機が地面や障害物、アイテムと衝突した際に起こるイベントを切り替えたり(ライフが減る、音が鳴る、ポイントが増える、など)を、音声で指示することができます。

と、動画のデモでは動いているのですが、実際に自分で使おうとすると、Alexaスキルがうまく動いていないのか、アクセスコードを話してくれず、自分でプログラミングを試すことはできませんでした。

元のゲームのパラメータを音声で変えられる、と言ってしまえばそれだけで、「音声でプログラミング」は言い過ぎかもしれません。ですが、スマートフォンで文字を書いたり、パソコンでキーボードを打ったりすることが身についてない小さな子供でも、このような音声インタフェースなら使うことができます。ゲームもプログラムで動いていて、それを変更することができるんだ、という体験をさせるにはいいのかもしれません。

via Hacker News

iPhoneの音声認識、トロンボーンの演奏を妻にメッセージしてしまう

Wed, 29 Nov 2017 00:00:00 +0000

ジャズ・トロンボーン奏者のポールさん(@JazzTrombonist)のツイートが話題を読んでいます。

音声入力を使って妻にメッセージを送ったポールさん、「あとで買い出しに行かなきゃね」と書いた後にトロンボーンの練習を続けたそうですが、妻の方には「ウーウーウーウーフーフーフーフーウーウーウーウー」という謎のメッセージが大量に届いたということ。

I accidentally texted my wife with voice recognition...while playing the trombone pic.twitter.com/tWCPSXbbrO
— Paul The Trombonist (@JazzTrombonist) November 21, 2017

いいねが20万件もついたことを受けて、ポールさんはツイッターで紹介したことが起こった様子を動画で再現しています。

こういった日常音も、音声認識技術が学習を続けて進化すれば、メッセージとしては取り込まず無視したり、映画のクローズドキャプションみたいに、「(トロンボーンの演奏)」など情景として説明してくれたりしそうではあります。

それまでは、いろんな楽器を音声認識に食わせてみて、どんな結果になるか試すと面白いかもしれないですね。逆に、人間の言葉でないものを与えて、ちゃんと言葉に認識させる、という遊びもあるかもしれません。

via Geekologie

強い訛りの英語がSiri, アマゾン, グーグルの音声認識にどれぐらい伝わるか実験した動画

Wed, 07 Jun 2017 00:00:00 +0000

変わったアクセントの英語に、各社の音声認識はどれだけ対応できるのか、という実験動画です。

挑戦したのはこちらの8人。英語圏の5つの方言(アメリカ、スコットランド、アイルランド、英国、オーストラリア)に、非ネイティブの日本・ドイツ・イタリア語話者。

アップルの Siri, アマゾンの Alexa, グーグル Home に、それぞれのお題を自分の訛りで話しかけて、認識されるかどうかを見ています。

最初のお題は「ウスターソース(Worcestershire sauce)を買い物リストに入れて」。非英語圏の3人でAlexa が苦戦していますね。(結果 2:09頃) 1:55頃、日本語担当の人がすごい日本語訛り英語で話しても、Google は拾っています。

あとの3問は「ベネディクト・カンバーバッチの生まれた日は?」「ワガドゥグはどこの国の首都?」「Westworldの作者は?」

普通の英語で話せる人たちが、自分の訛りをわざと強調して話しているというところもあるし、たった8人での実験なので個人差によるものも多いだろうと思います。ここで出た結果を見て Google Home が一番、というのは早計過ぎると思いますが、3つのアシスタントといろいろな国の出身者が集まったところで遊びとしてやるのは面白いかもしれません。

これらの会話アシスタントの開発企業はずっと多くのいろいろな訛った話者を使って日夜改善作業をしていることでしょうね。いずれは人間がわからないような強い訛りでも拾えるようになることでしょう。

via Likecool

SpeakEmoji - 音声→絵文字変換アプリ

Fri, 18 Dec 2015 00:00:00 +0000

SpeakEmojiは、音声で入力した言葉から、それにマッチした絵文字への翻訳ツールです。ブラウザ・iPhone・Android アプリが提供されています。

マイクから英語のセンテンスをしゃべると、うまくいけば対応する(?)絵文字のテキストを返してくれます。これをツイッターやフェイスブックに張り付けて送れば、絵文字で会話できますね。

こちら説明動画。

わざとらしいイギリス英語ですが、ドメインもco.uk だしイギリスの会社ということをアピールしているのでしょう。絵文字を使うとクールになれて、子供たちに無視されることもなくなるそうですよ。

via TheNextWeb

Windows Phoneで、まだ日本に来てないCortanaを使ってみた(ただし英語で)

Mon, 27 Jul 2015 00:00:00 +0000

# この記事長いです

Windows Phone買った

日本で最初の Windows Phone IS12T 以来、ひさしぶりに Windows Phone を入手しました。

4年近く日本で出てなかった Windows Phone ですが、OS自体は日本語も問題なく対応していますし、Twitter や Facebook など超大手のアプリはそれなりに揃っています。iOS や Android に比べればだいぶ少ないですが、毛色の違う独特のアプリもあり、それなりに楽しめます。

# 地図には困ってますが

Cortana、そういうのもあるのか

iOS や Android にあるような音声アシスタント機能も使ってみたいな、と思ったら、Windows の音声アシスタント機能 Cortana は、まだ日本語に対応していないんですね。デスクトップの Windows では、近いうちに日本語Cortana のテストが始まるというニュースが出たので、テスト期間の後にはデスクトップ/モバイルの両方で日本対応もしてくれるとは思うのですが。

こちらはマイクロソフトによる Cortana 紹介動画

日本語は対応してないにしても、日本からでも英語でだったら使えるのか、というのを試してみました。結論から言うと使えます。

トヨタ、ラジオCMから運転手のiPhone Siriに命令する - スウェーデン

Mon, 13 Jul 2015 00:00:00 +0000

以前とあるポッドキャストでキャスターが「ヘイ、Siri」と喋ったところ、聴いていたリスナーのiPhoneが反応して困った、という話を聞いたことがあります。

「ヘイ、シリ」でも「オーケー、グーグル」でも「ヘイ、コルタナ」でも「アレクサ」でも、音声で命令を受け取るこれらのサービスは誰の声でも反応してしまうため、近くのスピーカーから流れてくれば起動しますし、それが適切な命令になっていればそれを実行してしまうでしょう。

という前提で、スウェーデンのトヨタが仕掛けたのが、ラジオを通して運転中のドライバーの iPhone を機内モードにしてしまうというCM。

最初の20秒は、過去に運転中のテキスト送信で交通事故に遭い、後遺症に悩んでいる人の体験談。

「もしドライバー自身が運転中の危険なスマートフォン操作を止められないなら、我々がそれをしてあげればどうだろう?」

「Siri がオンになっていて充電されているなら、『ヘイ、シリ』と叫べばiPhone を制御できる。誰でも。そう、ラジオでさえも」

「もし運転中のメッセージ送信やウェブサーフィンがたいへんなリスクだと聞いてもあなたが電話を置かないなら、この広告がそれをやりましょう」

「ヘイ、シリ!」

ダッシュボードに置かれた iPhone が反応します。

「機内モードをオンにしてくれ」

Siri 「本当に機内モードをオンにしていいんですね?」

「そうだ。携帯電話がついた状態で運転することは非常に危険だ」

Siri 「わかりました。機内モードをオンにします」

と、ラジオからの命令で iPhone は機内モードにされてしまいました。

運転中じゃなくて、家でラジオを聴いてる人はいなかったんですかね?

トヨタ・スウェーデンが公開しているこの動画は、「スウェーデンのラジオでこんなことをしたよ」という報告の動画で、いわば再現ビデオです。

# 言葉もスウェーデン語じゃなくて英語ですしね。

実際にラジオCMがどこの局でどれぐらいの対象を相手に流れたのかは書いてないのですが、実際に広くこのCMを流したら、各所から文句が来そうだなあ、と思いました。啓発CMとしてインパクトは高いけど。

本人の声を登録して本人じゃないと動かない、とするのは技術的にはかなり大変そうです。ラジオや録音した自動メッセージを使って他人のスマートフォンを勝手に操作する、という事例は今後もどんどん増えてきそうですね。

電話を切る、ぐらいなら危害は加えられないでしょうけど、音声認識で操作できる対象が増えれば、推理小説のトリックになりそうな悪意のある使われ方もいずれ目にするようになるかもしれません。

via The Verge

Vistaの音声認識セキュリティホールに思う

Fri, 02 Feb 2007 00:00:00 +0000

via Vistaで勝手にファイルを削除されるセキュリティホールが見つかるなど

たとえば「ファイルを削除」といった音声をMP3ファイルに録音し、友達に送ります。それを友達が再生すると、マイクが認識してしまえばそのとおりに作動してしまいます。

マイクロソフトから、このセキュリティホールの存在を認めたという返事を貰ったというGeorge Ouの話では、この問題は

マイクとスピーカーがつながって
音声認識機能がオンになっている

という状況でのみ発生するらしい(そりゃそうだ)。とりあえずの回避策は、

マイクやスピーカーを切れば、このセキュリティホールは発動しない。
コマンドを実行するような音楽ファイルを開いてしまったら、メディアプレイヤーを閉じ、音声認識機能をオフにして、コンピュータを再起動するべきということ。(間に合うのだろうか)

いろんなところで、「良くないコマンドを実行させる音声ファイルを送りつけて」みたいに書かれているけど、そんなことしなくても、開くと音が鳴るウェブページに誘導するとか、YouTube等に最初は魅力的な動画で、途中でいきなりコマンドを喋る動画をアップロードするとか、任意の音を鳴らすだけならいろいろありそうな気がする。

# これまで、その手のいたずらは起こってないのかな。動画の途中からいきなり不快なものを挿し込むとか。

MSの回答はもちろん今危険にさらされている人のための暫定的な対策で、今後ちゃんとした対策を考えるのだと思うけど、音声認識機能をあきらめる、という以外の解決法ってどういうものだろう?

OSが音楽を鳴らすときに、「これはOSが鳴らしてる音だよ」みたいな識別信号を(人間に聞こえない周波数で)混ぜたりするのかなあ。しかし、単純なものならそれを含めて音声を作ればいいわけで、そうすると識別信号に時間情報やシステム固有のキーを入れるとか…

それか、自分の出した音をちょっとだけ覚えておいて、それを入力の音声から差し引くとか…

なんにしてもリソースを喰いそうだなあ。CPUベンダーとかハードベンダーが喜ぶかも。