カテゴリー
Hack

ChatGPT で文面を書き換えることで Gmail のスパム(誤)判定を突破する

Tor ノードの運営者が Tor の濫用に関する苦情メールに返答する際に使うテンプレート文面でメールを送ろうとしたとき、Gmail のスパムフィルタにスパム認定されてしまったそうです。

この運営者は ChatGPT を使ってメール文を書き換えさせると、Gmail がスパムと判定しなくなったのでめでたしめでたし、という話。

書き換えてください(reword)で実際にどんな細かな指定をしたのかは書いていないのですが、少し長くなった文章でメールを送り直すと、こんどはスパム認定されなかった。今後はスパム認定されるたびに ChatGPT に書き換えさせようかな、と言っています。

今回はスパムでないメールを通すための正当な ChatGPT の利用でしたが、スパマーがスパムフィルタをかいくぐるために ChatGPT やそれに類する機械学習ツールを使うことは容易に予想できますし、すでにそれは行われているのかもしれないですね。便利なツールを使いたい人は善悪に関わらずいるわけで。

via Hacker News

カテゴリー
社会

Gmail の文章サジェスト機能、ジェンダーバイアスの強化を避け性別の人称代名詞を(当面は)避けることに

次を予測して文章を提案してくれるスマートコンポーズ機能

Gmail の実験機能の一つに、スマートコンポーズ(Smart Compose)という機能があり、Gmail の言語設定を英語にした上で設定でオンにすると使えるようになります。

この機能は、途中まで入力した文章を基に、全文を予測してグレーの文字で提案してくれるという機能です。

日ごろから日本語入力でIMEを使っている我々にしてみれば、入力時にある程度先を提案してくれる(たとえば、「おは」と書いたら「おはようございます」が候補に出る)のは英語圏の人たちよりもなじみ深い仕組みかと思います。Gmail の Smart Compose は、それを文の終わりまで拡張したようなものになります。

実験機能でオンにしないと使えないとはいえ、Gmail から送られるメッセージの11% でこの機能がオンにされているということで、英語圏のヘビーユーザーは結構使っているのかもしれません。

データ学習から提案される ‘he’ や ‘she’ のバイアス

ところが、Gmail の担当チームは、このサジェストが ‘he’ や ‘she’ といった三人称の人称代名詞を、既存データのバイアスに影響されて選んでしまうことに気づいてしまったそう。

「私は来週投資家に会うつもりだ。君も…」 と書こうとすると「…に会うかい?」と、必ず「彼」が出てきたというのです(「投資家」の場合)。

Google が持っている膨大な文章データから自動生成するとそうなる、ということで、特定の職業の性別を男女どちらかに推定しまうことに Google 自体の罪があるわけではありません。多くの人々が内包しているバイアスなのでしょう。

しかし、このようなサジェスト機能をみなが使い続けると、サジェストがまた次に生み出される文章のバイアスを強化してしまう可能性がありますね。バイアスの無い she/he の提案が今は難しいと考えたチームは、さしあたりこのような提案になる場合は提案そのものをしないという決定を下したそうです。

via Reuters via TheNextWeb

カテゴリー
技術

メールの返信をプログラムが「提案」する機能をグーグルが開発

本日、グーグルのリサーチブログで、メールの返答を勝手に考えてくれる機能 Smart Reply ができた、という発表がありました。smart reply = 賢い返答、ですね。

まだこの Smart Reply を試せるところは無いようですが、Gmailブログに出ているアニメーションGIFで、どんな感じの機能かが見て取れます。

(credit: Gmail Blog)
(credit: Gmail Blog)

「来月休暇を取ろうと思うんだけど、あなたの休暇予定は決まってるか? 決まってたら教えてほしい」という、社内での休暇取得を調整するメールに対して、アプリの下部に3種類の回答案が表示されます。

「まだ計画してません」「ちょうどあなたに送ったところです」「今それについて検討していたところです」の3つの案が表示され、このユーザーは3つめの案を選び、そこに続けて自分の言葉でメールを続けていきます。

今回ブログで報告しているグーグルの研究者Greg Corradoさんは、モバイルでメールの返事を書くことのたいへんさから、もしメールの内容が簡単な返答で済むようなものかどうか判定できて、ワンクリックで選べる雛形が出てきたらどうだろう、という同僚のアイデアを聞いて、挑戦してみようと思ったとのこと。

6月に発表された論文では、大量の既存の会話データを使い、しかし英語についての知識は内蔵していないプログラムによって、人生の意味について人間とチャットするプログラムを作っていますが、今回の成果はその研究の延長にあるということ。

このスマートリプライシステムでは、時系列データ(この場合は単語-単語のつながり)を扱うリカレントニューラルネットワーク(RNN)二組の一方で受け取ったメールをエンコードしていき、他方で可能な返答を予測していくそうですが、この時に伝わるベクトルが、「あなたは明日フリーですか?」という文章と「明日は都合の良い日ですか?」という文章でちゃんと似たものになるそうです。

また、3つの提案がどれも似たものになってしまう、というプロトタイプの問題点は、3つの回答の意味がそれぞれ離れたものになるように調整したのだとか。あと何にでも「愛してるよ」と返してしまう癖があって困った、みたいな話もあって興味深いです。感謝の気持ちを表すのにそういう言葉も多々含まれるからだろう、ということで、そのへんは出にくくなるように調整したのだとか。

今週後半には、AndroidiOS の Inbox アプリで、この Smart Reply が使えるようになるということです。残念ながら英語のみですが、アプリの対応版が出たらぜひ試してみたいところです。

こういう研究がさらに進んでいけば、提案から選ぶ、どころではなく、単純なものや定期的なものについては、プログラムが勝手に応答してしまうような未来も来るのかもしれないですね。