ジェンダー on akky@サイボウズラボ・ブログ

GitHub Copilot は"gender"など特定用語を含むコードで動かなくなる

Fri, 05 Aug 2022 00:00:00 +0000

書いているプログラムコードから次に必要そうなコードを提案してくれる GitHub の Copilot サービスで、「このコードに対して Copilot が何も提案してくれない」というバグが報告されました。

これに対するコミュニティの識者からの回答は、「おそらく、コードの中に “gender” という単語が入ってるからでしょう。」というもの。

Copilot には内蔵されたコンテンツフィルターがあり、フィルターに反応するとコードの提案をしないという作りなのだそう。そして “gender” もそのリストに含まれているらしいのです。

コードの提案が止まる、と言われたコードをCopilotで書いてみた

実際にCopilotで該当部分のコードを書いてみたところ、サジェストされた内容は文にならず途中で止まりました。元のコメント者と同じ結果なのかどうかはわかりませんが。

これを受けてのHacker News の議論では、

ジェンダーという名前の変数があったとして、その変数を boolean 型として提案コードを出せば「ジェンダーは(男女の)2通りじゃない」と怒る人が来てしまい、多値にすれば「ジェンダーは2通りだ」と怒る人が来るからでは、

という推測がトップコメントになっています。この推測が正しい理由かは不明ですが、議論になりそうな単語が含まれていると Copilot が動かなくなるというのは知ってる人は以前から知っていたようです。

今はクライアント側に禁止ワードのリストは無いそうですが、昔ベータだった際にクライアント側に埋め込まれていたリストを保存してた人がいたようで、rot13を掛けるとどんな単語が引っ掛かるかわかります。(このリストが本物として、リストが見えていた時期から変わっていないとして)

人種差別的な単語や罵倒後、卑猥な単語らがたくさん登録されていますが、“gender” も確かに含まれています。それどころか、“boy”, “girl”, “male”, “female” とかも入っているので、人を管理するデータクラスとかを作っただけでも引っ掛かることはありそう。

リストには英単語しか入っていないため、変数を日本語やローマ字で書く分には回避できそうですけどね。Hacker News では、“gender” をラテン語の"genus"に変えたら動いたよ、という報告もあり、これも試したところ本当でした。

“genus"にしたらサジェストが出た

マイクロソフトはAIチャットで意図しない発言が生成されて炎上したことがあったので、コードの提案でも問題を避ける機能を入れたくなるのはわからないでもありません。ただ、単語だけ列挙したリストの作りは雑なように感じるので、やるにしてももう少し改善してほしい気がします。

直近は、Copilot が何も言わなくなり、書いたコードが性別やジェンダーに関する変数名を含んでいたら、変数名をちょっと変えてみる、んですかね?

グーグル翻訳が機械学習バイアスで中性主語に性別をつける問題

Tue, 23 Mar 2021 00:00:00 +0000

日本語では"She"/“He"に「彼女」/「彼」が対応するため、あまり気づかないところなのですが、三人称代名詞が中性の言語というのもいろいろあるのですね。

ハンガリー語

ハンガリー語では三人称の代名詞で男女の区別をしないそうです。彼女・彼の両方が"Ő"になります。

ハンガリー語で三人称の様々な文章を作りそれらを英語に翻訳すると英語の三人称単数で中性を表せないため"She"か"He"になるのですが、その決まり方がどうにも偏っているのでは、という話。

日本語をハンガリー語に翻訳して、それをもう一度日本語に戻すと、英語と同じように性別がつくことが確認できました。

マレー語(アニメーションgif)

hi i made a short film about algorithmic bias through the lens of the malay language 🙃 pic.twitter.com/PLPtfzDULY
— bani haykal (@fdbckfdfwd) February 5, 2021

エストニア語

トルコ語

アルメニア語

Armenian is also Gender neutral. same general results. pic.twitter.com/xoHSOtJn4e
— Zaven Haroutunian (@ZavenH) March 20, 2021

フィリピン語

In Filipino we don't have gendered pronouns.

These translations from our gender-neutral language into English reveal a lot of bias in the world and in tech https://t.co/4zJSMmJgtV pic.twitter.com/cXpdlo0MVg

英バーガーキング、国際女性デーにツイート「女性はキッチンがお似合いだ」で炎上

Thu, 11 Mar 2021 00:00:00 +0000

国際女性デーの3月8日、イギリスのバーガーキング公式アカウントが “Women Belong in the Kitchen”(女性はキッチンがお似合いだ) というツイートをし、大炎上しました。

元のツイートは謝罪のあと削除されたのですが、なんで今時こんなことを? 実はバーガーキングの意図はまったく差別とは逆方向にあったらしいのですが。

このツイートにつなげられた続きはこうです。

「もちろん、もし彼女たちがそう望むなら。シェフ業に占める女性の比率はたったの20%にすぎません。私たちは料理というキャリアを追求したい女性従業員を応援し、外食産業におけるジェンダー比率を変えるための計画を実行中です。」

「私たちはここに、バーガーキングの女性従業員が調理の夢をかなえる助けとなる新たな奨学金プログラムを始めることを高らかに宣言します!」

続けて読むと、なるほど国際女性デーの趣旨にあった良い事のようなのですが… 先頭のツイートだけを見ると完全な「釣り」ですねこれは。

先頭の「釣り」ツイートのRTは10万回、イイネは40万回近くまで行ったようですが、この40万回のイイネのうちどれだけがバーガーキングの新奨学金への賞賛なのか、あるいは女性差別への同意なのかは不明です。

謝罪と削除は翌日付け。

We hear you. We got our initial tweet wrong and we’re sorry. Our aim was to draw attention to the fact that only 20% of professional chefs in UK kitchens are women and to help change that by awarding culinary scholarships. We will do better next time.

女性専用SNS、女性かどうかをAIが自撮り写真で判定する仕組みで論議を呼ぶ

Fri, 06 Mar 2020 00:00:00 +0000

新しく登場した「女性しか参加できないSNS」 giggleが、女性しか参加させないために画像認識技術による性別判定を用い、抗議を受けたというニュースです。

この Giggle 、参加するにはまず自撮りを撮影して送る必要があります。送られた写真は「性別確認ソフトウェア」でチェックされ、女性と判定された申し込みだけが登録できる仕組みなのだとか。

サービス側は写真から骨の構造を見て女性かどうか判定できる、と謳っているそうですが、これにトランスジェンダー女性がtwitterで抗議の声を上げています。

Finally, the ultimate test has been prepared for trans-girls. We shall await our judgment like sheep. All it takes is one selfie—if giggle lets us in, we are welcomed into the society of women, to pass forevermore. If not, we shall be abandoned in a heap of offals and excrement pic.twitter.com/lZnw8AzZF0
— Abolish ICE (@transbitch) February 7, 2020

骨の形で女性で無いと判定してしまうと、産まれた時の身体が男性だったトランス女性は女性ではないと判定されてしまう可能性がありますね。まあ、そもそも、骨の形で(身体的にではあっても)男女を100%正しく判定できるソフトウェアというのがあるとも思えないので、女性と産まれて女性判定されない人もでてしまうこともありそうに思うのですが。

GoogleのCloud Vision API が画像内の男女の性別分類を停止

Fri, 21 Feb 2020 00:00:00 +0000

Cloud Vision API の利用者にメールで告知があったようです

2020年2月19日から、もう過ぎてますね、Vision API はラベルによる分類をした時に画像の中の人物に対して"man"/“woman"といった男女を区別したラベルを返さず、“person"を返すようになったということです。

人の性別は外見からわからないはずなのに、どちらかの性別にしてラベル付けしてしまっていたことが、Google が自ら取り決めて公開している GoogleにおけるAIの原則(Artificial Intelligence at Google: Our Principles)の第2項、「新たな偏見を生み出したり既存の偏見を強化しない」に反している、などが今回の変更の理由だということです。

見た目から性別を特定するのは偏見である、という考え方は良いと思います。Business Insiderの取材に回答したMozillaのフェローは、たいへんポジティブな変更だ、と評価しているよう。

このAPIで男女判定をしている既存のサービスやアプリは慌てているところかもしれませんね。

他社の同様のサービスはまだこのような方針になっていないため、とりあえずは別のAPIを利用するように直すのでしょうけれど。

via Business Insider

Q - 性別のない合成音声=ジェンダーレス・ボイスを各社音声アシスタントに採用呼びかけ

Wed, 13 Mar 2019 00:00:00 +0000

Q は、グーグル/アップル/アマゾン/マイクロソフトなどIT大手のスマートスピーカーや音声アシスタントに向けて提案された、男性でも女性でもない合成音声です。

サイトトップでクリックすると、その男女どちらでもない合成音声を聴いてみることができます。

デンマーク・コペンハーゲンのLGBTパレード団体やAIのバイアス問題に対処しようという団体らによって制作されたこの音声は、GoogleアシスタントやAmazonアレクサなどの音声アシスタントの音声が「男性声」「女性声」からの選択を強いていることに対する問題提起だということ。

言われてみれば、機械で合成しているのだから人工音声で男性か女性の声を選ばないといけない理由はないわけです。

「テクノロジー企業は、合成音声の性別を選択できることで人々がより快適になると信じ、性別をテクノロジーに持ち込んでいます」

「残念なことに、これらによって性別が必ずはっきりどちらかの2つに分かれる、というステレオタイプの永続化が補強されてしまうのです」

なるほど。応答ができて情報が返せればいいのですから、機械の合成音声にわざわざ性別を与える必要はないのかもしれません。男性声・女性声が今すぐ無くなるとは思えませんが、中性声を追加することはそれほど抵抗なく採用してもらえる可能性もあるのではないでしょうか。

このQの音声モデルは、数千の候補者から数人を選び、その人たちに話してもらった声のピッチを変換することで作ったと、紹介動画にありました。

「世界初のジェンダーレス音声」とサイトでは言っています。これまでも中性的な音声合成はいろいろ存在していたと思うので、世界初は言い過ぎではないかとも思いますが、ジェンダー中立を訴えて作成されたという意味ではこれまでになかったものでしょうか。

via Hacker News

フェイスブックで「女性の友達の写真」は出るのに「男性の友達の写真」は出ない

Fri, 15 Feb 2019 00:00:00 +0000

友達の検索ではなく一般の検索の方ですが、検索ボックスで「女性の友だちの写真」(Photos of my female friends)と入力するとつながっている女性の友人のアップロードした写真が出てくるのに、

「男性の友だちの写真」(Photos of my male friends)と打っても男性の友人の写真は出てきません。

代わりに、何らかの検索した結果の写真が表示されました。

ベルギーの Facebook ウォッチャー、Inti De Ceukelaire さんがツイッターで紹介したこの謎現象

Facebook heeft dit weekend hun creepy verborgen zoekfunctie stiekem aangepast. Je kan nu geen verborgen foto's meer opvragen van je mannelijke vrienden. Vrouwen kan/mag je wel nog stalken. 🙄 pic.twitter.com/gXppjNt5E1
— Inti De Ceukelaire (@intidc) February 11, 2019

TheNextWeb も書いてますが、Facebook が今の形になる以前の大昔(2004年)、まだ名前が Facemash だったころ、ハーバード大の女子学生の顔に点数をつけるサービスだった、という過去を思い出させるバグです。さすがに今わざとやったわけではないでしょうけど。

Gmail の文章サジェスト機能、ジェンダーバイアスの強化を避け性別の人称代名詞を(当面は)避けることに

Wed, 28 Nov 2018 00:00:00 +0000

次を予測して文章を提案してくれるスマートコンポーズ機能

Gmail の実験機能の一つに、スマートコンポーズ(Smart Compose)という機能があり、Gmail の言語設定を英語にした上で設定でオンにすると使えるようになります。

この機能は、途中まで入力した文章を基に、全文を予測してグレーの文字で提案してくれるという機能です。

日ごろから日本語入力でIMEを使っている我々にしてみれば、入力時にある程度先を提案してくれる(たとえば、「おは」と書いたら「おはようございます」が候補に出る)のは英語圏の人たちよりもなじみ深い仕組みかと思います。Gmail の Smart Compose は、それを文の終わりまで拡張したようなものになります。

実験機能でオンにしないと使えないとはいえ、Gmail から送られるメッセージの11% でこの機能がオンにされているということで、英語圏のヘビーユーザーは結構使っているのかもしれません。

データ学習から提案される ‘he’ や ‘she’ のバイアス

ところが、Gmail の担当チームは、このサジェストが ‘he’ や ‘she’ といった三人称の人称代名詞を、既存データのバイアスに影響されて選んでしまうことに気づいてしまったそう。

「私は来週投資家に会うつもりだ。君も…」と書こうとすると「…彼に会うかい?」と、必ず「彼」が出てきたというのです(「投資家」の場合)。

Google が持っている膨大な文章データから自動生成するとそうなる、ということで、特定の職業の性別を男女どちらかに推定しまうことに Google 自体の罪があるわけではありません。多くの人々が内包しているバイアスなのでしょう。

しかし、このようなサジェスト機能をみなが使い続けると、サジェストがまた次に生み出される文章のバイアスを強化してしまう可能性がありますね。バイアスの無い she/he の提案が今は難しいと考えたチームは、さしあたりこのような提案になる場合は提案そのものをしないという決定を下したそうです。

via Reuters via TheNextWeb

ファイナンシャル・タイムズ、「識者のコメント」の女性比率が低いと警告するボットを開発

Thu, 15 Nov 2018 00:00:00 +0000

イギリスの経済紙 Financial Times が、記事に登場するコメント者の男女比率を改善すべく、コメント者が男性ばかりだと警告する仕組みを導入したと、ハーバード大のジャーナリズム研究機関ニーマン・ラボや英ガーディアン紙が伝えています。

代名詞(she や he でしょう)やコメント者の氏名のファーストネームから性別を推定して、記事に出てくる登場人物が男性ばかりの場合に、編集者に警告を出すそう。

現状はというと、記事に登場する人物やコメントを求めた識者の21%だけが女性。現読者層は男性が優位な Financial Times ですが、読者投稿欄でも女性のコメントを積極的に求めるなど、女性読者を増やし男性の意見に偏らないことを目指しているらしいです。

こういったプログラムの助けなしでも気をつけていた編集者はいるのかもしれませんが、実際の結果として女性の話をあまり取り上げていなかったとすれば、その不均衡を警告してくれるはいいことかもしれませんね。

履歴書の機械学習が女性差別になってしまい、Amazonが止めたというニュース

Wed, 10 Oct 2018 00:00:00 +0000

ロイターの記事 “Amazon scraps secret AI recruiting tool that showed bias against women”

アマゾン社の中の人による匿名の情報ということだけれど、2014年に組まれたチームが、求職者からの履歴書を機械学習して(アマゾンレビューのように)星5つでランク付けをしたら、ソフトウェア開発者や他の技術者の高評価が男性に偏ってしまうことに気づいた、ということです。

学習に使った過去10年の求職者に占める男性の割合が多かったために、男性的な言葉を多く使った履歴書が優秀とされてしまったそうです。入力にバイアスが掛かってれば、結果にも掛かるのはある意味当たり前ですね。アマゾンに限らず、アメリカのIT企業で社員の男女比や有色人種比率が公表されたり比較されたりしている中で、これまでのやり方をベストとして強化すれば、属性にこだわらず優秀な人を取るということができなくなってしまいそうです。

記事によれば、結局、このチームは解散となったということ。今は別のチームで、重複したデータを削除するとか、多様性が保たれるようにスクリーニングするとか、よりマイルドな使い方を追及しているということです。

母の日のロンドンに現れた、#授乳の自由 (#FreeTheFeed)を応援する巨大な乳房

Wed, 29 Mar 2017 00:00:00 +0000

ロンドンを拠点とする広告会社マザーロンドンが、イギリスの母の日にロンドン市内で展開した啓蒙プロジェクト #FreeTheFeed

2017年にもなろうというのに、イギリスの母親たちが、哺乳瓶であろうと母乳であろうと、公共の場所で授乳しようとしたときにジロジロ見られたり非難されたりするのは信じられないことです。

It’s hard to believe that in 2017 UK mothers still feel watched and judged when feeding in public, by bottle or breast.

MotherLondon

公共の場所で胸を出して母乳を与えることを不快と思ったり、止めさせようとしたりするという事件が海外でも日本でも最近は定期的に起こっているようで、ネットでも度々論争が起こっています。

今回のプロジェクトは、罪悪感や恥ずかしさを感じることなく、母親がどこでどのような育児をするか自分で決める権利を応援するものだ、ということです。

(credit: MotherLondon)

道行く人たちに考えてもらうために、またこうやってネット等で広めてもらうために、あえて驚くようなキャンペーンにしているわけですが、街中でいきなりこれを見たら、インパクト大きいでしょうね。

via Creativity Online

間の悪いプログラマー・ジョークをつぶやいてマイクロソフト公式が炎上

Fri, 07 Nov 2014 00:00:00 +0000

マイクロソフトの開発者向けサイトの公式ツイッター@msdev が開発者向けに飛ばしたジョークが、タイミングの悪さで炎上してしまいました。

Why did the programmer quit his job?

(どうしてそのプログラマーは会社を辞めたの?)

Because he didn’t get arrays.

(配列がわからなかったからだよ)

“get arrays”(配列が理解できる)を、“get a raise”(給料を上げてもらう)とかけているジョークです。「配列がわからなかったから辞めた」=「昇給が無かったから辞めた」のダブル・ミーニングですね。

これだけ見ると、他愛も無いエンジニア・ジョークだと思うのですが、少し前にマイクロソフトCEOのサトヤ・ナデラ氏が昇給を望む働く女性に対して、「カルマが足りないのでは」という発言をして炎上したばかりだったために、このジョークも反発を呼んでしまいました。

.@msdev Why did the programmer quit her job?

Because she was tired of seeing her employer not acknowledge her existence.

Karma?#devlife
— chasing the dopamine (@randileeharper) October 23, 2014

プログラマーの彼女はどうして辞めたの?

彼女の雇用主が彼女の存在を正しく見ようとしないことに飽き飽きしたから。

カルマ?

@msdev はすぐに元ジョークツイートを削除し、謝罪もしています。

Our lighthearted (& bad) pun crossed into insensitive and unintended areas. Sincerest apologies.

海外webサービス企業のエンジニア男女比を可視化したチャート

Tue, 15 Apr 2014 00:00:00 +0000

ソフトウェア技術者に女性が少ないのは海外でも同じようです。エンジニアの人数やその男女の内訳が公開されているIT企業のデータを集めて、グラフにしてみせているのがこちらのページ。

グーグルやフェイスブックといった大企業はデータが無いのか載っておらず、今のところ一番大きいところでモジラ財団(女性43人:男性457人)が載っています。

あと大きなところでは、最近日本進出したYelp(17:189)、最近スター女性エンジニアが性差別を告発して退職したGitHub(10:150)、日本でも人気のDropbox(9:134)やFoursquare(6:79)など著名企業のエンジニア男女比がわかります。

全体の平均は18%ということなので、アメリカのITスタートアップのエンジニア部門では5,6人に一人は女性ということのようですね。

もちろん、平均から大きく離れた企業も見つかります。小さなスタートアップでは、女性エンジニアの方が多かったり、女性エンジニアしかいない企業(Kabinet, Spitfire Athlete, Tog+Porter)というのもありますね。どれも全社で2人、とか1人という規模ですが。

逆に、それなりに大きな規模なのにエンジニアが男性ばかりという企業もあります。37signals(0:20)、StackExchange(0:20)、前出のGitHubやDropBoxも男性比率が高いところです。Etsy(19:130)なんかはユーザーにものづくりの得意な女性が多いと思うのですが、エンジニア部門は特に女性が多いわけでも無いんですね。

女性が少ないから差別、と簡単に言えるわけでもないでしょうが、無意識のうちに女性を落としたり、女性エンジニアを検討から外した結果比率が悪いところもあるのかもしれません。

元データはtriketoraさんがGitHubで収集・更新しているものを使っているようです。Wiki的なデータの集め方というか。上でアメリカのIT企業、と書きましたが、pull requestを出せば日本の会社の情報でも載せられると思います。

via Hacker News

[動画] セクシーさが不要なはずの商品CMで出てくる女性を男性に置き換えてみたら

Sun, 16 Mar 2014 00:00:00 +0000

ポテトチップスやドメイン名、ハンバーガーのコマーシャルで、果たしてセクシーな女性が出てくる意味はあるのか? 思考実験としてBuzzfeedが制作したのが、男女のパートを入れ替えたCM

動画の終わりは、「もしこれらの男性が馬鹿馬鹿しく見えるなら、女性だってそうなのでは?」と結んでいます。

YouTubeのコメントでは、「面白い」「よく言ってくれた」「食べ物のCMには脈絡ないよね」というものが多いですが、「待てよ、これ意外にいける。これからは男性版もどんどん作るべき」という意見も結構ありますね。

[アート] 彼女の服を着た彼氏たち

Fri, 05 Jul 2013 00:00:00 +0000

スペインの写真家ジョン・ウリアルテさんが発表した一連の写真シリーズ"The men under the influence"は、カップルに頼んで彼氏(や夫)に彼女(や妻)の服を、彼らが住んでいる家で着てもらう、というもの。

「祖父母や親の時代から、異性との恋愛関係というものがかなり変化しており、その変化が特に男性にどのような変化をもたらしているかに注意を向けてもらう」のが制作の動機ということ。

最初は普通にカップルたちをその家で撮影するという連作を企画したけれど、男女が平等な立場でする現代の恋愛生活に対する男性側の戸惑いのようなものを映すにはどうしたら、ということでこのアイデアが浮かんだそうです。

わかりやすいし、面白いだけでなく考えさせられるところもいいなと思いました。ウリアルテさんのサイトにはもっと多くの写真がありますが、現在、サイトはかなり重くなっています。

逆のバージョンも面白い気もしますけどね。

via Portraits of Men Wearing Their Girlfriends’ Clothes | Feature Shoot