カテゴリー
プライバシー

GitHub Copilot で TODO(@ を打つと誰かのToDoが表示される、かもしれない

コメント中に後でやるべき課題を ToDo の形で残す、多くのプログラマがやっている習慣かと思います。

twitter で報告されたのは、GitHub のコーディング提案機能 Copilot をオンにして TODO(@ナントカ と他ユーザーを指定したコメントを書き始めると、ユーザー名とToDoの内容が提案されるというもの。

twitter.com/aeolianeth/status/1579980661464895490

どこかの誰かのToDo がユーザー名と結びついて他のプログラマから見えたとしたら…?

そこまでたいへんなことではないかもしれません。ToDo に書いたことにそこまで機密性の高いものはないかもしれませんし。そもそもオープンにされているソースコードから収集したものでしょうし。

Hacker News の議論では、「ここに出てきたユーザー名の公開リポジトリを見てみたけれど提案されたような ToDo は見当たらなかった」と言ってる人もいます。

ろくに中身が無かったり、privateリポジトリばかりだったり、存在しないユーザー名もあったようなので、「ユーザー名の提案はランダムに生成したものが出ているだけで実際のユーザー名とは偶然衝突しているだけなのでは」、とか、「万一コメントの中に API key などがあっても、それは GitHub 全体の仕組みとして警告される(ので提案されるデータには入っていないだろう)」といった意見も出ています。

提案されているのはどこかの誰かのToDoコメントではあるのでしょうけれど、それが提案されたユーザー名とは関係ないらしい、というあたりでしょう。

学習元のデータもオープンである限りは問題ないのかな。この件は実際に問題がありそうな提案例が報告されるかどうかの続報待ちでしょうね。

via Hacker News

カテゴリー
ネットの事件

GitHub Copilot は”gender”など特定用語を含むコードで動かなくなる

書いているプログラムコードから次に必要そうなコードを提案してくれる GitHub の Copilot サービスで、「このコードに対して Copilot が何も提案してくれない」というバグが報告されました。

これに対するコミュニティの識者からの回答は、「おそらく、コードの中に “gender” という単語が入ってるからでしょう。」というもの。

Copilot には内蔵されたコンテンツフィルターがあり、フィルターに反応するとコードの提案をしないという作りなのだそう。そして “gender” もそのリストに含まれているらしいのです。

コードの提案が止まる、と言われたコードをCopilotで書いてみた

実際にCopilotで該当部分のコードを書いてみたところ、サジェストされた内容は文にならず途中で止まりました。元のコメント者と同じ結果なのかどうかはわかりませんが。

これを受けてのHacker News の議論では、

ジェンダーという名前の変数があったとして、その変数を boolean 型として提案コードを出せば「ジェンダーは(男女の)2通りじゃない」と怒る人が来てしまい、多値にすれば「ジェンダーは2通りだ」と怒る人が来るからでは、

という推測がトップコメントになっています。この推測が正しい理由かは不明ですが、議論になりそうな単語が含まれていると Copilot が動かなくなるというのは知ってる人は以前から知っていたようです。

今はクライアント側に禁止ワードのリストは無いそうですが、昔ベータだった際にクライアント側に埋め込まれていたリストを保存してた人がいたようで、rot13を掛けるとどんな単語が引っ掛かるかわかります。(このリストが本物として、リストが見えていた時期から変わっていないとして)

人種差別的な単語や罵倒後、卑猥な単語らがたくさん登録されていますが、”gender” も確かに含まれています。それどころか、”boy”, “girl”, “male”, “female” とかも入っているので、人を管理するデータクラスとかを作っただけでも引っ掛かることはありそう。

リストには英単語しか入っていないため、変数を日本語やローマ字で書く分には回避できそうですけどね。Hacker News では、”gender” をラテン語の”genus”に変えたら動いたよ、という報告もあり、これも試したところ本当でした。

“genus”にしたらサジェストが出た

マイクロソフトはAIチャットで意図しない発言が生成されて炎上したことがあったので、コードの提案でも問題を避ける機能を入れたくなるのはわからないでもありません。ただ、単語だけ列挙したリストの作りは雑なように感じるので、やるにしてももう少し改善してほしい気がします。

直近は、Copilot が何も言わなくなり、書いたコードが性別やジェンダーに関する変数名を含んでいたら、変数名をちょっと変えてみる、んですかね?

カテゴリー
ネットのサービス

Hacker-AI – Hacker Newsでバズるタイトルを判定するサービス

Hacker-AIは、二つの記事タイトル候補を入れると、どちらがより Hacker News 掲示板で受けそうかをポイントで予想して勝敗をつけてくれる、というサービスです。

IT系の新サービスやツールを英語で公開する場所として Hacker News や Product Hunt は非常に重要な場所となっていますが、世界中から毎日山のような自己紹介投稿がされ、同じ URL を何度も繰り返し投稿することはできないため、以下にタイトルで人々の目を引くかが重要になります。

極端なことを言えば、サービス自体がそれほどすごくなくても、うまく Hacker News で反応を稼ぎ、注目の投稿としてトップページ上位に表示されることで人気が出ることだってあるわけです。

Kimmo Ihanus さんは、Hacker News で過去に反応が良かった記事のタイトルのデータを機械学習にかけ、新たに入力したタイトルが行けそうかどうか判定する内部ツールを作り使っていたということで、これをwebサービスしたものが今回のHackre-AIになります。

現在、よりバズりそうなタイトルを当てられる確率は60%ほどで、サービスを使わないよりも良い、ということです。

ただし、実際にHacker News のトップページに表示されているタイトルをいくつか入れてみましたが、まだまだ改良の余地はありそうに思います。

新聞社や通信社などもニュース配信のタイトル決めには専任の人を置いて毎日競争をしているのだと思いますが、そこでもこういうAI技術は導入されているんでしょうかね。