バグレポート – 秋元@サイボウズラボ・プログラマー・ブログ

Mozilla の様々な製品/コンポーネントに対して発行されたバグ報告を、とりあえずどの製品のどのコンポーネントに属するものかを分類して、そのコンポーネントの担当者に早く届くようにする、というのか今回のツール導入の目的だそうです。

大災害時などに負傷者の治療作業の順番をつける「トリアージ」と同様のことをバグに対して行う「バグトリアージ」というわけ。

これまではというと、ボランティアや開発者が人手でバグを分類し設定することで担当者に届けられていたのですが、ここの分類に日数が掛かっていて、バグが解消されるまでの期間が長くなっていた、と。

機械学習で分類させるには、どんなバグレポートがどのコンポーネントに対するものか、という過去の正しいデータが必要ですが、Mozilla でこれまで発行されたバグレポートは20年以上の期間での153万件を越えるそう。

これが人力でおおむね正しく分類されているので、これをXGBoostに食わせることで、新たに到着したバグレポートが属するコンポーネントの予測が自動的にできるのだそうです。

2月末に一部のプロダクトに対して導入運用を始め、350件のバグを自動分類し、そのチケットの解決までの日数の(外れ値を除いた)中央値は2日間と改善されたそう。ちなみに、今は60%の信頼度で分類して、80%以上の適合率を達成しているそうです。

今後の計画としては、重複チケットの検出、バグレポートに欠けている内容(たとえばバグの再現方法)を見つけて報告者に追加してもらう、リリース版での重要なバグを素早く発見する、などを検討しているということ。

大きな製品になるとバグレポートも膨大に届き、切り分けだけでたいへんな人的リソースを必要とするのでしょうけれど、その部分の自動化は開発側にも利用者側にも大きな恩恵を与えそうですね。

プレビュー版が出ている Visual Studio 2019 ですが、ちょっと変わったバグレポートがでて話題になっています。

「VS2019をインストールしたら、ウェルカムページに緑の帽子をかぶって自転車に乗った男性の絵が表示されます」

ふむ

「しかし、緑の帽子は中国では侮辱的とされています」

何だって!?

「緑の帽子をかぶる男性は、妻や彼女に浮気されているという意味なのです」「Bingで検索してみてください。これは真剣な話です。帽子の色を変更してください」

百度百科で検索するとそれらしい情報が出てきました。中国で緑の帽子にそのような意味があること自体は本当のよう。

マイクロソフトの対応はというと、

2日後「エンジニアチームへフィードバックを送りました。チームがこれから調査をします」

4日後「内部的には修正が完了しました。」

11日後(本日)「修正版が公開されました。製品改善への貴重なご意見ありがとうございました」

この間、「私も中国人だが、この絵で帽子が緑であることは侮辱的でもなんでもない。馬鹿馬鹿しい」とか「こんな修正だけ修正が素早いのな」「次は有色人種への侮辱として白いTシャツを禁止するか?」「自転車に乗ってるのが男性なのは女性への差別では?」といったように、コメント欄が荒れています。

内部での「調査」がどんなものだったかわかりませんが、マイクロソフトのような大企業に中国人や中国系なんて何百人と在籍しているはず。本当にこれが侮辱的だと思ったわけではなく、事なかれ主義で差し換えただけなんではないですかね。

修正の結果差し換えられた画像はこちら

オレンジや紫の帽子が、別のどこかの文化を侮辱してないといいですね!