ビッグデータ解析サービスの英コグニシオ社(Kognitio)が公開している、ロンドン最悪のバス停(The worst bus stop in London)は、ロンドン交通局の運営するバス運行に関する膨大なデータを使って、運行状況に関して優秀なバスやひどいバスを見つけるというプロジェクトです。

対象となるデータの規模は以下。

• データ数 4,938,534,706
• バス停の数 19,687個
• バス路線数 675本
• バスの台数 9,641台

ロンドン交通局のオープンデータというページがあるので、ここから入手できるのでしょうね。

これらのデータから、たとえば、7つの運行ゾーン毎に、「バスがとても遅れるバス停」「時刻表より前にバスが来がちなバス停」などのランキングが求められています。

これは「ロンドンで最も出発が遅れる路線」。走ってて遅れるのではなく出発が遅れるってどういうこと? と思いますが、運転手が遅刻するとかそういうのもあるんでしょうか。

こちらなんかは良い方の結果で、最も時間に正確なルート。路線のバスのうち85%が時刻表から外れずに走っているそうです。

郵便番号でランキング

バスが正確な地域、不正確な地域をランキングするには、郵便番号(の上3桁)が使われています。

なんで郵便番号? と思うかもしれませんが、イギリス(や西洋の多く)の住所は通りの名前+番号なので、おおまかなエリアを示すには郵便番号が便利なのかもしれませんね。

ロンドンで最も使えないバス停は

すべてを総合した、ロンドンで最悪のバス停は、ヒースロー空港近くのリングウェイ(Ringway)バス停だそうです。時刻表通りに来るバスの割合は全体の4%、25本に1本しかないのだとか。

ロンドン交通局自身も、いろいろとデータ処理して同様の情報は持っているのかもしれませんが、こうやってオープンデータとして公開することで、第三者が検証したり改善提案してくれたりするのはいい感じです。

ソーシャルネットワークでは1+1=3になる(One plus one makes three for social networks)、というタイトルの研究が公開されています。

ソーシャルネットワーク上の会員は、しばしばプライベートな情報を公開することを選択します。そうして多少のプライバシーを犠牲にする代わりに、様々な機会や娯楽を楽しむことができるというわけです。私たちはここで、会員間で確認された友人関係と、会員から非会員へのメールアドレス情報という、一見無害そうに見える情報の組み合わせだけから、非会員と他の非会員の間の関係性を導けることを示します。機械学習により、ある会員が知っている二人の非会員が知り合いかどうかを、会員登録している人の割合や非会員のメールアドレスの登録割合を保守的に見積もったとしても、ROC曲線下の面積(AUC)が0.85以上にて推定できました。
Abstract

プライベートな情報をソーシャルネットワークに与えるのが嫌だ/不安だ、としてフェイスブックなどの登録を避ける人もいると思いますが、たとえ自分が登録しなくても、自分の知人達が登録していて、その知人が自分のメールアドレスをサービスに教えていたら、機械的にあなたの交友関係を推定できる可能性がある、というのがこの研究です。
下の図では、丸い点がそれぞれ人を表し、人と人との間がつながっている場合、それは友人関係を示しています。
黒い点が会員で、赤い点は、黒い会員がメールアドレスを登録している非会員で、緑の一方向の線でメールアドレスを知っていることを示しています。そうした時、機械学習により、赤い点と他の赤い点に関係(赤い線)があるかどうかを推定するという話。

フェイスブックに限らず、登録時にgmailやyahooメールなどのアカウントから、アドレス帳の情報を渡してソーシャルネット上で知人を探す、という仕組みがありますね。僕は怖いので使ってませんが。もし過去にメールをやりとりした人がアドレス帳をサービスに渡せば、自分が登録しなくても自分とその人の関係性は登録されるわけです。複数の人からそうやってメールアドレスで指されていれば、それを使ってジグゾーパズルの穴を埋めるように、自分がソーシャルグラフの中のどこに居るのか当てられても不思議はないということですね。
この記事では、ごくごく単純な友人関係とメールアドレスだけを使っていますが、ソーシャルネットワーク業者からすれば、これ以外にも誕生日や性別や住所など、参考にできるデータは大量にあるわけで、それらを駆使すれば、より精度よく、「まだ参加していない非会員」についても絞込みができるだろう、ということです。
上の図では人口の30%が会員登録している、というモデルですが、実際にそれ以上の割合で周囲の人がソーシャルネットワークに登録しているような人も増えていくでしょう。登録したプライバシー情報を何にどう使われるか心配だ、という問題は、単に「自分は参加しないから大丈夫」ということではなく、自分が参加しようとしまいと、ある程度節度を持ってデータを使ってもらうように求めていかないといけないのかもしれないですね。
via Staying Off Facebook Won't Protect Your Privacy

ツイッターのつぶやきの言語と座標情報を集めて、言語ごとに異なる色でプロットした世界地図。

作者はEric Fischerさん。この人は、2010年にデジカメ画像の位置情報を集めて「旅行者」と「現地人」をプロットし、世界各都市の観光地を可視化する、というのをやって話題になった人ですね。
ヨーロッパの様子。言語の切れ目でぼんやりと国境が見えてきます。

カタランとかスイスとか旧ユーゴとか、面白いですね。
こちらが日本周辺を切り出したもの。

海上の座標でつぶやかれた日本語のツイートがけっこうあるような。GPSの精度の問題か、漁船やフェリーとかからつぶやく人がそんなにいるのか、理由はわかりませんが。
あと台湾の中国語の色が日本語の色と似てるのがまぎらわしいです。
つぶやきの言語を判定するには、言語判定のライブラリを使っているそうです。
ちなみに、文字列からそれがどの言語かを推定する言語判定ライブラリとしては、サイボウズ・ラボでも中谷さんが開発しているLanguage Detectionライブラリがあり、これ検出精度もかなり高いようです。もし上記のような地図など作ってみたい方がいたらぜひ試してみてください。
via Language communities of Twitter