ビッグデータ

Pushshift.io - reddit掲示板の過去投稿を提供するwebサービス/API

·1 分で読めます

pushshift.io は、英語圏の巨大掲示板 reddit の過去の書き込みを蓄積し提供しているサイトです。ジェイソン・バウムガートナーさん(Jason Baumgartner)という個人の方による運営です。 FAQ ページを読むと、過去のデータを期間やキーワード、ユーザー等で一括取得したい時に使うサービスだということ。新規のコメントをリアルタイムで取得したい時は reddit 公式の API …

ロンドンで一番ひどいバス停を見つける - ビッグデータ活用事例

·1 分で読めます

ビッグデータ解析サービスの英コグニシオ社(Kognitio)が公開している、ロンドン最悪のバス停(The worst bus stop in London)は、ロンドン交通局の運営するバス運行に関する膨大なデータを使って、運行状況に関して優秀なバスやひどいバスを見つけるというプロジェクトです。 対象となるデータの規模は以下。 データ数 4,938,534,706 バス停の数 19,687個 バス路 …

中世から現代まで、21万枚の絵画に使われている色の変化をRで可視化したグラフ

·1 分で読めます

過去から現在までの大量の絵画データを使い、「時代の色遣い」があるかどうかを調べようとしたマーティン・ベランダーさん(Martin Bellander)のブログから。 大量の絵画データの取得先は、グーグルのアート・プロジェクトやWikiアートなどいくつか候補があったのですが、英BBCのサイト Your Paintings を選んだということです。このBBCのサイトにはイギリスを中心にヨーロッパ絵画が …

東京人が一番眠りが短い - 腕輪センサーのJawboneが公開した各国の生活時間データがおもしろい

·1 分で読めます

腕輪方のセンサーと、そのデータを使ったライフ・トラッキングのwebサービスを提供している Jawbone 社が、ユーザーから集まったデータを集計して世界各国の生活パターンの違いをまとめています。 上のチャートは一日のそれぞれの時間で、寝ている人の割合を都市ごとにプロットしたものです。 オレンジ色の線が東京のユーザーのものなのですが、他の都市の人たちと比べて、あきらかに寝ている時間帯が内側に寄ってい …

ソーシャルネットワークを避けてても、友達が使っていれば非メンバーの友人関係が推測できる、という研究

·1 分で読めます

ソーシャルネットワークでは1+1=3になる(One plus one makes three for social networks)、というタイトルの研究が公開されています。 ソーシャルネットワーク上の会員は、しばしばプライベートな情報を公開することを選択します。そうして多少のプライバシーを犠牲にする代わりに、様々な機会や娯楽を楽しむことができるというわけです。私たちはここで、会員間で確認された …

ツイッターのつぶやきの言語と座標から作られた、世界の生きた言語地図

·1 分で読めます

ツイッターのつぶやきの言語と座標情報を集めて、言語ごとに異なる色でプロットした世界地図。 作者はEric Fischerさん。この人は、2010年にデジカメ画像の位置情報を集めて「旅行者」と「現地人」をプロットし、世界各都市の観光地を可視化する、というのをやって話題になった人ですね。 ヨーロッパの様子。言語の切れ目でぼんやりと国境が見えてきます。 カタランとかスイスとか旧ユーゴとか、面白いですね。 …

ウィキペディアゲーム - すべてのウィキペディアは哲学に通ず

·1 分で読めます

ちょっと前から英語圏の掲示板で見かけるようになった話なのですが、英語のWikipediaを使ったこんなゲームがあります。 wikipedia.comを開いてください 検索で「English」を選んでください (日本語環境だとデフォルト日本語検索なので) 何でもいいから(ほんとうに何でもいい)検索してそのトピックを開いてください description(説明)にある一番最初のリンクをクリックします …