データ on akky@サイボウズラボ・ブログ

Stack Overflowがネット環境の無い所でも回答群にアクセスできるオフライン利用プロジェクトを発表

Fri, 21 Oct 2022 00:00:00 +0000

英語圏のプログラミングQ&Aサイト大手 Stack Overflow の発表した Overflow Offline プロジェクトは、プログラミングの疑問が出た時に検索でお世話になることの多い Stack Overflow やその姉妹サイト群の回答情報をダンプしたデータを、インターネットが使えなかったり貧弱な地域でアクセスできるようにしようというものです。

少し前ならネット接続はもっと手に入れにくいもので、たとえば Wikipedia なんかもデータがまとめてダンプできるため、PCやスマートフォンにダウンロードしてオフラインで検索できるアプリには需要があり、なんなら Wikipedia のデータだけを持ち歩ける専用デバイスも存在しました。

しかし、今ならどこのお店でもWi-Fiが提供されているし、携帯電話ネットワークの通信も安価にアクセスできるように思います。そんな今でもオフラインのアクセスが必要なのはどういう状況なんでしょうか?

リリースの中で取り上げられている事例の一つは刑務所。少年刑務所でプログラミングを学んだ後に出所して企業のCTO になったある女性は、友人に四半期ごとにStack Overflow のサイトをダンプしたデータを差し入れてもらってプログラミングを覚えたということ。

このような事例もあったことから、ネットのコンテンツをダウンロードしてアクセスすることを支援している団体Kiwixと連携し、より使いやすい形で Stack Overflow が支援した形でオフラインアクセスができるようにしようというのが今回の話だそう。

また、南極基地で Python + Puppet を使っているプログラマ、インターネット普及率34%のカメルーンで安定した無料Wi-Fi を提供することが難しい大学、などの事例も紹介されています。

そうは言っても、初級の言語入門ならともかく、あるいは初級レベルであっても、現代のプログラミングはパッケージマネージャで提供されるライブラリ群の利用が必須に近い状況で、オフラインでプログラミング学習をするのは実際には大変なのかなと思います。

主要パッケージもThe Overflow Offline プロジェクトのようにオフラインで持ち込めるようにすればいいのかもしれませんが、依存に応じて無数の細かいバージョン違いのパッケージが必要となったり、必要な修正がされたバージョンが手に入らなかったりもしそうです。Q&Aサイトのデータだけでなく、オフラインでプログラミング学習をしてもらおうとするとこのへんにも仕組みが必要なのかなとも思いますね。

via Hacker News

Felt - 地図を作製・共有するためのWebサービス

Thu, 28 Jul 2022 00:00:00 +0000

Feltブランドロゴ

Felt は、ブラウザ上でオリジナルの地図を作成することができるサービスです。

線を引いたり、マーカーを置いたり、画像や動画を地図上に貼り付けたりという編集機能がブラウザで提供されています。

作成した地図はURLで共有したり、自分のサイトに埋め込んで表示したりできます。

上は以前から考えていた地図ネタ。地下鉄に乗らなくても地下鉄の通路を歩いて長距離行けるところがあるのでは? と思って作った「ぼくの考えた傘の要らない最長地下道ルート」。

隣の駅まで地下道でつながっている駅が結構あるので、地下鉄に乗らずに何駅分も歩けそうだな、と思ってたのを地図に描いてみました。

Feltで地図を作成している様子

なお、Felt社が全部作ってるわけではなく、地図はMapboxとOpenStreetMapを利用して作られているようです。

Feltが提供するレイヤーという形で、道路・鉄道・航路・自転車道、州境や自治体・選挙区・学区・郵便区・タイムゾーン、洪水・森林・山火事、学校・公園・発電所・国立公園、など様々なデータをプロットした地図が提供されており、これらを簡単に重ね合わせて使うことができるようです。

レイヤー選択画面 from Felt Media Kit

「地震」と「火山」のレイヤーを使って日本で地震が起こりやすいことを説明する地図、を作った人もいるようです。

現在は個人での利用が無料、将来的にはチーム向けの有料プランを準備しているということ。

via Hacker News

Making History Sandbox - 世界の勢力図を編集できるブラウザエディタ

Fri, 26 Mar 2021 00:00:00 +0000

Making History Sandbox: Alternate History Timeline Editor は、世界の勢力図を年号と併せて作成することができるブラウザ上の編集サービスです。

モンゴル高原統一(1206)時の諸勢力

エリアを選んで名前や勢力名を設定したり、色を変更したりできます。

いくつかの時代の勢力図をロードすることもできます

アレクサンダー大王
モンゴルの台頭
ヴァルナの戦い
第二次世界大戦前夜
現代

第二次世界大戦直前(1936)。フィリピンの帰属が間違ってますね。

作成した勢力図は保存・読込ができます。利用者が作成したデータ「現代(2021)」「第一次世界大戦開戦(1914)」も追加されています。

エリア単位で支配勢力を色塗りしていますが、エリアを分割したりすることもできるそうです。

レイヤーのように複数の年代を並べて作り、切り替えていくこともできますが、これを使ったサンプルデータはまだなさそう。

自分の興味ある時代を再現したり、架空の年代や勢力を塗り分けたりするのも面白そうです。

Desirable Streets - 人々が好む歩行ルートを示す地図

Fri, 26 Feb 2021 00:00:00 +0000

MIT の Senseable 都市研究所がボストン市の歩行者データを使って作った地図が、この Desirable Streets 。

a 地点から b 地点まで歩いた12万件の歩行者のデータから、一方が他方よりも10%以上距離は長いのに選ばれたルート、を抜き出したデータを地図にまとめたものだそうです。

つまり、目的地まで遠いにも関わらず選ばれた道路 = 望ましい通り(Desirable Streets)というわけ。

目的地に行くために取れるルートが多数ある中で、他の人たちがあえて多く選んでいる道がわかるため、旅行者とか新たに引っ越ししてきた人でも、最初からどこを歩くと良さそうかというのがわかる。いい情報だと思います。

歩行者のデータから得られた、みんなが好んで通る道を分析すると、「公園に近い」「店やオフィスが多い」「歩道や歩道に置かれた設備が良い」道が選ばれていることがわかったとのこと。当たり前といえば当たり前ですが、その当たり前が大量データの分析で裏付けられたと言えます。

地図には、desirable とそうでない道の二つのルートを並べて、実際の景色を見ながら移動を体感できるという箇所もあります。黒い線で示されたところをクリックすると再生されます。

これはあくまで研究結果なのでボストンの市街地のみのものですが、自分の住んでいる街でも作られるならぜひ見てみたいなと思いますね。

via Maps Mania

先住民族地図

Fri, 06 Nov 2020 00:00:00 +0000

Native-Land.caは、先住民族の住んでいた領域を表示するというインタラクティブな地図です。

植民地主義の歴史や先住民の知識、開拓者と先住民の関係、などに関する対話を醸成するためのプロジェクトとして、今住んでいるところに昔どのような先住民族が住んでいたのかを知ることができる地図を作成し、今も情報を集め続けているということです。

民族や言語を選択すると、それらの解説ページに飛び、さらに先住民族の公式サイト等があれば、リンクも紹介されています。

南北アメリカやオセアニアのデータは多いですが、ヨーロッパやアジアにはほとんどデータがありません。日本にも。

サイトの更新情報を見ると、集まってきた情報を追加し続けているようです。APIもあります。

via Bored Panda

names.io - 徹底的な?姓名データベース

Fri, 09 Oct 2020 00:00:00 +0000

names.io は、世界の多数の姓(surname)と名(first name)を集めたデータベース、と言っているテキストデータで、GitHub で公開されています。

Exhaustive(徹底的な)が示すように、あらゆる国の姓名を収集しているそうで、README にも入手元へのリンクを多数載せていますが、その規模はというと「姓が10万種類、名が16万種類」だそう。あれ?

日本の姓は30万種類ぐらいあるそう。ローマ字表記のこのデータベースでは同じ音の姓はかなり整理されるだろうとは思いますが、それにしても10万種類で「徹底的な」はないかな、と。

ただこのテキストファイル、同じく公開されているスクリプトで各所のデータを持ってきて加工して作成していることから、データの入手元を増やしていけば、本当に網羅的なものになる可能性もあるでしょう。issues には追加すると良さそうな提案が集まってきています。

最初に「すごい」「完全」と打ち出すことで、あえて突っ込みを受けて改善していこうということなのかもしれません。

via Hacker News

欧米のラウンドアバウト率をオープンデータから求める

Fri, 04 Sep 2020 00:00:00 +0000

ラウンドアバウト、信号を使わずに縦横の交通を通すための仕組み、日本でも2014年から地方中心に導入されて何度もニュースになっているようです。

僕はイギリスの田舎にいた時に会社が借り上げた車で通勤していたため、交差点のほとんどがラウンドアバウトな街で運転していた経験があります。最初は慣れずに怖いと思ったこともありましたが、慣れてくると信号待ちが無くて楽だなという感想を持ってます。

データで仕事をしている、というエリンさん(Erin)がブログで公開したのは、そんなイギリスのラウンドアバントの全てを地図にプロットするという個人プロジェクト。

OpenStreetMap のデータを使ったということですが、このデータ、ラウンドアバウトについてのデータは存在するものの、普通の交差点のデータは含まれていないそうです。そこで、道路データと別の道路データが同じ地点で交わっているところを交差点として抽出する作業を行ってまず交差点の位置を得る必要があったと。

ヨーロッパ(対象がイギリス外にも広がってます)の交差点を抽出するのに、ラップトップPCで2週間掛かったということ。また、アメリカの交差点については、米国勢調査の別のデータTIGER/Line Shapefilesから同様の処理を行ったと。

ヨーロッパから9か国と米国のデータを処理して、ラウンドアバウトと交差点の比を求め、また地図上にラウンドアバウトをプロットした地図ができています。

僅差ですが、フランスが交差点81か所につきラウンドアバウト1か所で、これらの国の中でもっともラウンドアバウト比率が多い、ということです。スペインやイギリスも多い。また、アメリカは636対1と、ヨーロッパに比べてとてもラウンドアバウトが少ないことがわかります。

前記のように求めた交差点は、住宅街の中、家と家を結ぶ小路の分岐もすべて当てはまりそうなので、街と街をつなぐ街道で見ればもっとラウンドアバウトは多いのではないかな、とも自分の少ない運転経験からは思ったりもします。

エリンさんはまた、人口に対するラウンドアバウトの数、という計算も行っており、これで計算したラウンドアバウト率の高い街の上位25位のほとんどはヨーロッパなのですが、1位はアメリカインディアナ州のカーメル市となったということです。このカーメル市、1990年代から信号交差点をどんどんラウンドアバウトに置き換え続け、今では125か所以上のラウンドアバウトを持つ米国一ラウンドアバウトの多い場所となっているそう。事故も激減してるそうですが、これができるのは交通量がそこまで多くないというのもあるんでしょうね。

ブログ記事を見ていると、欧州と米国で入手できるデータが異なったり、データを使える形に揃えることが大変だったよう。他の国々についてもわかればもっと興味深いでしょうが、なかなか国ごとに整備されたり公開されたりしているデータがまとまっていないとか、見つかりにくいとか、そんな感じなのかもしれません。

Citylines - 世界各都市の公共鉄道網の変遷を見られる歴史地図

Thu, 30 Jul 2020 00:00:00 +0000

citylines.coは、世界の都市鉄道の路線がいつ開設されたか、をプロットした地図です。

1920年東京周辺の鉄道網

△の再生ボタンを押すと、その都市の初めての鉄道ができてから現在までの時系列での鉄道網の変化を見せてくれます。東京は1960年代の都電の廃線が印象的でした。

1920年大阪周辺の鉄道網

二つの都市を並べて見るモード(Compare)もあります。これは1945年の東京とニューヨークを並べたもの。

日本では東京、大阪、名古屋と長崎の4都市のデータが入っています。名古屋は現在の地下鉄データのみ、長崎はデータが空でしたが。

データはオープンデータとして公開されています。自分で足りないデータを貢献することも可能。

日本のデータはまだまだ少ないので、調べて追加してあげるのもいいですね。鉄道好きの子供なら夏休みの自由研究とかにもできそうです。

via Maps Mania

アメリカ銃乱射地図

Wed, 07 Aug 2019 00:00:00 +0000

Voxメディアが公開している、インタラクティブな銃乱射記録地図です。

2012年のサンディー・フック小学校乱射事件以降の銃乱射事件のデータが使われていて、新しい乱射事件が起こるたびに更新されているようです。今日の時点、2012年からのたった7年弱で、2178件の乱射事件が記録されているということ。

州別に人口比の発生頻度で塗ったもの。マウスカーソルを当てると件数が見られます。ほとんどの州で乱射事件が起こっていることがわかります。

横軸が人口100人あたりの銃の数。アメリカは一人に銃一つなんですね。縦軸は10万人あたりの銃による死亡者数。アメリカは1万人に一人以上。国別でみるとダントツに他の先進諸国を離して右上に君臨しています。日本は左下、ほぼゼロに近いところ。

他にも、乱射事件で亡くなった人数は全体からみるとわずかで、その他の殺人や自殺に銃が使われていること、2012 年から乱射事件のある日に色をつけたカレンダー、など、パッと見るだけで異常な状態がわかる資料がよく可視化され、まとめられています。

銃事件の元データは、銃暴力アーカイブ(Gun Violence Archive)というサイトのものを使っているようです。こちらのサイトでは、今年2019年に銃乱射で亡くなった被害者が既に253名とわかります。

via Maps Mania

地名に強く関係した有名人で描いたアメリカ地図

Fri, 31 May 2019 00:00:00 +0000

アメリカ合衆国人物マップ(A People Map of the US) は、Wikipedia のデータと地名を組み合わせた、アイデアもののインタラクティブ地図です。

作成手順としては、ウィキペディアの膨大なテキストから、都市名を抜き出し、全米のそれぞれの都市に絡んで言及されている人物のページを探します。人物ページの一定期間中のページビューを使って、その都市に関係した、もっとも有名な人物を抽出し、都市名に替えて表示した結果がこの地図ということ。

出身地、現住所、出演した映画の舞台、対戦したスポーツチームのホームやスタジアム、死亡した場所、などなど、いろいろな関係でウィキペディアでは有名人たちが言及されています。それらを総合すると、「この市で有名人と言えば?」というのが大量に出てくると。面白いですね。

たとえば、こちらサンフランシスコ周辺。さすが、スティーブ・ジョブズ氏の名前が付いた都市が多いです。トム・ハンクス氏やドゥエイン・ジョンソン氏(ザ・ロック)らは、出身がその市なんですね。

日本語のWikipediaで同様の地図を作ることもできそうですし、人以外の切り口でも、地名の上に別の関連を表示することで新たな視点を楽しめる地図が作れるかもしれません。

via Maps Mania

AWSの日本サーバのIPアドレスのリストを得る

Tue, 20 Mar 2018 00:00:00 +0000

ツールのインストールなしで。

EC2サーバーなどのIPアドレスの範囲については、AWS公式がJSON形式で最新の情報を公開しています。

AWSのサーバ「からのアクセスを禁止したい」とか「からだけアクセスを許可したい」という時は、ここから対象となるサーバのリストを抽出することになります。

公式ドキュメントでは jq を使ってフィルタするといいよ、と言っています。

jq をオンラインで実行できるサービス jq playがあるので、これをブラウザで開き、JSON のところに先ほどの公式のJSON の中身を貼りつけます。

フィルタとして、たとえば、「東京と大阪リージョンのEC2のアドレスを絞りこむ」だと、以下を入れます。

.prefixes[] | select(.region=="ap-northeast-1" or .region=="ap-northeast-3") | select(.service=="EC2") | .ip_prefix

ダブルクオートが不要であれば、Raw Output にチェックを入れましょう。

[訂正] はてブでご指摘いただきました。大阪は ap-northeast-3 ですね。ごめんなさい

jq play の結果は、permalink 化して共有できます。右上の"Share snippet" から。

今日の時点でのIPアドレスの範囲は、こんな風にでました。

# 今回は、公開されているデータを絞り込んだだけなので問題ないと思います。社外に漏れたら困るようなJSONを、こういったサイトに突っ込むのはやめましょう。念のため

中国版ツイッターWeiboで"N"が検閲される

Mon, 05 Mar 2018 00:00:00 +0000

中国数字時代(中国数字时代, China Digital Times)によれば、中国版マイクロブログのWeibo(新浪微博)でアルファベットの"N"が発信できない状況が発生していたということです。

中国国家主席の任期制限撤廃が、現在の国家主席習近平氏の専制化につながるのではないか、というニュースが中国以外の各国のメディアで報じられています。中国国内のネットでは、習氏を揶揄する「ディズニー」「くまのプーさん」などの単語が検閲され書き込めなくなったり、法改正とか皇帝即位とか終身制とかにあたる単語も使えなくなっているそうです。

米国カリフォルニアで活動する中国数字時代は、Weiboなどでのこの検閲の実態をウォッチしているメディアです。最新の記事「微妙な言葉: 習氏は王座へ登る」では、新たに検閲対象となった多くの単語の中に、アルファベットの"N"が含まれていると報告しています。

pic.twitter.com/cmMhLMYm0J
— Sandra (@underbreath) February 25, 2018

上は、中国数字時代のSeverdia氏による、Weiboのスクリーンショット。「移民」、「N」、「終身制」などと打とうとすると、「コンテンツは違法です」というエラーが出ています。

なぜ「N」とつぶやけなかったか、本当の理由はわかっていないのですが、こちらのブログでは、今回3選や多選に道を開いた変更に関連して、「在任n期」(连任n届)という表現が(出る|出た)ことを嫌って起こったのでは、という推理をしています。

# だったら 3期, 4期… と具体的な数字を入れて規制すればいい気もするのですが

ただ、この"N"の検閲は観測してから半日以内で解除になったということ。単に検閲プログラムの設定を間違えた可能性もありますね。

今回この記事から知ったのですが、中国数字時代ではGoogle Spreadsheet で Weibo で検閲対象になっている言葉を収集したデータベースを作成・公開しています。

古くは2011年からのデータがあり、“N"のように二度目の観測で検閲が解除されたようなものもごく少数ありますが、マイクロブログでつぶやけない単語はかなり多くあり、それが最近も増加を続けているというのがわかりますね。

イギリス中の自転車事故などを地図上で一望できるwebサービス

Fri, 06 Oct 2017 00:00:00 +0000

Bikedata は、イギリスにおける自転車に関するデータを地図上にプロットした、インタラクティブな情報地図です。

この画面では、道路のどの場所で自転車事故が発生したことがあるか、が、ピンクのマーカーで示されています。

通勤やツーリングの計画を立てる時に、事故が頻発するところを知って避ける、といった使い方もできるでしょうね。スマートフォンアプリなどで、事故の多い場所に近づいたら注意をうながす、みたいなものを作ったりもできるかもしれません。

サイトでは、事故の他にも、交通量、自転車の盗難、駐輪場、サイクルレーンの写真、など、様々な自転車に関するデータを表示することができます。

さらに、このサイトのソースはGPLv3 で公開されています。

元データは国によるもの

イギリス政府のデータ公開サイトに、道路の安全データ(Rode Safety Data)というのがあり、ここではSTATS19 という書類で報告された2005年から2014年までの事故のデータが公開されているようです。

100Mぐらいあるデータを見てみたら、こんな感じで緯度経度や日時、事故の状況を表すフラグを持つレコードが大量にあるCSVファイルでした。

こういったデータが公にされているのはいいですね。このデータを API 化して自転車事故について Cyclestreets.net が提供し、それを Google Maps APIなどを使って可視化したのが今回のサービス、ということになります。

via Maps Mania

Listly - ウェブページからデータを抽出してExcelファイルにしてくれるサービス

Mon, 17 Apr 2017 00:00:00 +0000

Listly は、ウェブページのスクレイピングをお手軽にしてくれるサービスです。

フォームに抽出したいサイトのURLを入れて、Listyボタンを押すと、

ページ内の構造から、リストを抽出してくれます。抽出に使ったCSSセレクタを表示してくれてるので、これをコピーして使うもよし、“Excel"ボタンを押すと、エクセルファイルでダウンロードもできます。

何回も繰り返すような作業ならプログラム化すると思いますが、一度しかやらないとわかっている抽出作業などでは、特に便利なのではないでしょうか。

また、未実装ですが"Scraper"というボタンを見ると、繰り返し抽出を行うためのブックマークレットか何かを生成してくれる予定があるようです。APIも開発中とか。

同様のものにImport.ioというサービスが先行であり、機能的にも強力なのですが、こちらは月$199 からの有料サービスとなっています。Listly もユーザーが増えればいずれはお金を取りそうではありますが、今のところは登録等なく利用できます。

via Hacker News

「個人デイトレーダーの8割は赤字」取引情報共有サイトのデータを解析した人の話

Fri, 26 Aug 2016 00:00:00 +0000

eToro というヨーロッパの株取引サービスは、「ソーシャル・トレーディング」サービスです。ユーザーが取引情報を公開・共有できるようになっていて、さらに他のユーザーの取引を「コピーする」ことができるそうです。うまい成績を上げている人の取引をコピーすることで自分も儲けられる(かもしれない)、というのがウリなんでしょうね。

多くのユーザーの取引の結果が公開されていることから、ブログCuriousGnuの中の人は、「では平均的なユーザーはデイトレードで儲かっているんだろうか?」と思い、データを集めてその平均を調べました。eToroでデータを公開していたユーザーは83300人。それをヒストグラムにしたものが以下です。

横軸の0のところがプラスマイナス0、トントンですね。この時のデータでは、79.5%のユーザーがマイナスとなり、中央値の人で36.3%のお金を失っていたということです。

これでデイトレードのリスクが高い、と言うにはいろいろと突っ込みどころもあります。たとえば以下のようなもの。

eToroのユーザー (デイトレードの下手なユーザーが集まるサイトだったかも)
自分の取引を公開共有するようなユーザー (上手いユーザーは共有しないのかも)
ある過去12か月間のデータ (たまたまデイトレードの人に不利な環境の続いた12か月だったかも)
3回以上取引した人をデイトレーダーとしている (デイトレーダーの定義に必ずしもあわない)

株の売買をどんどんやってほしいサービス側はこんなデータを出さないでしょうから、見える範囲のデータでできることを調べるとすればこれぐらいが限度なのかもしれません。

via Hacker News

一年中快適な気温21℃で暮らしつつアメリカを周るための地図

Thu, 21 Jul 2016 00:00:00 +0000

天気ブログ Brian B’s Climate Blogのブライアンさんがデータから作って公開した北アメリカの地図は、「華氏70度(摂氏21度)の場所を辿りつつ旅行できる地図」(70°F Road Trip)

人が一番快適な温度を21℃と(仮に)決めて、快適な温度を外れずに移動すると、たとえばこんな旅程になる、というわけです。冬のテキサス、夏のアラスカはいい気候なんでしょうね。

気温が21℃の地域をアメリカの地図にプロットして、一年を見せた動画がこちら。

もうちょっと高い気温が好きな人のために、記事の最後では80℉(27℃)版の地図も追加公開されています。

日本は南北に長いので、例えば「桜の咲いている場所を追いかける」とかやれば同じ気温の土地を北上して暮らすことはできそうです。南下の時に桜のようにわかりやすい目印って何かあるでしょうかね。

旅館などを渡り歩くにしても、キャンピングカーなどを使うにしても、とてもお金の掛かりそうな話ですが。

via FlowingData

サインフェルドのアパートをDOOM上で再現したファン

Fri, 24 Jun 2016 00:00:00 +0000

アメリカのシトコム史上1,2を争う人気だったというコメディドラマ「サインフェルド」の主人公ジェリー・サインフェルドのアパートを、DOOM2 上で再現した人が現れました。

このアパートね。

4人のメインキャストも忠実に再現しているのですが、なにぶん元が殺伐としたシューティングゲームなので、その扱いはひどいことになっています。

作るのに100時間掛かった、というデータは、こちらからダウンロードできます。

フィクションの中の建物や風景をファンが再現する、というのは、VRの普及とあわせてこれからも増えそうですね。日本でフィクションだけど誰もが知っている家、とかはどこにあたるんでしょうか。

JOHN ROMERO

レンブラントの「新作」?が公開。データが描くプロジェクト The Next Rembrandt

Wed, 06 Apr 2016 00:00:00 +0000

The Next Rembrandtが、データ解析とコンピューターで作った「次のレンブラント(The Next Rembrandt)」の発表会を行いました。

「17世紀にレンブラント本人が描いたものです」と言われても素人には反論できないこの絵画ですが、多数のレンブラントの絵画データを基にしてコンピューターが作った「新作」です。

オランダ発(レンブラントの出身地)の巨大金融グループINGにマイクロソフトが協力したという、この The Next Rembrandt プロジェクト、18か月を掛けて、データ・サイエンティスト、エンジニア、美術史家らが結集し進められたということです。

サイトでは、大きく4つのフェーズに分けて、この「次のレンブラント」が作られたと解説されています。

1. データの収集

レンブラントのすべての作品を、高解像度3Dスキャナなどを使ってピクセル単位で精査し、データ化します。

ShootingTracker.com - アメリカの乱射事件データベース

Fri, 11 Dec 2015 00:00:00 +0000

ShootingTracker.com (射撃追跡.com)は、アメリカにおける大量射殺事件のデータベース(DB)です。

2013年からの銃を使った乱射事件のデータが、ネットユーザーからの報告ベースでまとめられています。

巨大掲示板redditの中の「GunsAreCool(銃は素晴らしい)」という、名前からして明らかに活発な論争を巻き起こしているテーマコミュニティ(subreddit) の中で、提唱されてまとめられているこのデータは、「世界でただ一つのクラウドソース型銃乱射事件追跡サイト(the world’s only crowd sourced mass shooting tracker)」として、各メディアでも取り上げられているということです。

ニュースなどで報じられた銃による乱射や大量殺人事件を、ウェブのフォームやtwitterで知らせてもらい、それをまとめることで網羅的なデータベースができ、それを逆に参照して記事に使うメディアも出てきています。

そもそものDB化の動機は、メディアがよく使う"Mass Shooting"(大量射撃)という用語の定義がはっきりしないことにあったようです。

古いFBIの"Mass Murder"(大量殺人)の定義は、「一度の事件で4人以上を殺すこと」。この定義を銃での"Mass Shooting"にも援用するなら、途中に間隔を置いての4人以上の銃撃殺人や、実際に2012年に起きた18人に乱射したけれど死亡者は1人だった事件は、「大量射撃」ではない。ということにもなります。

DBの管理者はまた、アメリカでの大量銃撃事件のメディアでの報道は「十分でない」と考えているようです。メディア側には、報道することで真似をして同種の事件が増えるという主張もあるようなのですが。

このデータを実際に使って、ワシントンポストがインタラクティブな可視化ツールを公開しています。

あなたの考える"Mass Shooting"が、m人以上の死亡者とn人以上の負傷者なら「大量だ」と思うのであれば、それをこのフォームで選ぶと、2015年に発生した条件にあう乱射事件が、その件数とともにリストされます。

FBI式であれば、2015年にはこれまでで40件の"mass shooting"が起こっていた、ということになりますね。どんな定義で数えても、日本では考えられない件数ではありますが。

このようなまとめデータは、実際に起こっている問題の規模や、それがメディアや政治等で過剰・過小に扱われたりしていないかをチェックするためにも有用なように思います。

英語で一番使われる(笑)はLOLじゃなかった - Facebookの統計データから

Fri, 04 Sep 2015 00:00:00 +0000

Facebook Research の Sarah Larson さんが発表したのが、メッセージやコメントなどで「笑っている状態」を表現する文字についての統計です。

英語で「笑っているよ」を表現する方法としては、LOL = laugh out loud = 大笑い、とか LMAO = laugh my ass off などが有名かと思います。でも、こんな略語が本当に良く使われているんでしょうか?

Larson さんは、5月最終週のFacebookの投稿・コメントを正規表現を使って集計し、全体の15%のユーザーがこういった(笑)表現を使っていたという結果を得ました。さらにその内訳はというと、

(chart image: Facebook Research)

このグラフのようになります。一番多かったのは"ha"、そしてそれを繰り返した"haha", “hahaha"などのグループ。日本語で言うなら、コメントした後に"ハハハ"と書くような感じですね。

次が絵文字系、そして"he”, “hehe”(ヘヘ)と続きます。

LOLは1.9% の使用で、50分の1ぐらい。見ないわけでもないけど、そんなにみんなLOLを使っているわけでもない、ということがわかりました。

Facebookだけのデータではありますが、Facebookの英語圏での普及率や使われ方を考えると、ネット一般で見てもそれほど傾向は違わないのではないかなと想像します。

via VentureBeat

公共交通機関の停車地からアメリカの都市を当てるクイズゲーム Guess the City by Transit Stops

Thu, 02 Apr 2015 00:00:00 +0000

アメリカ合衆国全土の電車やバスの路線データを収集し提供している、CNT運営のAll Transitが、路線データを使って作成したのがこのクイズ Guess the City by Transit Stops (バス停/駅から都市を当てよう)

このように、バスや電車の止まるところだけがプロットされている地図を見て、それがどこの街かを当てるクイズです。頻繁に停車するところは青色が濃くなるので、都市の中心地や主要道もなんとなくは見て取れますが。

上はレベル1の出題で、これぐらい特長があると行った事がある人や地図が好きな人にはわかると思いますが、一番上のレベル4になると、下に出てくる4択の都市からして聞いたことが無かったりしますし、路線も少なくて判別困難です。

同じようなデータがあれば、日本版のクイズを作ってみても面白いかもしれません。

via Maps Mania

東京人が一番眠りが短い - 腕輪センサーのJawboneが公開した各国の生活時間データがおもしろい

Fri, 26 Sep 2014 00:00:00 +0000

腕輪方のセンサーと、そのデータを使ったライフ・トラッキングのwebサービスを提供している Jawbone 社が、ユーザーから集まったデータを集計して世界各国の生活パターンの違いをまとめています。

上のチャートは一日のそれぞれの時間で、寝ている人の割合を都市ごとにプロットしたものです。

オレンジ色の線が東京のユーザーのものなのですが、他の都市の人たちと比べて、あきらかに寝ている時間帯が内側に寄っている=睡眠時間が短い、のがわかります。

平均して5時間46分、は、最も長いオーストラリア・メルボルンの6時間58分よりも1時間以上短いことになります。

5時間46分の睡眠は、いくらなんでも短すぎるようにも思えますが、これらの睡眠時間は、実際にベッドに入ってから出るまでの時間ではなく、Jawbone のリストバンドが検知した、ベッドの中で本当に寝入ってから目が覚めるまでの時間だということ。ベッドに入ってからもなかなか寝られない、という人は短めに出てしまうのですね。

明け方の4時半、東京では寝ている人の割合が一番高く、93%になります。7%の人はその時間に起きているということですが、ドバイはもっとすごくて、常に全体の10%以上の人は起きているそうです。

昼寝(シエスタ)のイメージがあるスペインで、マドリードの3%の人しか実際には昼寝していないのに、北京では6%の人が昼食のあとに昼寝しているとかも興味深いですね。

リンク先のブログでは、チャートで表示する都市をインタラクティブに選択できるので、興味のある方は自分でいろいろ触って比較すると楽しいかと思います。

「Jawbone のようなセンサーデバイスを使って自分の睡眠や活動を管理しようとする人」だけのデータなので、多少は偏っているかもしれないのですが、それでもお国柄の違いのようなものが見えてきて面白い可視化ではないかと思います。

via Flowing Data

アメリカ・メディアマップ - Twitterで共有される人気メディアとその地域性がわかるインタラクティブマップ

Fri, 04 Oct 2013 00:00:00 +0000

URL短縮サービスの大手 Bit.ly が公開したリアルタイム・メディア・マップ(Real-Time Media Map)は、アメリカ人がどんな新聞・雑誌・テレビ・オンラインメディアを読み、ツイッターなどで紹介しているかを一瞥できる、インタラクティブな可視化地図です。

オンラインニュース・ブログメディアの各州での一番人気を出したのが上の地図。地域により、一番読まれているメディアはバラバラですね。

現在最も読者が多いであろうハフィントンポストは、南部や中西部で強いですが、大都市圏ではあまり一番ではない様子。

起業やインターネットに強いTechCrunchは、シリコンバレーのあるカリフォルニアや、マイクロソフト、アマゾンなどが本社を持つワシントン州で強い。ライバルのMashableは、シカゴのあるイリノイやフロリダを押さえています。

首都周辺のバージニアやメリーランドでは政治系のニュースメディアPoliticoが一番。

エンターテインメント系のニュースの比率が多い印象のあるBuzfeedやTMZ、嘘のニュースで人気のThe Onion などは、田舎の州で強いようです。起業とかビジネスとかに興味のある人が割合的に少ないためなのでしょうね。

こちらはテレビ/ラジオ系サイトへの言及をまとめたもの。

南部で保守系のFoxが強いですね。ニューヨークやカリフォルニアではラジオ局NPRのニュースが多く言及されているようです。多くの田舎州で、イギリスのテレビ/ラジオ局であるBBCが一番話題にされているのは意外です。あと、ワシントン州でアルジャジーラが一位なのは何でしょうか。

元データが「Twitterユーザーでbit.lyでURLを短縮しているユーザーがつぶやくURL」に限定されているとはいえ、人気サービスですからそのツイート数は膨大なはずです。

「アメリカでは」といっても、地域によって人々に影響を与えるメディアは大きく違うのだなあというのがわかりますね。

via Maps Of The Most Popular News Outlets In Each State

[アメリカ] 男女性別不明なユニセックス・ネーム

Fri, 27 Sep 2013 00:00:00 +0000

データ処理に関するブログ FlowingData で紹介されていたのは、聞いただけでは女性か男性かわからない、どちらの性別でもつけられることがあるファーストネームの統計結果です。

1930年以降のデータで男性にも女性にもつけられてきた名前が、もっともどっちつかずだった順番に第1位のジェシー(Jessie)から並べられています。青いのが男性の、赤いのが女性の子供にその命名がされた割合を示しています。白い丸は、その名前の男女比が最も均衡していた、一番半々に近かった年を表しているそうです。

日本でいうと、「かおる」とか「ひろみ」、「あきら」、「しのぶ」といった名前にあたるでしょうか。英語の中性的な名前がどれか、なんて考えたこともなかったので、リストを順番に見るだけでも面白いです。

上から、ジェシー、マリオン、ジャッキー、アルバ、オリー、ジョディー、クレオ、ケリー、フランキー、グァダループ、キャリー、トミー、エンジェル、ホリス、サミー、ジェイミー、クリス、ロビー、トレーシー、メリル、ノエル、レネ、ジョニー、アリエル、ジャン、デボン、クルズ、ミシェル、ゲール、ロビン、ドリアン、ケーシー、ダナ、キム、シャノン。

このような両性的な名前の人は、すべて合わせてもアメリカ人全体からみれば1%にも満たないということですが、聞いたことがあるような名前も含まれていますね。

日常的にアメリカ人と多く接したりしてなければ、日本人が持つこれらの名前に対する性別の印象は、歌手や映画俳優などの外国の有名人に影響されるのではないでしょうか。僕だったら、「ジャッキー」は男、「ジョディー」は女、「マリオン」は女、「フランキー」は男、と思い込んでしまいそうですが、それぞれ、かなりの割合で、その名前で反対の性の人が存在することがわかります。他に、エンジェルは男性の方が多いとか、女性のサミーが半数近くになってきているとかも、僕の感覚とは違っています。

アメリカ人たち自身の子供の命名についても有名人の影響というのは同じようにあり、その名前を持った有名人の活躍で、これらのユニセックスな名前が、ある時突然一方の性別に偏っていくことがグラフからもわかるようです。グラフ中にも特記されていますが、陸上選手のマリオン・ジョーンズのオリンピック金メダル獲得は女の子のマリオンを増やしたし、初の黒人メジャーリーガー、ジャッキー・ロビンソンの登場は、男の子のジャッキーを増やしています。

24位のアリエル(Ariel)は、ディズニーの人魚姫から僕も女性の名前だと思い込んでいましたが、映画の公開までは男性の方がむしろ多く、映画から後に大きく女性の方に振れたのですね。40歳以上のアリエルさんは男性で、40歳以下のアリエルさんは女性が多い、ということのようです。

Googleの特殊検索にケビン・ベーコン数が登場

Thu, 13 Sep 2012 00:00:00 +0000

天気や単位・通貨の変換などを検索ボックスから直接呼び出せるグーグルの特殊な検索がありますが、これに新しくベーコン数を調べる検索機能が追加されました。

ベーコン数とは? ハリウッド俳優ケビン・ベーコンとの距離を表す数です。俳優ケビン・ベーコンと直接共演したことがある俳優は、ベーコン数1となります。ベーコン本人と共演したことはなくても、そのベーコン数1の俳優と共演したことがあれば、ベーコン数2。ベーコン数5という俳優は、間に4人の俳優を挟んで辿らないと、ケビン・ベーコンに辿りつけない俳優です。

なんでケビン・ベーコンなのか、についてはLong Tail World: ケヴィン・ベーコンとベーコン数：Average Kevin Bacon numberで詳しく解説されています。任意の俳優についてベーコン数を調べるサービスはこれまでもあったのですが、今日グーグルが追加したのは、グーグルの検索ボックスからダイレクトにこのベーコン数を調べることができる、“bacon number (俳優名)“というキーワード。 bacon number sonny chiba と入力すると、ソニー千葉のベーコン数は2 ソニー千葉とジェームス・アール・ジョーンズは武士道ブレードで共演ジェームス・アール・ジョーンズとケビン・ベーコンはザ・マジック7で共演どちらの映画も知りませんでしたが、たしかに2作品で千葉真一からケビン・ベーコンにたどり着けるようです。 bacon number ken watanabe の結果はこれ takeshi kitano、yuki kudo、takuya kimuraとかseiko matsudaもベーコン数2ですね。どっからでもつながるなあ。残念ながら、日本語で「ベーコン数渡辺謙」とかやっても結果は出ないようです。日本のグーグルだとそもそもベーコン数の結果が表示されませんし、ベーコン数算出の元データも、たぶん英語の映画中心のデータベースでやっているのでしょうから、ローマ字で入れても日本の映画しか出ていない日本の俳優では出てこないことが多いのが残念なところ。ぜひ日本のデータも増やしてもらって、日本語でもベーコン数が出てくるようになるといいですね。 via Google builds Six Degrees of Kevin Bacon into its search system | Film | guardian.co.uk

ツイッターのつぶやきの言語と座標から作られた、世界の生きた言語地図

Fri, 28 Oct 2011 00:00:00 +0000

ツイッターのつぶやきの言語と座標情報を集めて、言語ごとに異なる色でプロットした世界地図。作者はEric Fischerさん。この人は、2010年にデジカメ画像の位置情報を集めて「旅行者」と「現地人」をプロットし、世界各都市の観光地を可視化する、というのをやって話題になった人ですね。ヨーロッパの様子。言語の切れ目でぼんやりと国境が見えてきます。カタランとかスイスとか旧ユーゴとか、面白いですね。こちらが日本周辺を切り出したもの。海上の座標でつぶやかれた日本語のツイートがけっこうあるような。GPSの精度の問題か、漁船やフェリーとかからつぶやく人がそんなにいるのか、理由はわかりませんが。あと台湾の中国語の色が日本語の色と似てるのがまぎらわしいです。つぶやきの言語を判定するには、言語判定のライブラリを使っているそうです。ちなみに、文字列からそれがどの言語かを推定する言語判定ライブラリとしては、サイボウズ・ラボでも中谷さんが開発しているLanguage Detectionライブラリがあり、これ検出精度もかなり高いようです。もし上記のような地図など作ってみたい方がいたらぜひ試してみてください。 via Language communities of Twitter

データ on akky@サイボウズラボ・ブログ

Stack Overflowがネット環境の無い所でも回答群にアクセスできるオフライン利用プロジェクトを発表

Felt - 地図を作製・共有するためのWebサービス

Making History Sandbox - 世界の勢力図を編集できるブラウザエディタ

Desirable Streets - 人々が好む歩行ルートを示す地図

先住民族地図

names.io - 徹底的な?姓名データベース

欧米のラウンドアバウト率をオープンデータから求める

Citylines - 世界各都市の公共鉄道網の変遷を見られる歴史地図

アメリカ銃乱射地図

地名に強く関係した有名人で描いたアメリカ地図

AWSの日本サーバのIPアドレスのリストを得る

中国版ツイッターWeiboで"N"が検閲される

イギリス中の自転車事故などを地図上で一望できるwebサービス

元データは国によるもの

Listly - ウェブページからデータを抽出してExcelファイルにしてくれるサービス

「個人デイトレーダーの8割は赤字」 取引情報共有サイトのデータを解析した人の話

一年中快適な気温21℃で暮らしつつアメリカを周るための地図

サインフェルドのアパートをDOOM上で再現したファン

レンブラントの「新作」?が公開。データが描くプロジェクト The Next Rembrandt

1. データの収集

ShootingTracker.com - アメリカの乱射事件データベース

英語で一番使われる(笑)はLOLじゃなかった - Facebookの統計データから

公共交通機関の停車地からアメリカの都市を当てるクイズゲーム Guess the City by Transit Stops

東京人が一番眠りが短い - 腕輪センサーのJawboneが公開した各国の生活時間データがおもしろい

アメリカ・メディアマップ - Twitterで共有される人気メディアとその地域性がわかるインタラクティブマップ

[アメリカ] 男女性別不明なユニセックス・ネーム

Googleの特殊検索にケビン・ベーコン数が登場

ツイッターのつぶやきの言語と座標から作られた、世界の生きた言語地図

「個人デイトレーダーの8割は赤字」取引情報共有サイトのデータを解析した人の話