Python on akky@サイボウズラボ・ブログ

OpenAIとStreamlitを使ったAIツイート自動生成サイト with ソースコード

Thu, 01 Dec 2022 00:00:00 +0000

OpenAI GPT-3 APIを呼び出して、お題に沿った適当なツイートを生成するwebサイトが、ソースと共に公開されています。

指定するのは3つ。

Topic: 語らせたい話題 Mood: どんなムードで語らせるか ([使える形容詞の一覧)](https://github.com/kinosal/tweet/blob/main/moods.txt) Twitterアカウント名: 既存のtwitterユーザーの最近のツイートを真似させる

Mood と twitterユーザーはオプションなので、topic だけでも何かしら作ってくれます。

例えばで以下のように入力してみました

Topic: Dropkick on my devil Mood: dreamy, happy, relaxed, tender Twitter: イーロン・マスク(elonmusk)

で、生成されたのがこれ

Just watched an episode of #DropkickOnMyDevil and it made me feel so relaxed and happy - it’s the perfect way to end the day 🌃✨ (邪神ちゃんドロップキックを観たとこ。とてもリラックスしてハッピーな気分になった。パーフェクトな一日の締めくくりだ)

模倣対象とムードを変えると、まったく違うツイートが出来上がってきます。

Topic: Dropkick on my devil Mood: inspirational, thoughtful, dignified Twitter: アメリカ大統領(potus)

バスケットボール中継のハイライト動画をPythonで作る

Wed, 17 Aug 2022 00:00:00 +0000

Python で NBAハイライト動画を自動生成するという記事が面白かったのでご紹介。

ゲームをまるごと観戦する暇がない時、ハイライト動画を見て済ますスポーツファンは多いでしょう。ハイライト動画は球団やテレビ局などが編集して出してきますが、必ず見られるわけでも、自分が見たい粒度のハイライト動画が必ずあるわけでもないかもしれません。

ノーム・エフラットさん(Noam Ephrat)が自分だけのハイライト動画を自動で作るために使ったのは、Python、NBA公式のAPI、録画したゲーム動画、OCRライブラリ。

NBAのAPI(参考) では何分何秒にどちらのチームの誰がどういうプレイをして、シュートが入ったとか外れたとかいうプレイバイプレイ(play-by-play, PBP)の情報が公開されています。日付、ゲームID、ピリオド(クオーター)を指定するとJSONが返ってきます。これが一つ目の要素。

https://data.nba.net/data/10s/prod/v1/20220201/0022100784_pbp_1.json

そして、録画した動画をフレームごとに切り出して、中継中に表示されたゲーム時計の部分を OCR ライブラリの Tesseract でピリオドやゲーム時間を抽出します。これが二つ目の要素

あとは、プレイバイプレイの重要シーンの発生した時刻に合わせて、動画のフレームを切り出し、切り出したところをつなげていくと、ゲームが動いたところだけがまとまったハイライト動画を作ることができたということ。

ざっと見てみて、プレイバイプレイのデータにあるところだけだと、どうしても点が増えたシュート成功の場面が多くなるのかな、とも思いましたが、人間が編集したハイライト動画でも成功シーンが多いので気のせいかもしれません。

作ったハイライト動画を公開するのは著作権的にだめだと思いますが、個人でハイライトを作って観るのは問題なさそうでは。

自分の基準で抜き出すところを選べるからには、

ひいきチームの得点シーンばかりを集めたり
応援する特定の選手の絡むシーンだけを集めたり
点差や時間を考えて、より劇的にゲームが動いたシーンだけを集めたり(これは人が編集する時と似た結果になるかも)
自分の使える時間に応じてハイライト動画の長さを指定して変えたり

など、よりパーソナライズされたハイライト動画を作れる可能性もありますね。

バスケットボールという競技が特に時計が重要で、常時正確な時刻が中継に表示されていることや、APIで提供されるゲームログにも時刻情報がふんだんに含まれているという点も、うまく自動生成にマッチしているというのもありそうですね。

Load of the Codes - プログラマ向けテキストアドベンチャーゲーム(序章)

Mon, 24 Jan 2022 00:00:00 +0000

Lord Of The Codes は、RPG風の中世世界を舞台にしたテキストアドベンチャーゲーム。パズルを解くことで先へと進むゲームです。

偉大な魔術師コナルド・ドゥヌース(Konald Dnuth。どっかで聞いたような名前)と組んで迷宮を進むあなたは、物語の中に出てくるヒントから、謎を解いて入力し、正解することで先へ進むことができます。

ページにはReplitによる Python インタプリタ環境が埋め込まれていて、これを使って謎を解いても構いません。手元で他の言語で解いても、あるいは暗算(!)で解いても、正答さえ入れれば先へ進むことができます。

現在、2問答えるともうゲームは行き止まりで、メール登録フォームが案内されます。登録すると完全版が公開された際に優先で案内されるみたいです。

ずいぶん初期の段階で公開したものだな、と思いますが、反響があればこの先が作られやすいかもしれませんね。

via reddit

Wordle(ワードル)必勝法

Fri, 14 Jan 2022 00:00:00 +0000

twitter など SNS での拡散力が強くて急速に話題となってきた英単語当てゲーム Wordle(ワードル) 、もう遊びましたか?

6回の試行から回答の単語に含まれるアルファベットの種類と位置を絞っていくというクイズゲームですが、「英単語」という片寄りのあるデータ群から推測するというゲームの性質から、どのようにすればより早く答えにたどり着けるかということを考える人も多いようです。

カリフォルニア大アーバイン校でCSを学ぶスペンサー・チャーチル氏(Spencer Churchill)は、Wordle で使われるすべての英単語のリストと Python スクリプトによって、できるだけ早く Wordle の正解にたどり着きたい人のための最善初手・二手を絞り込んでいます。

使われている文字を特定するほど次の回での絞り込みが進むのですから、できるだけ早い段階で多くの文字を試すのが有効かと思われます。

英単語には良く出てくる文字、あまり出てこない文字があるのですから、良く出てくる文字を5文字使った単語が、一番絞り込みができる良い初手ということになります。

チャーチルさんはまず、すべての対象単語を集計し、最も出現頻度の高い方からのアルファベット・リストを得ました。

次に、頻度の高い方から5文字ずつを選び、その5文字で構成される単語をスクリプトに出させます。

最速のための5文字の単語が複数あったため、こんどはそれらの中でもっとも有利な単語はどれか考えます。アルファベットの登場の有無だけでなく、アルファベットの正しい位置がわかる方が正解に近づくため、こんどは位置を含めて最も出現頻度が高いものを抽出すれば、これが最も有利な初手となるというわけです。

ブログで提示された最善の初手・二手を使って今日のWordle を解いてみたところ、2段目にしてかなりの絞り込みができ、4回目で正当にたどり着くことができました。

このブログ記事を紹介するHacker Newsの掲示板では、他にも理想の初手を考えていたいろいろな人たちからのコメントが集まっています。ORATE(演説する), SLATE(粘土板), SAUTE(炒める), AESIR(アース神族) などなど各自の考えるベスト・オープニングが紹介されていました。

また、人力であれば今回のような初手・二手目を覚えておくぐらいが関の山ですが、その場でプログラム的に解くのであれば当然、初手の結果を見てベストな二手目は変化しうるはずです。これを含めてのソルバー作りもプログラミングの課題として面白いのではないでしょうか。(ソルバーを作ってる人も当然いますね)

Hacker News

オープンソースプロジェクト内のTODO個数調査

Mon, 17 May 2021 00:00:00 +0000

マーティン・シュライスさん(Martin Schleiss)がブログで公開したのが、Linux をはじめとする巨大オープンソースプロジェクトのソースコードにおける「やらないといけない」あるいは「後で考える」マークである“TODO"の個数の移り変わりをグラフ化したものです。

基本的には、プロジェクトの年月が重なるほど、コードに書かれた TODO の個数は増えていくようです。上の PHP のグラフでは、メジャーリリースや通常リリースの時期の少し前に TODO が増えているようにも見えます。

プロジェクトによっては単調増加ではないものも。Rust は TODO の個数自体が少ないように見えるし、途中で数個まで減っている時期もあるので、意識的に TODO の解消を目指したりしていたのかもしれません。

Next.js 、version 10 と 10.1 のどちらのリリース時期でもなく、突然増えています。

ブログ記事では言語処理系やライブラリなど、有名なもの20個弱についてグラフ化されています。

プロジェクトの規模、歴史の長さによってもTODO の個数は変わりますが、規模や歴史と無関係に多い少ないもあったりもします。シュライスさんはTODO が有ることはどのオープンソースプロジェクトにおいても貢献をする余地があるということだ、と言っています。あなたが良く使っているツール/ライブラリのTODO は増えているでしょうか?

Pythonによる自動化の結果、ニューヨーク中でタダメシが食えるようになったエンジニアの話

Fri, 26 Apr 2019 00:00:00 +0000

いかにして私はPython/自動化/AI/インスタグラムを使いニューヨーク市で無料の食事をできるようになったか(How I Eat For Free in NYC Using Python, Automation, Artificial Intelligence, and Instagram)という記事が面白かったのでご紹介。

ニューヨーク在住のデータサイエンティスト、クリス・ブエッティさん(Chris Buetti)が明かした、3万フォロワー超の人気アカウントを育てた秘密。

View this post on Instagram

データサイエンス/ソフトウェア開発の知識、自由な時間とインスタグラムの知識があれば再現可能だといいます。

トップ100万ウェブサイトのrobots.txtを解析した人とその結果

Fri, 24 Nov 2017 00:00:00 +0000

An Analysis of the World’s Leading robots.txt Files(世界のリーダーたちの robots.txt ファイル)というブログで、世界の上位100万サイトの robots.txt を解析したベン・フレデリクソンさん(Ben Frederickson)の話が出ていました。

フレデリクソンさんは、解析結果から、3つの面白い気づきを紹介してくれています。

Googlebot にしか見せないサイト

Googleボット以外のすべてのボットを拒否する、という設定のサイトは意外に多いそうです。

大手サイトでは例えば、フェイスブック(robots.txt)が厳しいということ。実際に見ると Apple や Baidu など有名どころのクローラーはいくつか受け付けているのですが、基本的には「その他は不許可」という指定をしています。

アメリカ国勢調査のサイトも、Google, Yahoo, Microsoft の3社のbotしか受け付けておらず、例えば真剣にGoogle の対抗馬を目指しているような DuckDuckGo の bot はアクセスできません。

記事中に、主要言語ごとの人気サイトで DuckDuckGo のクローラを許すかどうかの表があるのですが、かなり多くのサイトがアクセスを禁止しています。DuckDuckGo を排除しているというわけではなく、よく知らないものやマイナーなものはすべて不許可、という態勢ですね。

今後、新しい検索エンジンや、その他のクローラーを使ったサービスが出てきても、多くのサイトはアクセスが禁止されているのが現状ということですね。

みんながブロックするクローラー上位ランキング

より多くのドメインで拒否されているクローラーは何だろう? という集計もしています。一番人気は MJ12bot 。続いて AhrefsBot, Baiduspider, Nutch… と続きます。

日本語のブログでも、このあたりの bot を止めたい、アクセスが多すぎて困る、という記事を見かけるので、いろいろなサイトの運営者が迷惑と思っているのでしょう。Google bot なら見に来ればその後の実ユーザーの来訪も見込めますが、ユーザーを連れてこないのにボットに絨毯爆撃のようにアクセスされても困るだけですからね。

サイトを丸ごとダウンロードするようなツールの bot も、禁止リストに入っていることが多いそうです。

robots.txt で求人

Pinterestなど、robots.txt のコメントで人間向けの勧誘をしているサイトも多いようです。

ピンタレストは採用中!(Pinterest is hiring!)

ロボット用のファイルを読んでいるあなたがもし人間なら、デジタルオーシャンで働くべきだ

私たちもロボットは好き。私たちとボットについて語り合いましょう(Angel.co)

HTMLのコメントにもこういうのありますが、実際これで採用につながることってあるんですかね?

ソースコード

Pythonで書かれた robots.txt クローラのコードは Github で公開されています。

via Hacker News

Baby Buddy - オープンソースの赤ちゃん管理システム

Fri, 27 Oct 2017 00:00:00 +0000

Baby Buddy は、Python で書かれた、乳児の世話に関する事柄を記録・管理できるwebベースのツールです。

デモサイトを見る感じでは、「授乳」「睡眠」「おむつ交換」「腹ばい練習(tummy time)」について、それぞれやった時に記録を取り、その結果を参照できるようです。

たとえば、おむつ交換の追加では、世話している子供の名前(複数の乳児を管理できます)や、交換した時におむつが濡れていたかどうか、そして便の色、などを入力させられます。

授乳では、母乳かミルクか、母乳ならどちらのおっぱいか、飲んだ量、などが、時間とともに記録されます。

# 自分の時は紙のノートに記録してたのを思い出しました。

一人ですべての面倒を見ているような、いわゆるワンオペ育児ではそれほど記録の必要もないかもしれませんが、うちのように夫婦で時間をずらしてカバーするとか、ベビーシッター等を含めて複数人で面倒を見ているところだと、誰がみても直近の過去の状態がまとまって見られるというのはいいことだと思います。多数の子供を登録して、保育園のような事業者が使うというのも考えられるでしょうね。

Hacker Newsのコメントによれば、この手のアプリとしてはスマートフォンアプリの Baby Connect が有名なようです。こちらは日本円だと600円の有料アプリで、さすがに機能も多く、UIもこなれているようです。

そういう市販のアプリを使うのでもいいのですが、オープンソースでコードがGithub に上がっていることから、自分と家族に特有の何かを追加で記録したいとか、欲しい機能を自分で追加提案できるという点で、この Baby Buddy も面白いかもしれません。

今は人力で毎回入力するしかないですが、センサーや音声入出力などを組み合わせることで、さらに育児の手間や負担を減らすようにしていくことも可能でしょうね。

via Hacker News

マジック・ザ・GIFニング - 面白動画を載せたMtGのカードを生成するプログラム

Fri, 13 Oct 2017 00:00:00 +0000

カードゲーム「マジック・ザ・ギャザリング(MtG)」のデータを使ったネタプログラミングが Hacker News で話題となっていました。

Pythonで書かれ、GitHubで公開されているこのツールは、MtGのカードのタイトルに合った内容のアニメーションGIFを埋め込んで、MtGのパロディカードを生成するというプログラム。

生成したカードを定期的にツイッターにつぶやく bot 機能も持っていて、作者自身によるデモアカウント@MTGIFening では、6時間おきに一枚、新作カードが自動投稿されています。

ハウル・フロム・ビヨンド(彼方からの雄叫び)というカード名から生成されたのが、こちらのカード

pic.twitter.com/sxqKUYHmfv
— Magic: The GIFening (@MTGIFening) September 30, 2017

なるほど、雄たけんでるように見えなくもない。

仕組み

Readme/ソースによれば、このツールの仕組みはこんな感じ。

カードデータの入手

MTG JSONで提供されている、全カードのJSONデータを取得する。そんなデータが有志によって管理されているんですね。これもGitHub上で管理更新されているようです。日本語データファイルもありました

ここからJSONファイルをダウンロードし、それを前処理のスクリプトで必要なレコードのみのcsvを作り、それを使って動いています。

ネタになるアニメーションGIFの入手

アニメーションGIF版 YouTube、みたいなサイトGIPHYにAPIが提供されていて、その中にキーワード検索APIもあるので、ランダムに選んだMtGのカードのタイトルを食わせています。タイトルによってはGIFが見つからない場合もあるみたいですが、その時は見つかるまで繰り返しています。

“MtG"で検索して最初にでてきたのがこれ。

オリジナルのカード画像に、GIFをはめ込む

MtG公式からカード画像を取得し、MoviePyライブラリで、動画の各フレームを書き換えているようです。カードの世代によって画像の位置やサイズが違うので、世代にあわせて埋め込み座標を変えたりもしています。

ツイートする

PythonでTwitterを読み書きするTwythonを使い、生成されたGIFをツイッターに投稿させています。

これらをパッケージする Docker ファイルも置いてあり、自分の環境で簡単に再現できます。ツイッターに投稿するところは動かしませんでしたが、ローカルで動かしてみてできた画像がこちら。

https://labs-staging.31tools.com/blog/akky/wp-content/uploads/2017/10/mtg_gif.mp4

コードも完結で短く、データやAPIを組み合わせてうまく作ってるなと思いました。

via Hacker News

Anyprint - いろんな言語のprint命令がPythonで使えるライブラリ

Fri, 21 Jul 2017 00:00:00 +0000

ライブラリ anyprint をインポートするだけで、Python で以下のような出力文が書けるようになります。

printf("printf %d\n", 10); fmt.Println("hello") cout << "Hello, C++!" << endl; Print["Hello from Mathematica!"] console.log("yes"); io.write("lua land") System.out.printf("java stuff\n"); System.Console.WriteLine("C# looks awkard"); Ada.Text_IO.Put_Line("Ada is cool") IO.puts("elixir")

現在サポートされている他言語は、go, Java, VB .NET, C(とその類似言語), ActionScript, Ada, Amiga E, ASP, B, D, PureBasic, Clipper, C++, C#, Delphi, JavaScript, Lua, Mathematica, matlab, nim, Pascal, Pike, Elixir のようです。

Objective-C の NSLog, Ruby のp はプルリクエストが出ています。Closure風と Rust風は Python の中では難しいと作者が答えていますが、誰か解決できる人がいたら挑戦してみてはどうでしょうか。

Pythonがメインの言語でない人でも、これを入れておけば自分の慣れた方法でprintできますね。

利用者からの推薦文が載ってますが、味わい深いです。

「おかしいよあんた」
「馬鹿馬鹿しいし役立たずだ」
「僕の推薦文を追加してよ『なんて正確な推薦文たち』」
「kragniz, おかしなPythonのメタモジュールばっかり公開するのはよせよ」

via Hacker News

Pokémap - Pokemon Goのポケモン・ジム・ポケストップを可視化する勝手ツール

Wed, 20 Jul 2016 00:00:00 +0000

アメリカ人をトリコにし、任天堂の株価を倍に押し上げた位置情報ゲーム「ポケモンGo」、日本での今日のリリースが2ちゃんねる経由マクドナルドからのリークで延期になった、とかいう話も(本当かどうかわかりませんが)流れて来たりと、これから日本でも熱くなりそうなところです。

Pokémapは、Ahmed Almutawaが始めたばかりのツール開発プロジェクトで、ポケモンGo に出てくるポケモン達、アイテムを得られるポケストップ、奪いあうポケジムなどゲームを簡単に進められるようにする重要情報を、Google Mapベースの地図に表示してしまうというPython製ツールです。

現在のツールはプログラマでないとセットアップがたいへんそうな作りになっていますが、こんなツールで地図が見えてしまうと、一般のユーザーとの競争はかなり簡単になってしまうのではという心配もあります。

各データは Niantec 社のサーバとの通信を見て取得しているようなので、早晩、通信方法が変更されたり、暗号化されたりするのではと思いますが、熱心なユーザー&開発者が2日間で50人近く contributor として集まったそうで、GitHub 上のプロジェクトページでは一時的にプルリクエストを受け付けませんという表示がされています。

via The Verge

プログラミング言語TrumpScript

Fri, 22 Jan 2016 00:00:00 +0000

TrumpScript は、高名なドナルド・トランプ氏を基にした新たなプログラミング言語です。現在のプログラミング言語の中に、トランプ氏の豪華な金髪バーコードヘアにも気に入られるような言語が無いことから制作されました。

https://www.flickr.com/photos/80038275@N00/17008571157/

特徴

浮動小数点数無しで整数のみ。アメリカに中途半端はありません
数は100万以上に限ります。それ以下の数字は取るに足らないからです
import はできません。すべてのコードはアメリカで作った国産でなければなりません
True/False(真/偽)ではなくfact/lie(事実/嘘)を使います
良く知られた、トランプ氏の好きな(2000個ちょっとの)英単語のみ。立候補者の名前は変数として使えます
ほとんどのエラーメッセージはトランプ語録から採用されました
プログラムは「アメリカは偉大だ(“America is great.")」で終了しなければなりません
TrumpScriptはそのままではWindowsで動きません。なぜならトランプ氏はPCを信じるような男ではないからです(註: PC=パソコン、と、PC=政治的正しさ、をかけてます)
大文字小文字は完全に無視します

文法

文法の方はというと、演算や条件文についてはおおむね普通のものが用意されていて、TSの記法を覚えればすぐ書けるでしょう。

is や are は代入。?で終われば比較になります
make America great で、America に great を代入できます
tell や say で出力できます
as long as でループします
不要な単語は全部無視されるので、うまく使えばかなり自然な演説文と両立させられます

トランプ氏が失敗について語りたがらないのと同様に、プログラムは多くの場合静かに失敗します。デバッグをゲーム的に楽しんでください。

実行

テストファイルがいくつかあるので、まずはこれを試してみるのがいいかもしれません。

ヒラリー・クリントン氏とのディベートを再現したスクリプトを動かすと、こうなりました。

元ネタがわかりません。まだ直接対決はないと思うので、コメントか何かで応酬した時のものでしょうか。

テストスクリプトには手元ではエラーになるものも多いです。

また、エラーになるのが正しいものも。not_english.txt では、スペイン語で書かれたスクリプトに対して、

「ここは英語で喋る国だ(“This is a country where we speak English”)」という例外が発生してます。

懸賞ツイートをプログラムで自動リツイートさせて、1000個の賞品を獲得した話

Wed, 05 Aug 2015 00:00:00 +0000

ハンター・スコット(Hunter Scott)さんは、「ツイッターでリツイートしてくれたら抽選でプレゼントしますよ」という、いわゆるリツイート懸賞がツイッターに多数流れていることに気づき、自動でそのようなツイートをリツイートするスクリプト(ボット)を開発、走らせ続けることで1000個近い賞品に当選しました。

その経緯は“Twitter Contest Winning as a Service”(サービスとしてのツイッターコンテスト当選)というブログ記事でまとめられています。

リツイート懸賞の勝率は?

9ヶ月間走らせていたこのPythonスクリプト、結果的には165,000件の懸賞ツイートをリツイートしたそうですが、当選したのが約1000件。当選率は0.6%、165回リツイートして一つ当たるぐらいということになります。

せっせと見つけては手動で応募している人も同じような確率だとすると、さてリツイート懸賞は労力に見合うものなんでしょうかね。

スコットさんが指摘するように、この当選の中には「あなた向けにカスタマイズしたTwitter用ロゴ」や「壁紙」「電子書籍」などデジタルのものも多数含まれるので、価値の高い賞品が貰える率となるとさらに低くなることでしょう。

気になる約1000件の獲得賞品リスト

獲得賞品のリストはこちらで紹介されています。「約1000件」と書かれていますが正確な行数では984行。

ロゴなどのデジタルデータ、オンラインゲームの仮想ポイント、など以外に賞品リストに多く出て来るのが「チケット」。映画やコンサートなどのチケットですが、その多くが外国のもの等だったということで、当たっても行けていないそうです。

受け取った賞品の写真がこちら。

(credit: Hunter Scott)

この中での一番のお気に入りは、聞いた事も無いメキシコのスターのサインが入ったカウボーイハットなんだとか。

もっとも高額なプレゼントはニューヨークでのリムジン・観劇・ペアで $1000 のおこづかいを含む $4000 のパックでしたが、ニューヨークの近くに住んでないことと、 $4000 を収入として申告したくなかったことから、受け取らなかったそうです。

これからやる人のためのコツ

スコットさんはPythonスクリプト自体は公開していないものの、試行錯誤した経験から気をつけるべきところを教えてくれています。

フォローしないと応募したことにならないリツイート懸賞が多いので、リツイートするだけでなくフォローすること。
他の応募者のリツイートではなく、正しいオリジナルを探させること
リツイートやフォローの頻度が上がるとbanされるので間隔を調整すること
一般的なフォロー上限の2000を超えないように、FIFOで昔フォローしたものから外すこと
当選の連絡はDM(ダイレクトメッセージ)で来ることが多いが、DMにはスパムも多数来るようになったので、当選したものを探す作業はそれなりに大変
単にフォロワーを増やしたいとかで、嘘の懸賞をでっちあげるアカウントもいる。でも気にすんな!

この方針で、APIから見つけたすべてのリツイート懸賞に応募(フォロー&リツイート)することが出来たということです。

感想

日本でも「フォローしたら」「リツイートしたら」抽選に参加、というプロモーションはそれなりにやっていますが、ツイッターの認証をさせた上で個人情報を書かせたり、先方にツイートする権限を与えたりしないといけないものも多く、上のようなスクリプトで応募できてしまうものがそんなに多いかどうかは疑問です。

また、英語の利用はユーザー数も国の数も多いので、リツイート懸賞も多いだろうというのもあるでしょう。その結果、貰っても行けない賞品も多かったわけですが。

今回のこの体験談がきっかけで、単純なリツイート懸賞をやるのを再考する企業も増えるかもしれません。

ですが、スクリプトを流しておくだけなら電気代ぐらいしか掛かりませんし、たとえ今回の0.6% が0.06%になろうとも、やるだけやってみても損はしないんでしょうね。

via Hacker News

Skypeチャットの履歴を保存する

Thu, 05 Feb 2015 00:00:00 +0000

Skypeといえば、元々のコンセプトであるP2P方式から、中央サーバ型への移行が少しずつ進んでいるみたいですね。

昔はSkypeを始めた頃まで無限にチャットログを遡れたのですが、ある時点からはこちらも制限が掛かり、大昔のチャットログにはアクセスできなくなってしまいました。

さて今回、スカイプのチャットルームの過去の発言からちょっと複雑な検索をしようとして、準備として「全選択→コピー→エディタに貼り付け」しようとしたのですが、どうしても発言一個分しかコピーされてきません。昔はできたと思うので、Windows版クライアントの仕様が変わったんでしょうか。不便です。

クライアントからチャット履歴が取れないとなると、他の方法を使わないといけません。チャットログのファイルはディスク上にあり、sqlite形式のファイルみたいなので、sqliteのDBが開けるツールなら何でも使えば開くことはできます。

汎用のsqliteクライアントでもいいのですが、Skyperiousは、スカイプのチャットログに特化した、過去ログを閲覧・加工するためのツールです。

一対一でチャットした相手や、グループチャットの一覧が出て、選択すると過去ログが表示されます。コピーも自由ですし、ファイルへの書き出しもできます。

緑のiマークを押すと、チャットの統計情報も出してくれます。グループチャットで良く発言している人の発言の数や割合、ファイルの送受信数、良く使われている単語、などが見られます。

GithubにはPythonのソースコードも公開されており、一応ツールのソースを確認することができます。(とはいえ、配布されているバイナリだけに何か入ってても責任取れないので、利用は自己責任でよろしく)

マイクロソフトがSkypeクライアントの機能を削ったのにも彼らなりの理由は何かしらあるのでしょうけど、TwitterやFacebookなどでも自分のデータは書き出せるように(いろいろなユーザーが要望したのが効いて)なっていますし、自分のチャットログは自分のものだ、というのはそんなに不思議な感覚ではないと思うんですよね。できればこういったツールに頼らなくても自由に使えるように、公式クライアントが改善されるといいのですが。

via Ask Ubuntu

自前のメールサーバーを使っていても多くのメールはGmailユーザーの友人経由でGoogleに捕捉されている、という話

Tue, 13 May 2014 00:00:00 +0000

自分の電子メールは自分のサーバで管理し、プライバシーを守りたいとしてきたベンジャミン・ヒル(Benjamin Marko Hill)さんが、Gmailのサービスが開始した2004年からの10年間の自分のプライベート用メールアドレスのメールボックスを解析してみたところ、近年では1/3から半分近くのメールがGmailのサービスにも知られている、という結果が出たそうです。

ヒルさんは、ネットの検閲に反対するなどの活動で知られる電子フロンティア財団(EFF)のディレクターでもある友人のピーター・エカーズリーさんがGmailを使っていることを知って驚き、「Googleにすべてのメールデータを持たれていてもいいのか?」と尋ねたところ、エカーズリーさんが「友人が全員Gmailユーザーなら、結局自分のメールもGmailに把握されてしまっているから」と答えたことをきっかけに、自分の過去のメールがはたしてGmailを経由しているかどうかを調べる気になったということです。

メールボックス内のメールのFromやToを解析し可視化するPythonとRのコードは公開されています。

毎週受け取ったメールの総数(赤)と、そのうちヘッダからGoogleのサーバーを経由していたとわかったメールの総数(青)をプロットしたものが上のグラフです。毎週の変動が多いですが、グレイでプロットされた移動平均を見ると、Googleに知られているメールの割合が年を追うごとに少しずつ増えて、最近では1/3のメールがGmailに絡んでいることがわかります。銀行やオンラインショップからの案内メール等はGmailから発信されていないことが多いだろうことを考えると、それ以外の普通のメールではGmailから発信されている割合はさらに高くなるのではということ。

また、自分が返答したメールについて、返答した元のメールの発信がGmailからであれば、返事もGmailを経由して返っていると仮定してカウントしたところ、今は半数ぐらいのメールはGmailのサーバに向けて送っている = 自分の返事したメールの半数はGoogleに読まれ得る、という数字が出たとのこと。ヒルさんがGmailを選んだのは彼の周囲でGmailユーザーが多いだろうと考えてのことで、HotmailやYahoo! Mailなど他のメールサービスでも同じような話はありますし、それらのどこからも見えていないメールの割合はだいぶ小さくなるのかもしれません。

メールがソーシャルなコミュニケーションのツールである限り、自分が自前のメールサーバーを建てたところで、友達がみんな大企業のメールサービスを使えば、自分のメールの多くも大企業の入手するところとなってしまうわけですね。以前ご紹介した、友達が多数ソーシャルネットワークに参加していると、参加していなくても自分の交友関係が把握され得る、という研究と通じるところがありますね。

自分も私用のメールではGmailを重用していますし、このような状況で手間を掛けて自前メールサーバーを構築・維持したいとも思わないので、これらの大手の業者が自分のメールの中身を万が一にも悪用しないことを期待するしかないですが。

via @HackerNews