2021-09 on akky@サイボウズラボ・ブログ

Confusables - 紛らわしい文字を含めて検索できるPythonライブラリ

Wed, 29 Sep 2021 00:00:00 +0000

Unicode コンソーシアムが提供している見た目そっくりな文字リストにある文字が紛れていても文字列マッチする小さなライブラリが Confusables です。

このクラスは最新の Confusables.txt を Unicode.org から取得し、紛らわしい文字を含んだマッチする正規表現を生成してくれます。

たとえば、“Hello” に対しては次のようなパターンができます。

Regexp pattern: [HＨℋℌℍ𝐇𝐻𝑯𝓗𝕳𝖧𝗛𝘏𝙃𝙷Η𝚮𝛨𝜢𝝜𝞖ⲎНᎻᕼꓧ𐋏ⱧҢĦӉӇ][e℮ｅℯⅇ𝐞𝑒𝒆𝓮𝔢𝕖𝖊𝖾𝗲𝘦𝙚𝚎ꬲеҽɇҿ][l‎\|∣⏽￨1‎۱𐌠‎𝟏𝟙𝟣𝟭� IIＩⅠℐℑ𝐈𝐼𝑰𝓘𝕀𝕴𝖨𝗜𝘐𝙄𝙸Ɩｌⅼℓ𝐥𝑙𝒍𝓁𝓵𝔩𝕝𝖑𝗅𝗹𝘭𝙡𝚕ǀΙ𝚰𝛪𝜤𝝞𝞘ⲒІӀ‎‎‎‎‎‎‎‎ⵏᛁꓲ𖼨𐊊𐌉‎‎łɭƗƚɫ‎‎‎‎ŀĿᒷ🄂⒈‎⒓㏫㋋㍤⒔㏬㍥⒕㏭㍦ ⒖㏮㍧⒗㏯㍨⒘㏰㍩⒙㏱㍪⒚㏲㍫ǉĲ‖∥Ⅱǁ‎𐆙⒒Ⅲ𐆘㏪㋊㍣Ю⒑㏩㋉㍢ʪ₶ⅣⅨɮʫ㏠㋀㍙][l‎\|∣⏽￨1‎۱𐌠‎𝟏𝟙𝟣𝟭𝟷IＩⅠℐℑ𝐈𝐼𝑰𝓘𝕀𝕴𝖨𝗜𝘐𝙄𝙸Ɩｌⅼℓ𝐥𝑙� 𝓁𝓵𝔩𝕝𝖑𝗅𝗹𝘭𝙡𝚕ǀǀΙ𝚰𝛪𝜤𝝞𝞘ⲒІӀ‎‎‎‎‎‎‎‎ⵏᛁꓲ𖼨𐊊𐌉‎‎łɭƗƚɫ‎‎‎‎ŀĿᒷ🄂⒈‎⒓㏫㋋㍤⒔㏬㍥⒕㏭㍦⒖㏮㍧⒗㏯㍨⒘㏰㍩⒙㏱㍪⒚㏲㍫ǉĲ‖∥Ⅱǁ‎𐆙⒒Ⅲ𐆘 ㏪㋊㍣Ю⒑㏩㋉㍢ʪ₶ⅣⅨɮʫ㏠㋀㍙][oంಂംං०੦૦௦౦೦൦๐໐၀‎۵ｏℴ𝐨𝑜𝒐𝓸𝔬𝕠𝖔𝗈𝗼𝘰𝙤𝚘ᴏᴑꬽο𝛐𝜊𝝄𝝾𝞸σ𝛔𝜎𝝈𝞂𝞼ⲟоჿօ‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎ഠဝ𐓪𑣈 𑣗𐐬‎øꬾɵꝋөѳꮎꮻꭴ‎ơœɶ∞ꝏꚙൟတ]

あとはこれに対して入力された文字列がマッチするかをチェックすれば、紛らわしい文字列かどうかの判定ができるというわけです。

テストコードでは “𝓗℮𝐥1೦” が “Hello” にマッチすることが確認できます。紛らわしい文字列として真で、元の"Hello"と同値ではないなら、誤認することを狙った"Hello"のニセモノだ、というわけですね。

Confusables のリスト中には日本語の紛らわしい文字(ハと八とかニと二とか)もあります。『カタカナの「ノ」はスラッシュと似ている』という定義もあり、“and/or” に間違うパターンを出してみるとこんな風になりました。カタカナの「ノ」だけじゃなく斜め線に見える文字もたくさんUnicodeにあるんですね。

Regexp pattern: [a⍺ａ𝐚𝑎𝒂𝒶𝓪𝔞𝕒𝖆𝖺𝗮𝘢𝙖𝚊ɑα𝛂𝛼𝜶𝝰𝞪а⍶℀℁ꜳæӕꜵꜷꜹꜻꜽ][n𝐧𝑛𝒏𝓃𝓷𝔫𝕟𝖓𝗇𝗻𝘯𝙣𝚗ոռɳƞη𝛈𝜂𝜼𝝶𝞰ᵰǌ][dⅾⅆ𝐝𝑑� 𝒹𝓭𝔡𝕕𝖉𝖽𝗱𝘥𝙙𝚍ԁԁᏧᑯꓒɗɖƌđ₫ᑻᒇʤǳʣǆʥ][/᜵⁁∕⁄╱⟋⧸𝈺㇓〳Ⳇノ丿⼃⧶⫽⫻][oంಂംං०੦૦௦౦೦൦๐໐၀‎۵ｏℴ𝐨𝑜𝒐𝓸𝔬𝕠𝖔𝗈𝗼𝘰𝙤𝚘ᴏᴑꬽο𝛐𝜊𝝄𝝾𝞸σ𝛔� 𝝈𝞂𝞼ⲟⲟоჿօ‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎‎ഠဝ𐓪𑣈𑣗𐐬‎øꬾɵꝋөѳꮎꮻꭴ‎ơœɶ∞ꝏꚙൟတ][r𝐫𝑟𝒓𝓇𝓻𝔯𝕣𝖗𝗋𝗿𝘳𝙧𝚛ꭇꭈᴦⲅгꮁɽɼɍғᵲґ𑣣mⅿ𝐦𝑚𝒎𝓂𝓶𝔪𝕞𝖒𝗆𝗺𝘮 𝙢𝚖𑜀₥ɱᵯ]

“andノor” と入れると、“Matched” となるわけです。

日本語ドメインもあまり普及していないし、日本語に紛らわしい文字を混ぜた文字列で何かをすり抜けられるというユースケースもそんなにないかもしれませんが、まあそういう必要があればこういったチェックをつけるのでしょう。

Debian の perf を高速化するパッチと、そのGPL的な背景

Tue, 28 Sep 2021 00:00:00 +0000

Cargo の flamegraph ツールがDebian の perf のせいでとても遅いという話。

perf コマンドがプロファイルデータを解析する際に libbfd をリンクすればずっと高速になるのですが、Debian のポリシーでライセンスに違反するため libbfd をリンクすることはできないそうです。

[修正] コメントでの指摘を受け修正しました

perf のライセンスが GPL バージョン2、libbfd のライセンスが GPL バージョン3+ であり、これら二つのプロジェクトを合法的にリンクさせる方法がないそう。

Debian の Makefile では、わざわざ生成された perf コマンドが libbfd をリンクして「いない」ことをチェックするようになっているのですね。

そんな訳で、Debian の perf は dso 一つごとに addr2line コマンドをパイプで呼び出す(そして、毎回サブプロセスは終了する)方式となっています。

しかし、大量の perf 呼び出しを行う flamegraph を作ろうとした @leastfixedpoint さんは、いつまでも帰ってこない perf コマンドに業を煮やし、libbfd をリンクさせない範囲での高速化を考えました。

このパッチでは、addr2line を別プロセスとして起動させたままにしておき、dso をデータとして送り付け結果を受け取っても、addr2line プロセスを終了させないことで、とあるデータ量に対して68倍速く処理が終わるようにできたそうです。

対象のデータ量によっては気にならない程度の速度差なのかもしれませんが、同じようにここの処理速度で困ってる人もいるんじゃないでしょうかね。

via Hacker News

Fake Contacts - Androidの連絡帳をフェイク連絡先で汚染するためのツール

Fri, 24 Sep 2021 00:00:00 +0000

スマートフォンが覚えている連絡先、電話帳として掛けるときにも名前から知人友人を探せますし、相手から電話が掛かってきた時も番号ではなく掛けてきた人や会社の名前を表示してくれて便利ですよね。

そんな連絡帳に、嘘の連絡先情報を追加するという Android アプリが Fake Contacts (BillDietrich/fake_contacts)です。

アプリケーションは Google Play ストアには無い(Google から承認されていないのでしょう)ため、GitHub のリリースページからダウンロードして開発者モードでインストールする必要があります。

アプリを起動すると、ランダムに作られた連絡先の氏名、メールアドレス、電話番号が表示されるので、それでよければ create ボタンを押して連絡先を一つ追加できます。次々繰り返せば、連絡帳には存在しない架空の個人情報がどんどん増えていきます。

デフォルトでは、生成される名前の先頭が “Z” で始まるので、ABC順で見ている分にはフェイクの連絡先は末尾に固まって出てくるだけで、実用上邪魔にならないということです。Zで始まる名前も皆無ではありませんが…

生成したフェイク連絡先をまとめて削除する機能もついています。

偽の連絡先を入れる目的

でも、何のためにニセ連絡先を入れる必要が?

音声SNS の ClubHouseがIT業界人を中心に大盛り上がりしたのはまだ今年の初めのことですが、この ClubHouse の友人招待も、アプリに連絡帳へのアクセスを許すことで行われるという仕組みでした。

ClubHouse に連絡帳を見せないと登録できないし、連絡帳を見せることで自分の連絡帳に載っている相手を招待できるという仕組み。いわば人気の新サービスに登録できる権利でもって連絡帳情報を開放させる取引になっていました。

ClubHouse は連絡先のデータの活用をそのラインを超えてはしないかもしれませんが、ユーザーの連絡先情報にアクセスできる権限というのは非常に強力なものだと思います。ユーザーのネットワーク情報を入手できますし、メールアドレスや電話番号を使えばネットワークに次々と勧誘をかけることだって可能です。

このアプリは、連絡先情報を渡すサービスに対して、渡したリストの S/N 比を低下させようというものです。リストのほとんどが存在しない人物の情報で、メールアドレスも不達であればリストの価値は減り横流しの動機も減る、かもしれません。フェイクの電話番号はどこかに掛かってしまうという問題も起こりそうですけれど。

一人が情報汚染(data poisoning)を仕掛けても、連絡先情報を悪用しようとする取得者側にすぐに問題が起こることはないでしょうし、リストの全員にどのみちスパム等を送られるのであれば、登録してある本物の友人知人に迷惑が掛かることも変わりません。

多数の人が簡単にフェイクの連絡先を与える選択を持てれば、悪用業者にダメージを与えることもできるのかもしれませんけども。

Slacktyping - Slackで相手がタイプ中にこちらもタイプ中と見せかけるジョークツール

Fri, 24 Sep 2021 00:00:00 +0000

自称とても良いプログラム(very good program)は、Slackチャットにおいて相手がタイプしている時に、相手にあなたも「入力しています(typing…)と表示するという小さな Ruby プログラムです。

I made a VGP (very good program) that makes it so it looks like I’m typing on slack whenever anyone else is typing, and stops when they stop.

Everyone loves it so far and doesn’t find it annoying at all!https://t.co/W8e2EKuVXX pic.twitter.com/ZZd01GxYqg
— will leinweber (@leinweber) April 25, 2018

あなたも何かタイプしてるかと思って相手が手を止めると、あなたの「入力しています」も止まります。

とても良いプログラムかもしれませんが、これ使われたらイライラしそうです。

このような小さなジョークプログラムを多数公開しているウィル・レインウェバーさん(Will Leinweber)、彼のサイトにもネタが多数仕込まれています。

via Hacker News

PoW! Capthca - クライアント側で重い計算をさせるCAPTCHA

Fri, 17 Sep 2021 00:00:00 +0000

PoW! Captcha は、Proof of Work (作業量証明)を組み込んだ CAPTCHA ライブラリです。

ウェブサイトのコメント欄で使われるときのイメージが公開されています

コメント欄の下にプログレスバーが出ていて、これがブラウザが与えられた計算をこなしている進度を示すようです。計算が完了すると投稿ボタンが押せるようになり、コメントを投稿できます。

どうしてこれでスパム投稿が防げるかというと、ブラウザ上で計算するときに消費される計算資源はスパマーのマシンにあるからですね。スパム投稿で同時や連続で多数のコメントをしようとすると、クライアントPC のリソースが大量に使われて動かなくなると。

PoW Captcha も、Pow Captcha が参考にした同様の mCaptcha も、このPoW 方式の利点としてユーザーの追跡をする必要がないことを押し出しています。ローカルで計算させるだけですからね。

依存ライブラリもなくコードもコンパクトだということです。

チューリングテストではないので正確には CAPTCHA じゃありませんが、不正な大量リトライを予防するという意味では CAPTCHA と同様の働きをするのかもしれません。

via Hacker News

OKグーグル、東京からベトナムまで徒歩で行きたい - 出てきたルートは?

Thu, 16 Sep 2021 00:00:00 +0000

Googleマップで「東京→ハノイ」を検索すると、飛行機で6時間ぐらいと出るのですが、

移動方法を徒歩にすると、こんなルートが出てきます

キレイに中国を避けてますね。距離にして1万6000km、3163時間は眠らずに歩き続けたとしても4か月以上。

八戸～苫小牧、宗谷海峡、間宮海峡はフェリーを使うようなので完全徒歩とは言えませんが。元ネタではウラジオストクからハノイになっていて、こちらはすべて徒歩ルートです。最近なにかとニュースになるアフガニスタンのカブール周辺も通りますし、簡単な道程とは言えません。

「Googleマップが中国に対応していないから?」と、「北京→上海」を入れてみると、ちゃんと結果が表示されます。

reddit の議論では、中国の地図情報データの安全保障上の規制でデータ利用が制限されているからではということでした。特に国境周辺の地図情報は得られなかったり、利用するとまずいことになったりするんでしょうかね。

「新型コロナウイルスで入出国が禁止されているからでは?」という意見もありましたが、COVID-19以前からGoogleマップでの中国国境の扱いはこんな感じだったと反論がありました。

via reddit

Steam の開発者アカウントを使ってサービスをポルノ倉庫にする濫用事例

Tue, 14 Sep 2021 00:00:00 +0000

PCゲームプラットフォーム Steam で提供されていた EZ VR Video Player というVRビューワーアプリが、アプリと無関係なポルノ画像の交換場所になっていたそうです。

4月にMMO Fallout ブログが指摘したところによれば、このビューワアプリがリリースされる以前から、modやゲームデータを共有するワークショップに多数のデータファイルがアップロードされており、その中に多数のポルノ画像が含まれていたということ。

Gamespark の解説によれば、Steam のワークショップというのは『「メーカーによる審査はなく、ユーザーが自由にダウンロード可能」という形式』で運営されることも多いそうで、設定次第では誰が何を置くのも自由な緩い場所なのでしょう。Gamespark の記事でも盗作のアップロードなどトラブル事例が紹介されています。

しかし、今回リリース「前」にワークショップにデータをアップロードできていたらしいということは、このVRアプリの開発者かその関係者がデータをアップロードしていたということで、単にアプリを購入したユーザーがやったわけではないことを意味するようです。

このMMO Fallout の最初の指摘や、それを受けた reddit での議論からだいぶ時間が経っていますが、先週になって開発者自信による開発停止の発表があり、その直後にSteam を運営する Valve 社による配布停止が発生したようです。掲示板やワークショップ等は今でも閲覧できていて、指摘されたワークショップには一般のデータしか表示されていないようで、開発者かValve社のいずれかが削除したのでしょう。掲示板など他の場所ではまだ書き込みが残ってるのですが、アプリの配布を停止にしても何もかもは止めないのですね。

Hacker News では、この件から連想されるとして Docker Hub に違法コピーのPCソフトウェアを保管するユーザーの存在も紹介されています。ポルノの内容がアジア系だったことや、今も残る掲示板等に中国語の書き込みも多いことから、グレートファイアウォールでアクセスできる海外のサイトが厳しく限定・監視されている中国のユーザーが、開発者としてアクセスできるサービスで大きなファイルを保存できる場所を荒らしているのではという考察も出ています。

アプリの開発には関連するファイルの容量が大きくなることもあり、開発者向けのサービスを隠れ蓑に別のファイルを保管したり交換したりする濫用ユーザーの存在はは各サービスの提供社を困らせる存在でしょうね。

via Hacker News

Joy Generator - 小さな喜び(joy)を集めたウェブサイト

Fri, 10 Sep 2021 00:00:00 +0000

アメリカの公共ラジオ局NPR が公開したJoy Generator (喜び生成器) は、

現時点で提供されているのは、以下のようなもの

追想しよう - 懐かしい動画の再生
フローを見つけよう - お絵かき
落ち着く音 - 絵筆の走る音、ささやき声、日常に溢れる心地よい音などを再生
それを待つ - 植物の発芽と成長を見る
視点を変えてみる - 宇宙や星に関する映像
詩を簡単に - 与えられた文章を消し込むことで詩を作る
カワイイの力 - 可愛い動物の動画
野生の呼び声 - 国立公園の音源を組み合わせてBGMに

ちょっとした休憩時間に眺めたり、BGM/BGV にしたりできる小さなページが集められています。

野生の呼び声(Call of The Wild)、では、風の音、水の音、蛙の音、鳥の音、を好きなバランスで組み合わせて再生させることもできます。

web2img - 一枚の画像ファイル内にパックしたウェブサイトを展開して動くツール

Thu, 09 Sep 2021 00:00:00 +0000

EtherDream/web2img は、ウェブサイトを一枚の画像内にまとめ、またそのまとめた画像をブラウザ上で展開して表示するツールです。

複数の html だけでなく、CSS ファイルや JavaScript ファイル、画像や動画などリソースファイルをすべてエンコードして一枚の画像が出てきます。

画像は簡易なリードオンリーのファイルシステムのように使われています。これを展開するためにはトップの html と JavaScript ファイル一つだけが必要で、これを置いたウェブページからは ServiceWorker 経由で先に作成した画像ファイルが読まれ、デコードされて格納されていた html/css/js/jpg/mp4 等を使った元々のウェブサイトが動きます。(ServiceWorker に対応しているブラウザで)

こちらに生成用のツールが公開されていて、実際に試せます。

Step 1 でローカルのウェブサイトのフォルダを指定すると、

フォルダに入っているファイルの情報と、ファイルをパックした画像が生成されます。

この画像ファイルをインターネット上の適当な場所に置いて、Step 3に入力すると、

この画像ファイルを展開して動かすための JavaScript ファイルを生成してくれます。

この js をこれを呼ぶ最小の html ファイルの二つを置くと、そのページではパックされた元々のウェブサイト/ページが表示されました。JavaScript を止めたり、ServiceWorker 非対応のブラウザで開くと何も表示されません。

Minus - 100回だけつぶやける新SNS

Tue, 07 Sep 2021 00:00:00 +0000

新しく登場したMinus はツイッターのようなマイクロブログサービスですが、ツイッターと違うところは投稿の回数に100回の上限が設定されていること。

100回投稿すると、それ以上は投稿できなくなってしまいます。101回投稿して試したわけではないですが…

登録してつぶやいてみました。

投稿フォームにあるカウンターが、99に減っていますね。

100回しか投稿できないとなるとツイッターのような気軽さはなくなるかなとも思いましたが、投稿したものの削除や編集をできてしまいます。削除すれば新たな投稿もできてしまうので、自分が厳選した100文を置いておくような使い方を想定しているんでしょうか。

回数を限定する、というのは一つの差別化要因だと思います。でも差別化だとすると100回は多いかなあ。

via Hacker News

嘘から出たドラクエ風Google Maps

Thu, 02 Sep 2021 00:00:00 +0000

グーグルがドラクエ風Googleマップを発表したのが 2012年のエイプリルフール。

その時はエイプリルフールのネタでしかなかったのですが、このファミコン風Google Maps を自作した人が現れました。

ファミコン/ドラクエの祖国に敬意を表してか、デモ動画の中では東京周辺から川崎、横浜を訪れています。(3:20頃)

元の衛星動画をグリッドで切り、グリッド内の色の多さをカウントし、色に合わせたファミコン風のタイル地形を割り当てるという形で8bit地形図を作り、それをタイルサーバとして動かしているということ。

現在はラズベリーパイ上などを外に置いたままNESにつないでの動作ですが、NESのカートリッジの形に収めるようがんばりたいそう。

via Hacker News

traintrackr - むき出し基盤にLEDでメトロ運行や雨雲情報を表示するサイネージ

Wed, 01 Sep 2021 00:00:00 +0000

米ボストンのケンブリッジ・ハックスペースとイギリスのロンドンから生まれた traintrackr (アメリカ向けサイト) は、基盤上に配置された LED が鉄道のリアルタイム運行情報を表示するというガジェットです。

地下鉄の路線図に合わせて配置された LED で、車両が現在いるところが光ります。

開封動画を観ると、ロンドン地下鉄(大)はかなりの大きさ。

地下鉄セントラル線やノーザン線など、単発の路線を扱ったものもあります。

ニューヨークやサンフランシスコなどアメリカの地下鉄も。日本の都市はありませんでしたが、運行データの入手ができれば作ってくれるかもしれませんね。

対応していない路線についてもデータを送りリクエストできるようにするそう。また、表示内容を自分でプログラムしなおすこともできるそうです。

他には、雨雲の状況を表示する UK Rain Tracker も。こちらもニューヨークやカリフォルニアなど複数の地域版が販売されています。

今なら液晶に表示すれば十分かつ情報量も増やせそうですが、あえてむき出しの基盤で作ったところがデザイン性なんですかね。自宅の近所の雨雲ディスプレイなんかは、玄関に飾っておくのもよさそう

via Hacker News