問題のあるユーザー名登録を防ぐ英語圏のワードフィルタの実例

Thu, 21 Oct 2021 00:00:00 +0000

小片コード共有サービスの pastebin に貼られ、Hacker News でゲーム配信サービス大手のTwitch がユーザー登録時に弾いているフィルタ部分のソースコードだ、との主張で紹介されている SQL コードは、問題のある単語をチェックするためのコードです。

CREATE OR REPLACE FUNCTION is_terrorism (VARCHAR) RETURNS BOOLEAN STABLE AS $$ SELECT replace($1,'_','') LIKE '%did911%' OR replace($1,'_','') LIKE '%support%isis%' OR replace($1,'_','') LIKE '%isis%support%' OR replace($1,'_','') LIKE '%join%isis%' OR replace($1,'_','') LIKE '%isismember%' $$ LANGUAGE SQL;

CREATE OR REPLACE FUNCTION is_child_exploitation (VARCHAR) RETURNS BOOLEAN STABLE AS $$ SELECT replace($1,'_','') SIMILAR TO '%ped(o|0)(f|ph)(i|1)le%' OR replace($1,'_','') SIMILAR TO '%isa%ped(o|0)%'

SQL 文としてジャンルごとに定義されている関数は、イスラム国(ISIS)への参加を呼び掛ける文字列や、児童ポルノや人種差別・性犯罪やドラッグに関する英単語が含まれる文字列で True を返すようです。

また、単純な単語の一致だけではなく、それら英単語の一部の文字を数字に置き換えるなどしてチェックをすり抜けようとするものもある程度見つけるようになっていました。a を 4 にしたり、 e を3 にしたりという leetspeak と言われる変換ですね。

ユーザー登録のできるwebサービスでは大なり小なりこのようなフィルタリングを行っているとは思います。コードが Hacker News の投稿者の言う通り Twitch で使われているものかはわかりませんが、この SQL で引っかかるような文字列をいくつか入れてユーザー登録しようとしたら、エラーは出ますね。実際には JavaScript レベルでエラーにしているようなので、SQL 文のフィルタは誰かが再現したものかもしれませんし、あるいはそれぞれが同じネタ元のフィルタを参照して作られたものかもしれません。

各関数の名前からどのような性格の「悪い単語」を排除しようとしてるのかがわかります。

関数名	意味
is_terrorism	テロ
is_child_exploitation	児童搾取
is_hateful	ヘイト
is_harassment	ハラスメント
is_violence	暴力
is_tragedy	悲劇
is_selfharm	自傷
is_sexual	性的
is_drugs	ドラッグ
is_derogatory	軽蔑的
is_profanity	淫ら
is_blasphemy	冒涜
is_marijuana	大麻
is_sex_insult	性的侮辱

チェックされる単語の一つ一つは、多くが理解して気持ちのよい単語とは言えません。細かく紹介はしませんが、英語での罵倒や悪口の勉強がしたければいい教材となるやもしれません。

文字列マッチ on akky@サイボウズラボ・ブログ

問題のあるユーザー名登録を防ぐ英語圏のワードフィルタの実例