小片コード共有サービスの pastebin に貼られ、Hacker News で ゲーム配信サービス大手のTwitch がユーザー登録時に弾いているフィルタ部分のソースコードだ、との主張で紹介されている SQL コードは、問題のある単語をチェックするためのコードです。
CREATE OR REPLACE FUNCTION is_terrorism (VARCHAR) RETURNS BOOLEAN STABLE AS $$
SELECT replace($1,'_','') LIKE '%did911%'
OR replace($1,'_','') LIKE '%support%isis%'
OR replace($1,'_','') LIKE '%isis%support%'
OR replace($1,'_','') LIKE '%join%isis%'
OR replace($1,'_','') LIKE '%isismember%'
$$ LANGUAGE SQL;
CREATE OR REPLACE FUNCTION is_child_exploitation (VARCHAR) RETURNS BOOLEAN STABLE AS $$
SELECT replace($1,'_','') SIMILAR TO '%ped(o|0)(f|ph)(i|1)le%'
OR replace($1,'_','') SIMILAR TO '%isa%ped(o|0)%'
SQL 文としてジャンルごとに定義されている関数は、イスラム国(ISIS)への参加を呼び掛ける文字列や、児童ポルノや人種差別・性犯罪やドラッグに関する英単語が含まれる文字列で True を返すようです。
また、単純な単語の一致だけではなく、それら英単語の一部の文字を数字に置き換えるなどしてチェックをすり抜けようとするものもある程度見つけるようになっていました。a を 4 にしたり、 e を3 にしたりという leetspeak と言われる変換ですね。
ユーザー登録のできるwebサービスでは大なり小なりこのようなフィルタリングを行っているとは思います。コードが Hacker News の投稿者の言う通り Twitch で使われているものかはわかりませんが、この SQL で引っかかるような文字列をいくつか入れてユーザー登録しようとしたら、エラーは出ますね。実際には JavaScript レベルでエラーにしているようなので、SQL 文のフィルタは誰かが再現したものかもしれませんし、あるいはそれぞれが同じネタ元のフィルタを参照して作られたものかもしれません。
各関数の名前からどのような性格の「悪い単語」を排除しようとしてるのかがわかります。
| 関数名 | 意味 |
|---|---|
| is_terrorism | テロ |
| is_child_exploitation | 児童搾取 |
| is_hateful | ヘイト |
| is_harassment | ハラスメント |
| is_violence | 暴力 |
| is_tragedy | 悲劇 |
| is_selfharm | 自傷 |
| is_sexual | 性的 |
| is_drugs | ドラッグ |
| is_derogatory | 軽蔑的 |
| is_profanity | 淫ら |
| is_blasphemy | 冒涜 |
| is_marijuana | 大麻 |
| is_sex_insult | 性的侮辱 |
チェックされる単語の一つ一つは、多くが理解して気持ちのよい単語とは言えません。細かく紹介はしませんが、英語での罵倒や悪口の勉強がしたければいい教材となるやもしれません。
ワードフィルタは false positive であるスカンソープ問題も引き起こすので万能の解決法ではありませんが、海外向けにユーザー登録のあるサービスを公開する場合は対策の一つとしてこのようなフィルタを用意することも考えておかないといけないのでしょう。