via del.icio.us/popular
Googleで検索すると抜粋が出てくるのに、行ってみたら有料の会員ページで読めなかった、ということがままある。なんで検索結果には出てくるか、というと、客寄せのためにわざと検索エンジンのボットにだけはコンテンツをクロールさせているからなんだけど。
User-AgentをGooglebotと同じにすれば読めるよ、という話は前から出ているが、それではチェックがUAだけの場合しか通用しない。それだけじゃだめな場合、どうやってGooglebotに近づくか、というtips。
一つは、Google翻訳を噛ます。Googleに翻訳させればGoogleのIPアドレスからのアクセスになるので、IPアドレスの範囲でチェックしていた場合、見えるかもしれないということ。英語のページでも、「スペイン語から英語」など適当な翻訳を選んでおけばよい。
# Google Translateとbotのアドレス範囲が違ってたらそれを避けるようにブロックされたりしないのか?
FirefoxのアドオンUser Agent SwitcherでUAを変えるのは既出
FirefoxのアドオンWeb Developer ToolでJavascriptとCookieを切る
FirefoxのアドオンRefControlでリファラーを切る
しかし、これ全部入れて、いつも行ったら見えないと思っていたウェブサイトに行ってみたけど、だめだった。まあ、まだブロックする方法はいろいろあるし。単純にやっているところには上記で効くかもしれない。