« ロサンゼルス殺人マッシュアップ | メイン | Linux十戒 »
2007年08月15日
ブラウザでGooglebotの振りをする方法5つ
via del.icio.us/popular
Googleで検索すると抜粋が出てくるのに、行ってみたら有料の会員ページで読めなかった、ということがままある。なんで検索結果には出てくるか、というと、客寄せのためにわざと検索エンジンのボットにだけはコンテンツをクロールさせているからなんだけど。
User-AgentをGooglebotと同じにすれば読めるよ、という話は前から出ているが、それではチェックがUAだけの場合しか通用しない。それだけじゃだめな場合、どうやってGooglebotに近づくか、というtips。
一つは、Google翻訳を噛ます。Googleに翻訳させればGoogleのIPアドレスからのアクセスになるので、IPアドレスの範囲でチェックしていた場合、見えるかもしれないということ。英語のページでも、「スペイン語から英語」など適当な翻訳を選んでおけばよい。
# Google Translateとbotのアドレス範囲が違ってたらそれを避けるようにブロックされたりしないのか?
FirefoxのアドオンUser Agent SwitcherでUAを変えるのは既出
FirefoxのアドオンWeb Developer ToolでJavascriptとCookieを切る
FirefoxのアドオンRefControlでリファラーを切る
しかし、これ全部入れて、いつも行ったら見えないと思っていたウェブサイトに行ってみたけど、だめだった。まあ、まだブロックする方法はいろいろあるし。単純にやっているところには上記で効くかもしれない。
投稿者 秋元 : 2007年08月15日 11:25
トラックバック
このエントリーのトラックバックURL:
http://labs.cybozu.co.jp/cgi-bin/mt-admin/mt-tbp.cgi/1459
このリストは、次のエントリーを参照しています: ブラウザでGooglebotの振りをする方法5つ:
» ブラウザでGooglebotの振りをする方法5つ from mobile marketing blog (モバイルSEOとか…)
■秋元@サイボウズラボ・プログラマー・ブログ: ブラウザでGooglebotの振りをする方法5つからの引用
一つは、Google翻訳を噛ます。Goo... [続きを読む]
トラックバック時刻: 2007年08月16日 11:50
