← Tags

Robots-Txt

• トップ100万ウェブサイトのrobots.txtを解析した人とその結果

  2017-11-24 googlebot python robots-txt クローラー 解析

  An Analysis of the World’s Leading robots.txt Files(世界のリーダーたちの robots.txt ファイル)というブログで、世界の上位100万サイトの robots.txt を解析したベン・フレデリクソンさん(Ben Frederickson)の話が出ていました。 フレデリクソンさんは、解析結果から、3つの面白い気づきを紹介してくれてい …