首页 蜘蛛

蜘蛛

  • 搜索引擎一定会遵守协议不随便抓取网站吗?

    搜索引擎一定会遵守协议不随便抓取网站吗?

    我们都知道robots.txt文件是搜索引擎遵守的一个抓取协议,但是是不是真的有效果呢?搜索引擎真的会遵循这个协议吗?那可不一定,有些流氓搜索就不一定会完全遵守。让我们首先来看看下面这段:允许GG 百度、ALEXA 抓取,屏蔽了其他一切引擎禁止!User-agent:GooglebotDisallow:User-agent:baiduspiderDisallow:User-agent:ia_archiverDisallow:User-agent:*Disallow:/从理论上来说 这样的设置就屏蔽了其他一...

1