标签:爬虫

站内

怎么写r​o​b​o​t​s.​t​x​t​文件

网络营销策划 发布于 3年前 (2015-09-22)

先来了解一下robots.txt文件是什么,有什么作用。当搜索引擎爬去我们页面时有一种爬虫蜘蛛叫做“Baiduspider”蜘蛛在爬去网站页面之前,首先会去访问网站根目录下面的一个文件,就是robots.txt。这个文件其实就是给“蜘蛛”的规则,如果没有这个文件,蜘蛛会认为你[&...

阅读(461)赞 (0)