Sitemap Rss
·您当前位置:网站首页 >> SEO推广 >> 阅读文章

SEO 蜘蛛协议必需秘籍!更有效的让蜘蛛认识你(转)

来源:逍遥峡谷 发布时间:2010-09-25 浏览1条评论
内容简介

User-agent: * Request-rate: 1/2s 0000-0930 Request-rate: 1/2s 1630-2359 Request-rate: 1/10s 0931-1629 #指定同一个网络蜘蛛每多少秒采集一次网页和采集时间段,例如1/10S 0600-0845 解析:1/10S 10秒抓取1个页面 、0600-0845 意思就是早上06:00到08:45

相关关键词:SEO   蜘蛛协议   郑晖分享  

本文链接:http://www.icoa.cn/a/371.html [复制网址]

User-agent: *
Request-rate: 1/2s 0000-0930
Request-rate: 1/2s 1630-2359
Request-rate: 1/10s 0931-1629
#指定同一个网络蜘蛛每多少秒采集一次网页和采集时间段,例如1/10S 0600-0845

解析:1/10S 10秒抓取1个页面 、0600-0845 意思就是早上06:00到08:45

Request-rate: 1/10s 0931-1629 例如这段 意思就是 早上09:31分钟至下午16:29分 这段时间指示搜索引擎蜘蛛最快10秒抓取1个页面 不允许蜘蛛抓取太快 这样做的优点是 抓取页面的时间延长了 搜索引擎蜘蛛能够更加抓取到成功的页面,不会导致出现漏爪现象

#Crawl-delay: 10   意思是同1个搜索引擎蜘蛛来访协议时间间隔10秒
#同一个网络蜘蛛两次采集网站内容的时间间隔,单位是秒

Visit-time: 0000-0930   意思是从00:00开始到09:30这个时间段允许抓取
Visit-time: 1630-2359  意思同上只是时间的不同

Disallow: .jpg$  禁止抓取的格式
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$

Allow: /default.asp  允许蜘蛛抓取的页面
Disallow: /default.asp?* 禁止抓取的样式
Disallow: /?*
Disallow: /innernews/ 禁止抓取的目录
Disallow: /Marketing/

 

总结:更有规律的引导蜘蛛抓取协议 可以提高蜘蛛对您站的定时来访

本文转自郑辉QQ空间

本文链接:http://www.icoa.cn/a/371.html
关键词: SEO   蜘蛛协议   郑晖分享  
上一篇:提高关键词排名的28个SEO技巧
下一篇:如何查看百度蜘蛛何时访问自己的网站
相关文章
·Google搜索命令语法大全 2011-01-20 12:32:12
·Google究极用法详解,Google还可以这么用! 2011-01-20 12:28:24
·搜狗Sogou终于“出狱”…… 2010-12-24 17:04:24
·如何判断百度蜘蛛(Baiduspider)是否是假冒的,真伪判断 2010-12-18 15:20:13
·搜狗蜘蛛(Sogou web spider)难道恢复对本站的抓取吗? 2010-12-16 11:57:14
·今天搜狗蜘蛛疯狂的爬行了我的网站 2010-12-03 14:27:35
·增加外链的方式和重要性 2010-12-02 13:23:25
·关于2013年对已备案网站信息进行抽样核查的通知 2013-03-12 14:28:26
文章评论
安检门<2010-09-25 17:17:38>评论说:
支持阿 秒收的好阿 www.china-anjian.com

共有1条评论(点击查看)



1092

逍遥峡谷 逍遥乱弹 张立博 飓风团队 爱之路 酷品优选 宝贝派 张子涵


版权所有©逍遥峡谷 Copyright©Canyon of Airily 冀ICP备06033848号