支持阿 秒收的好阿 www.china-anjian.com
User-agent: *
Request-rate: 1/2s 0000-0930
Request-rate: 1/2s 1630-2359
Request-rate: 1/10s 0931-1629
#指定同一个网络蜘蛛每多少秒采集一次网页和采集时间段,例如1/10S 0600-0845
解析:1/10S 10秒抓取1个页面 、0600-0845 意思就是早上06:00到08:45
Request-rate: 1/10s 0931-1629 例如这段 意思就是 早上09:31分钟至下午16:29分 这段时间指示搜索引擎蜘蛛最快10秒抓取1个页面 不允许蜘蛛抓取太快 这样做的优点是 抓取页面的时间延长了 搜索引擎蜘蛛能够更加抓取到成功的页面,不会导致出现漏爪现象
#Crawl-delay: 10 意思是同1个搜索引擎蜘蛛来访协议时间间隔10秒
#同一个网络蜘蛛两次采集网站内容的时间间隔,单位是秒
Visit-time: 0000-0930 意思是从00:00开始到09:30这个时间段允许抓取
Visit-time: 1630-2359 意思同上只是时间的不同
Disallow: .jpg$ 禁止抓取的格式
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
Allow: /default.asp 允许蜘蛛抓取的页面
Disallow: /default.asp?* 禁止抓取的样式
Disallow: /?*
Disallow: /innernews/ 禁止抓取的目录
Disallow: /Marketing/
总结:更有规律的引导蜘蛛抓取协议 可以提高蜘蛛对您站的定时来访
本文转自郑辉QQ空间
下一篇:提高关键词排名的28个SEO技巧
- 相关文章 -
降低网站跳出率和网站退出率的办法 - 2011-10-24
Google搜索命令语法大全 - 2011-01-20
网站跳出率和退出率的区别 - 2011-10-20
友情链接要找好邻居 - 2011-10-19
Google究极用法详解,Google还可以这么用! - 2011-01-20
搜狗Sogou终于“出狱”…… - 2010-12-24
SEO领航者ZAC竟然是“半路出家” - 2011-07-18
SEO实践证明site首页不在第一个并不是降权 - 2011-07-11
- 文章评论 -
- 最新评论[1条评论] -
支持阿 秒收的好阿 www.china-anjian.com
版权所有©逍遥峡谷 - 星际中心超自然局 · 地球总部 |
逍遥峡谷 ·
酷品优选
Copyright©Interstellar Central Occult Agency (I.C.O.A)
本局纯属虚构,如有雷同,纯属巧合