• 您当前位置:网站首页 >> SEO推广 >> SEO 蜘蛛协议必需秘籍!更有效的让蜘蛛认识你(转)
  • SEO 蜘蛛协议必需秘籍!更有效的让蜘蛛认识你(转)

    iCoA首席特工 逍遥峡谷 发布:2010-09-25 更新:2010-09-25 浏览1条评论
    内容简介

    User-agent: * Request-rate: 1/2s 0000-0930 Request-rate: 1/2s 1630-2359 Request-rate: 1/10s 0931-1629 #指定同一个网络蜘蛛每多少秒采集一次网页和采集时间段,例如1/10S 0600-0845 解析:1/10S 10秒抓取1个页面 、0600-0845 意思就是早上06:00到08:45

    相关关键词:SEO   蜘蛛协议   郑晖分享  

    本文链接:https://www.icoa.cn/a/371.html

    本站文章如非注明皆为原创,未经允许禁止转载。如有问题可以给我留言或发邮件。

    User-agent: *
    Request-rate: 1/2s 0000-0930
    Request-rate: 1/2s 1630-2359
    Request-rate: 1/10s 0931-1629
    #指定同一个网络蜘蛛每多少秒采集一次网页和采集时间段,例如1/10S 0600-0845

    解析:1/10S 10秒抓取1个页面 、0600-0845 意思就是早上06:00到08:45

    Request-rate: 1/10s 0931-1629 例如这段 意思就是 早上09:31分钟至下午16:29分 这段时间指示搜索引擎蜘蛛最快10秒抓取1个页面 不允许蜘蛛抓取太快 这样做的优点是 抓取页面的时间延长了 搜索引擎蜘蛛能够更加抓取到成功的页面,不会导致出现漏爪现象

    #Crawl-delay: 10   意思是同1个搜索引擎蜘蛛来访协议时间间隔10秒
    #同一个网络蜘蛛两次采集网站内容的时间间隔,单位是秒

    Visit-time: 0000-0930   意思是从00:00开始到09:30这个时间段允许抓取
    Visit-time: 1630-2359  意思同上只是时间的不同

    Disallow: .jpg$  禁止抓取的格式
    Disallow: .jpeg$
    Disallow: .gif$
    Disallow: .png$
    Disallow: .bmp$

    Allow: /default.asp  允许蜘蛛抓取的页面
    Disallow: /default.asp?* 禁止抓取的样式
    Disallow: /?*
    Disallow: /innernews/ 禁止抓取的目录
    Disallow: /Marketing/

     

    总结:更有规律的引导蜘蛛抓取协议 可以提高蜘蛛对您站的定时来访

    本文转自郑辉QQ空间

    本文链接:https://www.icoa.cn/a/371.html
    关键词: SEO   蜘蛛协议   郑晖分享  


    如果您愿意支持本站,欢迎点击打赏哦~



    下一篇:提高关键词排名的28个SEO技巧

    上一篇:如何查看百度蜘蛛何时访问自己的网站


    - 相关文章 -


    SEO 蜘蛛协议必需秘籍!更有效的让蜘蛛认识你(转) - 2010-09-25

    IIS 使用 web.config 实现从 http 自动301跳转到 https 的方法 - 2017-12-29

    IIS 7.0 / IIS 7.5 用 web.config 做域名的301跳转的方法 - 2017-12-29

    2017最新淘宝天猫直通车优化策略 - 2017-11-09

    2017年最新工信部核查网站备案信息电话 - 2017-11-07

    ZAC的《SEO实战密码》 - 2011-06-17

    直通车的5种玩法,想要如何开好直通车,了解一下吧 - 2017-03-13

    如何查看百度蜘蛛何时访问自己的网站 - 2010-07-19


    - 文章评论 -




    5635

    [由于政策原因,您的留言如果提交成功后,需要审核才能展示,请改天再来查看,请不要重复提交,谢谢支持!]

    - 最新评论[1条评论] -


    安检门
    2010-09-25 17:17:38

    支持阿 秒收的好阿 www.china-anjian.com

    [>>>点击查看更多评论]

    版权所有©逍遥峡谷 - 星际中心超自然局 · 地球总部 | 逍遥峡谷 · 酷品优选
    Copyright©Interstellar Central Occult Agency (I.C.O.A)
    本局纯属虚构,如有雷同,纯属巧合

    冀公网安备13011102001055号 · 冀ICP备06033848号