很有用的文章,之前我的站点(www.juzishule.com)的日志里每天凌晨就会有很多奇怪的 IP 来不停的访问,我也搞不清是什么(我加入站长队伍不到半个月,嘿嘿),用了你的方法之后发现大都是搜索引擎的,soso 的最多,每天三四百,google 每天 两三百,百度一百多... 这下子安心了,吓得我还以为遭了攻击!
我们查看IIS日志的时候会看到百度蜘蛛:Baiduspider+(+http://www.baidu.com/search/spider.htm)来爬行我们的网页,但是我们怎么判断爬行我们网站的是不是真正的百度蜘蛛呢。如果你用的是Windows操作系统那么可以用Windows自带的命令行命令tracert来判断是否只真正的百度蜘蛛。
查看Baiduspider的IP,然后点击开始运行,输入cmd,打开命令行,然后输入tracert 61.135.186.12,这里61.135.186.12代表网站日志里的Baiduspider的IP,那么可以看到如下的内容:
如果里面有crawl.baidu.com的内容,那么说明就是真正的百度蜘蛛,如假包换。
上面这个截图里面含有ad,(baiduspider-ad-61-135-186-12.crawl.baidu.com [61.135.186.12]),那么应该是百度联盟的蜘蛛用来抓取页面里的内容以便匹配广告用的。
下一篇:搜狗Sogou终于“出狱”……
上一篇:搜狗蜘蛛(Sogou web spider)难道恢复对本站的抓取吗?
- 相关文章 -
iis日志分析工具下载 - 2010-10-23
一个SEO职业人的每天必备工作 - 2010-10-20
提高关键词排名的28个SEO技巧 - 2010-10-19
关于2013年对已备案网站信息进行抽样核查的通知 - 2013-03-12
SEO 蜘蛛协议必需秘籍!更有效的让蜘蛛认识你(转) - 2010-09-25
010-58813333曾经是工信部委托第三方公司做备案核验的电话 - 2012-01-17
zaccode社区注册邀请链接 - 2011-12-23
如何使用直通车工具分析店铺人群-转自万堂书院 - 2020-06-30
- 文章评论 -
- 最新评论[2条评论] -
很有用的文章,之前我的站点(www.juzishule.com)的日志里每天凌晨就会有很多奇怪的 IP 来不停的访问,我也搞不清是什么(我加入站长队伍不到半个月,嘿嘿),用了你的方法之后发现大都是搜索引擎的,soso 的最多,每天三四百,google 每天 两三百,百度一百多... 这下子安心了,吓得我还以为遭了攻击!
不错!!!
版权所有©逍遥峡谷 - 星际中心超自然局 · 地球总部 |
逍遥峡谷 ·
酷品优选
Copyright©Interstellar Central Occult Agency (I.C.O.A)
本局纯属虚构,如有雷同,纯属巧合