seoer如何阻止垃圾蜘蛛的抓取

566  ·  2020-03-31 13:47:46  ·  seo教程  ·  seo优化

作为一个网站的负责人,你是否有关注过IIS日志的信息详情?如果没有,我敢肯定你网站的不少带宽都被所谓的蜘蛛占去了,即使你的带宽很猛,不在乎那么点流量,但是从优化到极致来说,这都是远远不达标的。
蜘蛛分为真假蜘蛛,一般大型搜索引擎的蜘蛛,如百度、谷歌的蜘蛛,假蜘蛛一般归总为垃圾搜索引擎和恶意抓取程序。其中百度蜘蛛的真假分析,你可以通过语法“ nslookup ip”,查看来源是否是百度的子站点,如果不是,那么就是伪装的百度蜘蛛。如果仔细分析,你会发现一些国内或国外的蜘蛛,例如 EasouSpider、AhrefsBot等,这些蜘蛛都是没有什么用的,如果你面向的市场是国内的,百度 BaiduSpider,谷歌 Googlebot,360 360Spider,soso Sosospider,搜狗Sogou+web+spider,保留这几个蜘蛛的抓取就足够了,其他的蜘蛛一律屏蔽掉就行了,还有把你的静态资源,如Image和JS、CSS的路径也屏蔽掉,这些资源都是不需要蜘蛛抓取的,因为没有展现的价值;
具体如何加屏蔽呢?你可以手动新建一个robots.txt文件,放到网站根目录下,内容填写例如:User-Agent: AhrefsBot Disallow: / ,表示不允许AhrefsBot蜘蛛抓取任何页面,其他的屏蔽都可以类似这样填写;如果你不会填写内容,你也可以到百度站长平台上,直接生成robots.txt文件,地址为:http://zhanzhang.baidu.com/robots/index ,然后将文件更新到网站根目录即可;例如我之前查看日志发现了一些垃圾蜘蛛,直接才去屏蔽措施,robots设置如下:

User-agent: *
Allow: /
User-agent: AhrefsBot
Disallow: /

seo优化
这样屏蔽不必要的蜘蛛抓取,便可以轻松实现避免浪费带宽和流量,当然这对于遵循互联网协议的网络公司来说,是非常有效的办法,也不排除存在一些不遵循行业标准的恶意抓取程序,要禁止这些,只能是在确切证据证明下,直接对Ip进行屏蔽,才能行之有效了。

本文地址:seoer如何阻止垃圾蜘蛛的抓取

在线留言

免费获取解决方案!

Write here

我们提供的产品解决方案 >>

百度SEO

01 AI万词霸屏

搜狗SEO

02 关键词优化(SEO)

SEO诊断

03 免费SEO诊断

SEO培训

04 SEO营销推广

SEO顾问

05 SEO方案定制

网站降权

06 网站降权恢复

百度SEO

07 整站优化

搜狗SEO

08 微信小程序

SEO诊断

09 微商城开发

SEO培训

10 网站竞价托管

SEO顾问

11 社区团购系统

网站降权

12 积分管理系统

为您推荐