robots.txt文件的正规写法

484  ·  2019-09-19 18:29:33  ·  优爱SEO  ·  网站营销

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”,网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。robots.txt是一个协议,而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。那么各位站长对robots了解多少?知道robots文件怎么写吗?下面天企网络小编就来为大家介绍。

 

  robots协议原理

 

  Robots协议是国际互联网界通行的道德规范,基于以下原则建立:

 

  1、搜索技术应服务于人类,同时尊重信息提供者的意愿,并维护其隐私权;

 

  2、网站有义务保护其使用者的个人信息和隐私不被侵犯。

 

  robots功能

  Robots协议用来告知搜索引擎哪些页面能被抓取,哪些页面不能被抓取;可以屏蔽一些网站中比较大的文件,如:图片,音乐,视频等,节省服务器带宽;可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容;设置网站地图连接,方便引导蜘蛛爬取页面。

 

  文件写法

 

  User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符。

 

 robots文件的写法

 

  Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录。

 

  Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录。

 

  Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录。

 

  Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

 

  Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址。

 

  Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。

 

  Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。

 

  Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录。

 

  Allow: /tmp 这里定义是允许爬寻tmp的整个目录。

 

  Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

 

  Allow: .gif$ 允许抓取网页和gif格式图片。

 

  Sitemap: 网站地图 告诉爬虫这个页面是网站地图。

 

  对于robots.txt文件的写法就为大家分享到这里,当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。天企seo优化小编提醒大家,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。

 

本文地址:robots.txt文件的正规写法

在线留言

免费获取解决方案!

Write here

我们提供的产品解决方案 >>

百度SEO

01 AI万词霸屏

搜狗SEO

02 关键词优化(SEO)

SEO诊断

03 免费SEO诊断

SEO培训

04 SEO营销推广

SEO顾问

05 SEO方案定制

网站降权

06 网站降权恢复

百度SEO

07 整站优化

搜狗SEO

08 微信小程序

SEO诊断

09 微商城开发

SEO培训

10 网站竞价托管

SEO顾问

11 社区团购系统

网站降权

12 积分管理系统

为您推荐