SEO优化自学教程_SEO技术服务-【超凡SEO顾问】 联系超凡SEO顾问
分享免费SEO教程,专注于实战SEO技术,提供SEO顾问服务
SEO教程 > SEO入门教程 > SEO基础教程 > 【德州网站优化】Robots.txt写法和放在哪里详解

【德州网站优化】Robots.txt写法和放在哪里详解

【德州网站优化】Robots.txt写法和放在哪里详解

  1、什么是Robots,熟练掌握Robots的基础语法,写出你对本节课的理解

  Robots是指网站与搜索引擎之间的协议,下列三小点是需要自己记住的:

【德州网站优化】Robots.txt写法和放在哪里详解

  1.Robots是存放在网站根目录

  2.Robots.txt是放在网站根目录

  3.robots.txt文件名是不可修改的

  4.Robots也是百度蜘蛛第一先抓取的

  2、robots形式及定义:

  User-agent:Baiduspider(定义所有的百度蜘蛛)

  Disallow:/

  User-agent:定义所有的蜘蛛

  Baiduspider:百度蜘蛛

  Googlebot:谷歌机器人

  MSNBot:msn机器

  Baiduspider-image:百度图片

  Disallow:定义那些文件可以抓取,那些文件不可以抓取

  Allow:允许

  小结:网站优化必须要有robots,robots格式区分大小的,区分大小写格式为:Disallow首字母必须是大写的,在本地新建记事本编辑时需要注意的是:输入法中文要切换成英文,例如:

  同时需要注意的是:在编辑时Disallow:/要空一格如下图所示

  *:定义所有的蜘蛛通配符

  /:通配符拒绝百度蜘蛛访问访问网站根目录的文件,就是全部的意思

  Robots生效时间是多少,是由百度决定的,有可能是1个月或者2个月

  附注:放行也是需要生效时间的

  $:结束符

  附注:同时也需要注意的是,网站动态的路径也要用robots进行屏蔽,在这个前提需要做的是,要了解每个文件下的数据是用来做什么用的,代表什么意思,自己下面也知道如何运用robots进行操作。对robots还是不能理解的,可以点击我的博客:

  <divclass="blockcode"><blockquote><ahref="https://www.chaofanseo.com">SEO研究中心之robots的制作和特殊符号含义</a>

  复制代码

  。

  备注:

  Disallow:/data(一个是文件夹、一个是目录)禁止以data开头的文件或文件夹/data.html/dataaaa.html/data/aaa.html根目录下的文件是不能访问的

  Disallow:/data/(拒绝目录的)禁止文件夹/data/aaa.html能访问/data.html/dataaaa.html

  2、为你在基础操作的网站加上robots

  User-agent:*(定义所有的蜘蛛)

  Disallow:/plus/ad_js.php(拒绝目录/plus/能访问ad_js.php)

  Disallow:/plus/advancedsearch.php

  Disallow:/plus/car.php

  Disallow:/plus/carbuyaction.php

  Disallow:/plus/shops_buyaction.php

  Disallow:/plus/erraddsave.php

  Disallow:/plus/posttocar.php

  Disallow:/plus/disdls.php

  Disallow:/plus/feedback_js.php

  Disallow:/plus/mytag_js.php

  Disallow:/plus/rss.php

  Disallow:/plus/search.php

  Disallow:/plus/recommend.php

  Disallow:/plus/stow.php

  Disallow:/plus/count.php

  Disallow:/include

  Disallow:/templets

 

 

 

Tags:

博主介绍

博主:超凡SEO顾问
seo网站优化知识:

网站基本诊断、关键词分析、网站结构布局 ;
页面优化分析、网站内容分析、网站内链诊断;
网站外链检测、页面的质量、友链的质量等方面;
业务关键词快速排名、品牌关键词快速排名;业务关键词稳定自然排名、品牌关键词稳定自然排名 ;

如果您的网站存在以下问题,请找我:
  1. 如果您还没有网站,线上推广还没有方向不知道要怎么做!
  2. 网站关键词没排名或者排名很差,很长一段时间排名没有丝毫起色!
  3. 外包网站关键词排名,价格太高,风险太大,排名不稳定!
  4. 网站严重降权、首页快照不更新、网页收录严重下降!
  5. 网站有流量但是转化差!--超凡SEO顾问带你飞!
交流微信