robots.txt文件及robots meta标签的应用
发布时间：2023-02-27 10:18:36 所属栏目：优化 来源：
导读：robots.txt文件是搜索引擎蜘蛛来到网站后访问的第一个文件，我们在编写时有很多需要注意的地方，语法的使用不正确将造成严重危害，有些语句可能发挥不了应有的作用，会影响搜索引擎对网站的访问。接下来分享下robots
|
robots.txt文件是搜索引擎蜘蛛来到网站后访问的第一个文件，我们在编写时有很多需要注意的地方，语法的使用不正确将造成严重危害，有些语句可能发挥不了应有的作用，会影响搜索引擎对网站的访问。接下来分享下robots文件与robots meta标签的应用。 robots文件可以指定sitemap的位置，写法是 sitemap：域名/sitemap.xml，这样就告诉搜索引擎蜘蛛这个地址是网站地图，如果我们有一些隐私文件要屏蔽搜索引擎蜘蛛不让其抓取时，可以在robots.txt中写上路径地址，相反网站中没有要屏蔽的内容时，则不用写明。 示例如下： User-agent: * Disallow: / bin / 如果有个页面不想让搜索引擎收录但却已经收录了，我们可以通过robots meta标签来解决。robots.txt文件攻击的主要目标是限制针对整个搜索引擎站点或者任何一个目录的蜘蛛搜索引擎的访问，而 robots meta标签则主要是针对某个具体的页面，此标签放在页面中，专门用来告诉搜索引擎蜘蛛如何抓取该页面的内容。 robots meta标签的基本写法是：<meta name="robots" conten="index,follow">，这是我们应该学的SEO基础知识，以下是几项需要特别注意的地方： 1、在 robots meta标签中，name="robots"表示所有的搜索引擎，也可以针对某个具体的搜索引擎，如针对百度可以写为 name="Baiduspider"。 2、在content部分有4个指令选项，以英文逗号“,”隔开，分别是：index、follow、noindex、nofollow。 index 指令告诉搜索引擎蜘蛛可以抓取该页面。 noindex 指令与index指令相反，表示搜索引擎蜘蛛不可以抓取该页面。 follow 指令表示搜索引擎蜘蛛可以爬行该页面上的链接。 notollow 指令与 follow指令相反，表示搜索引擎蜘蛛不可以爬行该页面上的链接。在网页中，这两个指令的作用是不同的。前者用于检测网页是否存在恶意代码，后者用于判断网页是否存在违规行为。 （编辑：聊城站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐