如何开展网站死链检查?死链检查工具有哪些?
发布时间:2023-02-25 10:46:34 所属栏目:优化 来源:
导读:在网站SEO优化工作中,网站死链检查是一项常规的工作,这项工作需要引起重视。百度爬虫在抓取网站链接时,通过这个网页开始浏览一个页面,然后不断浏览其它页面,通过网站内部的链路进行深度抓取。今天我们讲一下网站
在网站SEO优化工作中,网站死链检查是一项常规的工作,这项工作需要引起重视。百度爬虫在抓取网站链接时,通过这个网页开始浏览一个页面,然后不断浏览其它页面,通过网站内部的链路进行深度抓取。今天我们讲一下网站死链检查工具及处理方法。 百度蜘蛛通过模拟真实用户来抓取页面,如果baiduspider在抓取时遇到了有多个分支无法打开的页面,也就是网站的死链太多,这会影响网站评分,同时降低百度蜘蛛抓取网站的频率,甚至降低网站本身的权重和关键词排名。 一、什么是网站链接 所有由网站产生(或指向)的URL都可以称为网站的链接,包括频道页、分类页、文章列表页、文章内容页、标签页和内容聚合页。这里所指的网站链接还包括网站外链,如指向其他网站的友情链接、指向工业和信息化部网站的ICP备案信息链接等。 二、什么是网站死链 广义上讲,无法打开的网站页面(即页面内容不存在)可以被称为网站死链。网站的其中一侧上的一些内容链接被不加区分地识别为404页面,而另一些则没有。我们谈论的网站视链还包括与其他网站的链接(出站链接)。如果不能被访问,也可以被称为死链接。 三、网站死链的形成 在网站的实际运营和维护中,修改网站URL规则、调整目录(或目录别名)名称、删除网站目录或文章、自定义页面URL等都可能形成网站死链。另外,要经常更新网站地图,清除网站缓存,更新目录页、列表页、频道页等,否则容易会出现网站死链。 四、网站死链如何处理 前面所说的网站死链检查工作,都是为这一步做准备,那些网站死链要如何处理呢?通过网站死链检测工具分析出来后,逐个手动打开并查看是什么原因导致的。同时将确定为死链的页面URL地址保存至TXT文件中,提交至各大搜索引擎站长平台,这个操作是为了告诉搜索引擎,这些URL地址不要再次抓取了,是错误的、不能正常打开的页面。 另外网站设置404页面,并将错误页面导向网站上其他可以打开的页面。这样做可以通过404码告诉蜘蛛该页面是不正常的,同时可以降低网站用户流失率。然后将网站死链URL地址存储于网站机器人协议robots.txt文件中,并设置为蜘蛛禁止抓取,即屏蔽蜘蛛访问这些URL地址。3、对于一些特殊情况,比如网站被黑客攻击,可以通过修改dns服务器地址,来避免dns劫持。 (编辑:聊城站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
站长推荐