通过限制蜘蛛抓取页面数量来提升搜索引擎优化后果
发布时间：2023-05-08 12:57:49 所属栏目：优化 来源：
导读：如果是虚拟空间的话,那么有一点流量是受限制的,如果大部分的流量都被蜘蛛占用,那么就需要另外的花费流量来进行购买了。那么，如果一个网站上的大批流量被蜘蛛爬行所挥霍，有什么技能和方式可以在不影响搜索引擎优化后
|
如果是虚拟空间的话,那么有一点流量是受限制的,如果大部分的流量都被蜘蛛占用,那么就需要另外的花费流量来进行购买了。那么，如果一个网站上的大批流量被蜘蛛爬行所挥霍，有什么技能和方式可以在不影响搜索引擎优化后果的情形下限制搜索引擎优化后果呢？Two or Tenseo参谋以为我们可以采用以下方法： 1、找出假蜘蛛和护盾IP。通过对网站日志的剖析，我们可以知道，很多所谓的百度蜘蛛或谷歌蜘蛛其实都是假的。我们可以剖析这些假蜘蛛的IP来屏蔽它们，这样不仅可以节约流量，还可以降低网站被收集的风险。具体操作需要检讨ip是否是真正的蜘蛛，操作方式是：点击左下角的start-run-cmd-enter命令即可看到成果。如果是真的，搜索蜘蛛有一个蜘蛛标志，但假蜘蛛没有标志。 2、屏蔽无效蜘蛛或搜索蜘蛛对搜索引擎优化的影响很小。比如我们知道google蜘蛛是一个非常大的抓取量，但是对于很多行业来说，google的流量很低，seo的后果不好，所以我们可以屏蔽google蜘蛛的抓取量并节俭很多流量，比如说网站屏蔽了抓取量。谷歌蜘蛛。除了谷歌，还有一些蜘蛛，如谷歌搜索、必应蜘蛛等。这些流量很低，或者几乎没有蜘蛛能真正躲开。 3、使用robots.txt限制无效或反复页面的爬网。有些页面可能以前就存在，但现在不存在，或者存在动态和静态URL。由于数据库中存在反向链接或此类链接，蜘蛛仍会不时地抓取它们。我们可以找到返回404页的url并将其屏蔽，从而改良数据的抓取，自动屏蔽也进一步减少了对手机流量的进一步挥霍。 4、限制页面爬行的内容，降步爬行的效力和速度，减少爬行的流量。对于任何页面，都有许多无效的噪声区域，例如网站登录、注册部分、底部版权信息、一些有用的链接导航，或者一些模板上的蜘蛛无法辨认的显示模块，我们可以使用这些模板添加nofollow标签。 5、外部链接或CDN加速，以改善蜘蛛抓取，减少服务器响应和流量挥霍。目前的网站大多使用大批的图片、视频等多媒体来显示，但这些图片缺少更多的下载流量。如果我们对图片使用外部调用，那么我们可以节约大批蜘蛛爬行流量。目前，更好的方式是把图片放到其他服务器上或上传到一些磁盘上。 6、使用站长工具限制或改良蜘蛛抓取，或限制蜘蛛抓取的时光。目前，百度站长平台和谷歌站长平台都有站长抓取工具，可以用来限制蜘蛛抓取的时光和数量，我们可以依据须要合理安排，到达较好的后果。 当然，在实践中，我们也可以依据自己的实际须要来解决这个问题，比如对于一些抓取量过大的栏目，在站点地图中设置一个较低的抓取频率，如果一些主要的内容没有被很好地包括进来，可以增添外部或内部的链来进步抓取的效力等等。该方式已经失效，可以依据具体情形进行改良。为了减少抓取和进步抓取效力，须要对更新期间的设置进行合理化。在更新期间，系统会自动进行一次抓取，并且在抓取结束后，系统会自动进行一次放弃抓取。这样一来，就可以大大提高抓取的效率。 （编辑：聊城站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
