网站robots文件是不是需要放网站地图
发布时间：2022-03-11 10:09:53 所属栏目：优化 来源：互联网
导读：问题：网站robots文件是否需要放网站地图？ 回答：网站robots.txt这个文件里面是否放网站地图是没有影响的，通常我们在网站正式上线以后，都会去提交sitemap文件页面，这样搜索引擎就能知道网站地图的存在，后面也会不断的来抓
|
问题：网站robots文件是否需要放网站地图？ 回答：网站robots.txt这个文件里面是否放网站地图是没有影响的，通常我们在网站正式上线以后，都会去提交sitemap文件页面，这样搜索引擎就能知道网站地图的存在，后面也会不断的来抓取。所以没有必要在robots文件里添加，当然添加了也是可以的。 大家之所以想要在robots文件里面添加网站地图，就是担心怕某些页面不会被搜索引擎抓取到。其实不用担心，百度搜索的自动抓取功能已经再次上线，只要网站页面被打开，就会自动推送到百度搜索。至于蜘蛛抓取后收录还是不收录页面，这就要另行讨论了。 关于网站地图的问题，百度发了及时清理历史sitemap文件的公告，从这个公告中可以看出，目前搜索引擎对于网站页面的抓取不会太过依赖网站地图。相反，如果网站地图的文件过大，还会影响到搜索引擎对网站新内容页面的抓取。所以大家不要纠结要不要在robots文件里添加网站地图链接了，因为网站地图的作用已经明显降低，对于数据并且自动更新网站地图的网站来说，这个sitemap文件已经有了鸡肋的意思。 关于网站robots文件是否需要放网站地图的问题， 总之来说，网站地图的功能已经没有那么好，大家不用在这个问题上浪费时间，做好内容建设和用户体验才是王道。 （编辑：聊城站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐