• 西安seo博客承接:西安优化外包-西安seo优化-西安网站优化等网站服务

网站robots文件没做好带来的影响不可小视

王泽鹏博客 2个月前 (10-23) 26次浏览 0个评论

网站优化过程非常容易忽视的一个就是 robots 文件,因为如果网站彻底不做 robots 文件好像也没有多大影响,但不做好这个文件,引起的问题可不能小视。

什么是 robots 文件?简单的说就是告诉搜索引擎哪些是你能抓取的哪些是你不能碰的,哪个蜘蛛可以进来哪个不能进来,做好了 robots 文件有以下几点好处:节省服务器资源,避免不必要的抓取;像有客户资料的私密信息不会泄露;让蜘蛛爬取的更加顺利方便,增加搜索引擎的友好度等等。

一、robots 文件看法

想要看别人网站的 robots 文件,直接在网址栏输入:http://www.域名.com/robots.txt,比如你想看 A5 的 robots 文件就可以输入:https://www.admin5.com/robots.txt

二、robots 文件写法

这个在网上有大量的教程,本人的表达能力也比较欠佳,就不再赘述了。建议还是参照百度站长平台的资讯更加简单易懂一点。

三、如果 robots 文件出现了问题导致网站数据出现严重问题怎么办

robots 文件对于稍稍有点规模的网站都是不可或缺的,很多不必要的搜索引擎的蜘蛛那就没有必要让它们爬取来占取资源,这时靠 robots 封禁,如果网站出现了严重的数据波动,比如收录索引全部掉完,排名全部下降,若网站没有出现其他问题正常优化的情况下,首先就要检查 robots 文件,这时也不要慌,笔者整理了方法,供大家参考使用。

1.修改 Robots 封禁为允许,然后到百度站长后台检测并更新 Robots。

2.在百度站长后台抓取检测,此时显示抓取失败,没关系,多点击抓取几次,触发蜘蛛抓取站点。

3.在百度站长后台抓取频次,申请抓取频次上调。

4.百度反馈中心,反馈是因为误操作导致了这种情况的发生。

5.百度站长后台链接提交处,设置数据主动推送(实时)。

6.更新 sitemap 网站地图,重新提交百度,每天手工提交一次。

以上处理完,接下来就是等待了,基本 5 天内就能回到正常状态!在最后笔者还是建议大家要好好做好网站的 robots 文件,因为好处是有目共睹的,放在根目录下就可以了,当然,还可以在 robots 文件中放上网站的 sitemap,对蜘蛛的爬取很有好处。


王泽鹏博客版权所有丨如未注明 , 均为原创丨 转载请注明网站 robots 文件没做好带来的影响不可小视
喜欢 (0)
[zhifu@wangzepeng.cn]
分享 (0)

您必须 登录 才能发表评论!