网站非常有必要对蜘蛛做屏蔽的一些内容

 首先,涉及网站安全隐私的内容要屏蔽,因为暴露给蜘蛛是没有丝毫好处的,甚至还可能会多一份被攻击的渠道,所以,涉及到有关安全的目录,比如数据库目录,网站日志目录,以及备份目录都需要进行屏蔽,另外,有些站长在网站备份后,再进行下载,可是下载过后,又不对备份文件的删除,这也是很容易导致蜘蛛重复抓取,也容易导致被黑客攻击,所以利用ROBOTS.TXT文件来屏蔽类似“RAR和ZIP”文件,也是非常有必要的,最起码能够增强网站的安全性。

  其次,CSS目录对于蜘蛛来说,是完全无用的,抓取后反而会影响搜索引擎算法的判断,所以可以通过ROBOTS.TXT文件来进行屏蔽,另外,很多建站程序的RSS页,也是一种内容的重复,抓取后也会造成搜索引擎的误判断,这两个方面的内容都需要屏蔽,这种屏蔽看起来是对蜘蛛的大不敬,实际上却很有必要。

  还有,图片和模板目录都可以进行屏蔽,目前有很多站长,都是在互联网上找相同的图片,套用现成的模板,这些模板和图片已经在互联网泛滥了,此时,你还让你的网站被蜘蛛再次爬行这些老掉牙的东西,自然会让蜘蛛非常的反感,从而让你的网站贴上模仿作弊的标签,想要获得搜索引擎的青睐是非常困难的,所以IMAGES目录通常可以屏蔽。

  再有,缓存目录可以屏蔽,防止重复索引,搜索引擎蜘蛛是非常贪婪的,只要你给他喂食,它是不管真实还是虚幻都照单全收,比如,网站的缓存目录里面的内容,蜘蛛也会照样来进行索引,这势必和网站里面的内容出现了重复,如果出现重复的数量过多,那么,百度的算法机制就会认为你的网站在作弊,从而影响提升你网站的权重。通常,每种建站程序的缓存目录是不一样的,要根据不同的建站程序,来屏蔽相应的缓存目录是非常有必要的。

  通常情况下,网站的静态页面是很容易被搜索引擎收录,通常蜘蛛抓取和收录是两回事,网站除了静态页面之外,大部分网站还存在着动态的页面,这两个指的是同一个页面,如果不进行屏蔽的话,势必造成两个页面同时被蜘蛛抓取,可是到了搜索引擎算法判断的时候,因为发现了两个一样的页面,就会认为你网站存在作弊的嫌疑,所以,加大对你网站的考察力度,从而影响到网站的排名,因此,正确的做法是优先屏蔽网站的动态页面。

未经允许不得转载:SEO教程网 » 网站非常有必要对蜘蛛做屏蔽的一些内容