了解“蜘蛛”提高网站收录
发布于:2018-05-22 15:07   编辑:www.zizhusite.com 浏览:

蜘蛛是搜索引擎的一个自动程序,它的作用是访问互联网上的HTML网页,建立索引数据库,使用户能在百度搜索引擎中搜索到网站的网页。简单的说,它是网站与搜索引擎交流的工具,正是有了蜘蛛,搜索引擎才能知道你的站点,进而才产生了收录和排名。因为蜘蛛是一个自动程序,依靠各项设定的规则来行动,所以通过跟踪蜘蛛的动向和搜索引擎的反应,就可以有的放矢的对网站进行优化。
1.新站上线吸引蜘蛛
网站上线后,首先向搜索引擎提交页面·搜索引擎会分析出其中含有的链接,然后进行爬行,由于是新站,所以在提交之后,蜘蛛的反应也不会很快,一次可能只抓取一两个页面就走,等到下次来继续抓取页面。
google提交地址
http://www.Google.com/intl/zh-CN/addurl.html
百度提交地址
http://www.baidu.com/searchjurlsubmit、html
在网站初期有一个特加需要注意的阿题,那就是网站不能有死链坏链,并且要保证网站服务器的稔定,也就是说一定要给蜘蛛营造一个好的爬行环境,因为蜘蛛一域碰上死链就会直接“走掉”。如果网站服务器不稳定,可能蜘蛛转一圈,一个页面还没有抓取就迫不及待的走了。我们还要保证新站的内部鲢接有层次,保证蜘蛛能够更好的抓取内容。新站建初期,友情接的作用还是很大的,它可以大大增加蜘蛛在新站的爬取次数,可以一定程度上缩短网站的收录时间·新站上线时,数据不能太少,要有足够的数据,同时内部链接要合理,这样才是一个成型的站点,蜘蛛爬取时对于这个站点的印象分才会很高·一般新网站在百度的收录时间大概在半个月左右,而google蜘蛛在网络上爬行的比百度蜘蛛更加频繁,可能两天就收录了新文章。
2.查看蜘蛛足迹
在搜索引擎对网站的收录进人稔定阶段时,有一个小诀窍可以噌加百度蜘蛛的爬行次数。每天的更新内容不要一次更新完,可以2个小时更新一部分或者分批进行更新。因为在这个阶段,有一部分的百度蜘蛛是通过首页进人的,一旦发现首页没有变化就离开。这样定时定量更新的好处就显现出来了,蜘蛛进人首页一次发现首页变动一次,爬行的当然就更加頻繁了。同时,多注意蜘蛛爬行的时间段,在这个时间段内进行更新,收录的速度是最快的。这就需要一款可以随时查看蜘蛛动向的工具了,很多CMS都具备这样的功能,能够很清晰的记录各个大型搜索引擎的机器人痕迹,包括停留时间,爬行过的页面等都有详细数据,可以对每日爬行进行分析,或者对比几个栏目哪个爬行的次数最多。