爬行是什么?
爬行指的是搜索引擎蜘蛛从已知页面上解析出链接指向的URL,然后沿着链接发现新页面(也就是链接指向的URL)的过程。当然,蜘蛛并不是发现新URL马上就爬过去抓取新页面,而是把发现的URL存放到待抓地址库中,蜘蛛按照一定顺序从地址库中提取要抓取的URL。
抓取是什么?
抓取是搜索引擎蜘蛛从待抓地址库中提取要抓的URL,访问这个URL,把读取的HTML代码存入数据库。蜘蛛的抓取就是像浏览器一样打开这个页面,和用户浏览器访问一样,也会在服务器原始日志中留下记录。
索引是什么?
索引指的是将一个URL的信息进行整理,存入数据库,也就是索引库,用户搜索时,搜索引擎从索引库中提取URL信息并排序展现出来。索引的英文是index。索引库是用于搜索的,所以被索引的URL是可以被用户搜索到的,没有被索引的URL用户在搜索结果中是看不到的。
要注意的是,所谓“一个URL的信息“,并不限于蜘蛛从URL上抓取来的内容,还有来自其它来源的信息,如外部链接、链接的锚文字等。有的时候,索引库中关于这个URL的的信息,根本没有从这个URL抓取来的内容,但搜索引擎知道这个URL的存在,并且有一些其它信息。
抓取和索引不是一回事。
收录是什么?
我个人觉得收录和索引没有区别。只不过收录是从搜索用户角度看的,搜索时能找到这个URL,就是这个URL被收录了。从搜索引擎角度看,URL被收录了,也就是这个URL的信息在索引库中存在。英文并没有收录这个词,和索引用的是同一个词index。
noindex的作用是什么?
页面头信息中放上meta noindex标签是告诉搜索引擎不要索引这个URL,也就是用户搜索时找不到这个URL的信息,这个URL不会返回在搜索结果列表中。
noindex不是告诉搜索引擎不要抓取这个URL,实际上,noindex要起作用,这个URL是必须先被抓取的,不然搜索引擎怎么看到页面HTML代码中有noindex标签呢?
robots文件的作用是什么?
robots文件是告诉搜索引擎,某些URL不要抓取。注意,这里说的是不要抓取,没说不要索引。和noindex是正相反的。
nofollow的作用是什么?
给链接加上nofollow属性是告诉搜索引擎,不要沿着这个链接爬行,就当这个链接不存在。注意,nofollow只是告诉蜘蛛不要爬这个链接,没有说不要抓取链接指向的URL,也没有说不要索引链接指向的URL,nofollow既没禁止抓取,也没禁止索引。
概念说过后,指出几个SEO们经常弄不明白的情况:
没有被抓取的页面是可以被索引的
也就是说,蜘蛛没有访问和抓取这个页面(比如被robots文件禁止抓取),这个页面却有信息存在索引库中,用户搜索时还能看到。
一、去除百度风险提示【淘宝担保交易】佛山智唯网络科技有限公司,去除百度风险提示,一般两个工作日完成清除百度风险提示的工作。若一周后任然没有去除百度风险提示,你在淘宝上申请退款,然后通知我司,我们会立即给你退款。若在一周内成功去除百度风险提示
查看详情想必每一位站长都有做新站的经历,新站上线后在一段时间内不会被百度收录,或者只收录首页等,站长们称这段时间为百度考核期。有的站长在这段时间内辛勤耕耘,有的站长则是坐等收录。笔者的个人博客SEO之路shang-nan.net于5月20日上线,一
查看详情不管你是否已经建设了一个网站,在SEO项目开始时都应该从SEO的角度去研究一下网站的构架。通常,该任务可以分为两个主要组成部分:技术决策和结构决策。千万不要掉以轻心,你对网站的任何技术决策都会对SEO产生巨大影响。动态URL谷歌曾经声称过动
查看详情一、选择大品牌正规空间商网站优化技术不是所有的企业都掌握,所以很多时候企业依靠的是seo外包公司,包括选择空间、建站、设计网站等等。有些外包商为了自身盈利,选择便宜的垃圾空间,导致seo优化很久也不能获得好的排名。智唯网络建议,企业在选择空
查看详情**步 错别字一些流行词汇或者专业词语经常会有这种现象。查询者辨不清自己需要的关键词的正确写法或者名称以导致输入词错误。例如“气胀轴”与“气涨轴”,“校内网涂鸦板代码”与“校内网涂鸦版代码”。前者是对专业名词不熟悉,后者完全是输入错误。第二
查看详情网站 4月中上线,收录后,5月初因空间不稳定被k,之后空间稳定,每天只是发文章,外链,到现在两个来月了,网站还是没恢复,分析日志,百度蜘蛛有访问,网站也没发现有什么问题,客户着急,我也着急了,不知道还能做些什么,请高手指点,先拜谢了!智唯解
查看详情专注品牌网站建设+运维技术
统一报价,无隐形消费
诚信服务每一位顾客 7*24