搜索引擎的工作过程,搜索引擎必须经过一下3个阶段来获取数据。
1.爬行和抓取
搜索引擎在开始工作时,会派出一个能够发现并访问新网页的程序,这个程序通常被称为蜘蛛Spider(或机器人Robot、爬虫Crawler,不同搜索引擎有不同的叫法,但其实质都是一样的),这个过程就像用户上网访问网页一样,蜘蛛程序将收到的网页代码存入原始页面数据库。
互联网是由相互链接的网站及页面组成的,蜘蛛程序在访问已知网页后,顺着链接爬行到更多的网页,并将新的网址记入搜索引擎自己的数据库中等待抓取。
2.索引
搜索引擎程序将抓取到的文件进行分解、分析等预处理,并以某种特定形式存入数据库中,以备排名程序调用,这个过程就是索引。
3.排序
在搜索处理后,搜索引擎从搜索数据库中找到所有跟关键词相关的网页页面,并且根据搜索引擎自己的排名算法,计算出哪些网页应该排名在前,哪些网页应该排名在后。然后按照一定的格式,将这些经过排序的网页搜索结果页面,提供给用户作为最终搜索结果,这就是常见的搜索引擎搜索结果页。