一、搜索引擎的发展

　　搜索引擎是一种能够通过Internet接受用户的检索标识，并向用户返回符合其检索要求的信息资源网址的系统。在互联网发展初期，由于网络信息资源有限，信息检索和获取比较容易。随着互联网迅猛的发展，网络信息资源的数量也急剧增加，普通网络用户使用手工检索的方法很难准确、高效的获取所需要的信息，这时为满足用户信息检索需求的专业搜索引擎网站便应运而生了。

　　现代意义上的搜索引擎起始于1990年由蒙特利尔大学学生Alan Emtage发明的Archie。虽然当时WWW还未出现，但网络中存在相当频繁的文件传输，由于这些文件散布在各个分散的FTP(File Transfer Protocol)服务器中，查询起来非常不便，因此Alan Emtage开发Archie作为一个可以以文件名查找文件的系统，使用这个系统用户可以根据文件名很方便的检索到相关文件的地址。

　　Archie工作原理与当前的搜索引擎已经很接近，它依靠编制的脚本程序自动搜索网上的文件，然后对有关信息进行索引标目，供使用者查询。美国内华达System Computing Services大学于1998年开发了另一个与之非常相似的搜索工具，在功能上做了进一步的增强，除了索引文件外，还可以检索网页。

　　机器人(Robot)、蜘蛛(Spider)或网上流浪汉(Web Wander)是搜索引擎中经常使用的工具。机器人指某个能以极快的速度不间断地实现特定功能的软件程序。由于专门用于检索信息的机器人程序象蜘蛛一样在网络间爬来爬去，因此，搜索引擎的机器人程序通常被称为蜘蛛程序。

　　世界上第一个用于监测互联网发展规模的机器人程序是Matthew Gray开发的World wide Web Wanderer。刚开始它只用来统计互联网上的服务器数量，后来发展为能够检索网站域名。与WWW Wanderer相对应，Martin Koster于1998年10月创建了ALIWEB(Archie-Lide Index of the Web)，它是Archie的HTTP版本。ALIWEB不使用机器人程序，依靠网站主动提交信息来建立自己的链接索引，其原理类似于后来的Yahoo。

　　搜索工具都会使用网络自动索引软件在Internet中的各个网页中活动，访问网络中公开区域的每一个站点并记录其网址，把它们带回搜索工具，并创建一个详尽的网络目录供用户使用。

　　ˉ 网络自动索引软件称为Robot、Spider或Worm等，它们实质上是一种自动跟踪、浏览网页并进行标引的智能软件。这类软件在Internet上检索网页，并自动跟踪该网页的超文本结构，循环检索被参照的所有网页。它们一般由采集系统、建库系统、索引查询系统、备份复制系统和目标管理系统等部分构成。

　　随着互联网的迅速发展，使得检索所有新出现的网页变得越来越困难，因此，在Matthew Gray的Wanderer基础上，一些编程者将传统的蜘蛛程序工作原理作了些改进。其设想是，既然所有网页都可能有连向其他网站的链接，那么从跟踪一个网站的链接开始，就有可能检索整个互联网。到1998年底，一些基于此原理的搜索引擎开始纷纷涌现，其中以JumpStation、The World Wide Web Worm(Goto的前身，也就是今天Overture)，和Repository-Based Software Engineering (RBSE) Spider最负盛名。

　　其中JumpStation和WWW Worm只是以搜索工具在数据库中找到匹配信息的先后次序排列搜索结果，因此毫无信息关联度可言。RBSE是第一个在搜索结果排列中引入关键字串匹配程度概念的搜索引擎。