搜索引擎爬虫列表
2008年5月11日 18:52
标签: Apache, Freebsd/Unix服务器, Spiders, 实验室, 搜索引擎, 网络爬虫 and 蜘蛛
搜索引擎是人们再熟悉不过的工具，它将Internet上的信息索引起来，方便人们在海量数据中迅速查找有用的信息。而搜索引擎公司，国外以Google为代表，国内以百度为代表，成为互联网上举足轻重的公司，其访问量也远远超过传统门户网站，成为网民最离不开的网络服务。而遇到问题“Google一下”或者“百度一下”也成为人们日常生活中的习惯。
而对于网站建设者而言...