仲子说

我曾经在上个月写过一篇《屏蔽Indy Library的方法》，介绍屏蔽Indy Library的两种方法，分别是在.htaccess文件以及网页中对Indy Library恶意爬虫进行屏蔽。今天介绍一种在httpd.conf中屏蔽Indy Library的方法。
第一步，在httpd.conf中，所有虚拟主机之外的地方（一般在虚拟主机设置之前），增加如下代码：
 SetEnvIfNoCase User-Agent "Indy Library" bad_bot
第二部，在你需要屏...

我想如果一个网站管理员有空的时候看看自己的网站访问日志，是原始日志那种的，不是统计数据的，一定会感到触目惊心的！因为有太多太多不怀好意的连接与访问。通常情况下，这些连接和访问都没有成功，因此没有造成太大的损失。但是一旦他们成功，就会造成很严重的后果。
例如，下面是截取的一段网站访问的日志：
202.96.180.147 - - [05/Dec/2008:15:01:03 +0800] &q...

昨天访问实验室的一个网站，突然发现打开速度巨慢，甚至无法打开！心里顿时大惊。Ping服务器的ip，一切正常；FTP连接，一切正常。于是赶紧通过远程桌面连接服务器，查看网站日志，才发现有一些124.115.4.*、124.115.0.*和58.60.14.*的ip在大量连接网站，网站的访问日志“唰唰唰”地“飞奔”，何其壮观！

我立刻意识到是那个惹人厌的Sosospider爬虫（这些ip段为soso的爬虫，...

搜索引擎是人们再熟悉不过的工具，它将Internet上的信息索引起来，方便人们在海量数据中迅速查找有用的信息。而搜索引擎公司，国外以Google为代表，国内以百度为代表，成为互联网上举足轻重的公司，其访问量也远远超过传统门户网站，成为网民最离不开的网络服务。而遇到问题“Google一下”或者“百度一下”也成为人们日常生活中的习惯。
而对于网站建设者而言...