仅仅通过UA来判断来访者是不是蜘蛛肯定是不行的，那只是请求中的一个字段而已，想填写什么都行，从国内的几个搜索引擎来说，只有360把自家蜘蛛服务器的ip地址段公布了出来，其他并不提供自家服务器的IP，不过都提供了另一个方法…

最近发现日志里有很多没见过的蜘蛛UA，基本上都是国外的一些搜索引擎，或者很本不是搜索引擎，有的抓取频率很高，刚开始设置了下robots.txt，因为他们首先都抓取了robots.txt，应该是遵守规则的，没想到人家只是走…