那些年爬过我页面的蜘蛛(爬虫、机器人)

在gae后台查看了一下日志(logs选项),发现下面的这些搜索引擎爬虫(蜘蛛)爬过我的页面(不完全统计),把它们名字和的打的旗号(使用的useragent)列出来:

msnbot/2.0b (+http://search.msn.com/msnbot.htm)
微软家的msn机器人

ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)
alexa家的爬虫

Mozilla/5.0 (compatible; AhrefsBot/4.0; +http://ahrefs.com/robot/)
ahrefs的外链机器人

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
百度蜘蛛,网页搜索蜘蛛

Mozilla/5.0(compatible; Sosospider/2.0; +http://help.soso.com/webspider.htm)
搜搜网页蜘蛛

Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
搜狗网页蜘蛛

Baiduspider-image+(+http://www.baidu.com/search/spider.htm)
百度蜘蛛,图片搜索蜘蛛

Mozilla/5.0+(compatible;+googlebot/2.1;++http://www.google.com/bot.html)
谷歌家的蜘蛛

PagesInventory (robot http://www.pagesinventory.com)
PagesInventory.com蜘蛛

这是他们的介绍:PagesInventory.com is a free service that provides information about webhosting and domain names, reverse IP (+Ipv6) search and some other services.
提供主机和域名信息查询,ip反查域名等服务的一家公司。

Mozilla/5.0 (compatible; Ezooms/1.0; ezooms.bot@gmail.com)
ezooms.com家的,名号很奇葩啊,貌似是提供ip反查地理地址服务的

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
微软家的bing搜索机器人

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
yandex家的机器人,俄罗斯份额第一的搜索引擎