谷歌google的蜘蛛ip地址段有哪些?
谷歌蜘蛛是最标准的网络爬虫了,所以关于谷歌蜘蛛的开放程度也是最大的,平常在分析日志的时分也发现谷歌蜘蛛是最勤快的爬虫了,最近在分析日志的时分捎带手的对谷歌蜘蛛 IP 进行了体系的统计收拾,通过近半个月的收集截止到目前为止根本获得了谷歌开放蜘蛛的 IP 地址段,今天就分享给我们。
66.249.64.0/19 | 谷歌 |
72.14.192.0/18 | 谷歌 |
66.249.64.0/20 | 谷歌 |
203.208.32.0/19 | 谷歌 |
216.239.0.0/16 | 谷歌 |
66.102.0.0/16 | 谷歌 |
64.233.0.0/16 | 谷歌 |
72.14.0.0/16 | 谷歌 |
74.125.0.0/16 | 谷歌 |
35.244.0.0/14 | 谷歌 |
上述 IP 地址段,几乎涵盖了目前经常出现的谷歌蜘蛛,具体清单有:
-
Google-Display-Ads-Bot
-
FeedFetcher-Google
-
Google-adstxt
-
Googlebot
-
Googlebot-Image/1.0
-
Googlebot/2.1
-
Mediapartners-Google
更多谷歌爬虫 UA 请查阅【谷歌爬虫 UA 字符串】
如果有启用 CDN 的话,强烈主张我们将上述 IP 地址段参加白名单或许加白处理,服务器端依旧主张加白处理哦!如果您跟明月一样使用的是上海云盾 CDN 的话,主张在“用户中心”单独设定一个 IP 库,然后借助“精准访问操控 ”针对此 IP 库进行加白处理:
尽管谷歌蜘蛛十分值得信任,但别有用心的人依旧会利用蜘蛛进行恶意的进犯,所以主张我们有条件的话仍是在服务器端设定好并发请求约束,防备有人利用正规蜘蛛形成 DDoS 进犯哦。其实对待搜索引擎蜘蛛不必过于故意了,只要做到开放即可,招引蜘蛛的最佳手段依旧是高质量原创内容,投机取巧的办法尽量少用,除非你不必考虑域名的长时间价值和利益。请善待来到你网站的蜘蛛爬虫哦!
本站资源均来源于互联网,仅限于学习研究,严禁从事商业或者非法活动!