谷歌google的蜘蛛ip地址段有哪些？

5151593882023年02月07日技术分享

谷歌蜘蛛是最标准的网络爬虫了，所以关于谷歌蜘蛛的开放程度也是最大的，平常在分析日志的时分也发现谷歌蜘蛛是最勤快的爬虫了，最近在分析日志的时分捎带手的对谷歌蜘蛛 IP 进行了体系的统计收拾，通过近半个月的收集截止到目前为止根本获得了谷歌开放蜘蛛的 IP 地址段，今天就分享给我们。

66.249.64.0/19	谷歌
72.14.192.0/18	谷歌
66.249.64.0/20	谷歌
203.208.32.0/19	谷歌
216.239.0.0/16	谷歌
66.102.0.0/16	谷歌
64.233.0.0/16	谷歌
72.14.0.0/16	谷歌
74.125.0.0/16	谷歌
35.244.0.0/14	谷歌

上述 IP 地址段，几乎涵盖了目前经常出现的谷歌蜘蛛，具体清单有：

Google-Display-Ads-Bot
FeedFetcher-Google
Google-adstxt
Googlebot
Googlebot-Image/1.0
Googlebot/2.1
Mediapartners-Google

更多谷歌爬虫 UA 请查阅【谷歌爬虫 UA 字符串】

如果有启用 CDN 的话，强烈主张我们将上述 IP 地址段参加白名单或许加白处理，服务器端依旧主张加白处理哦！如果您跟明月一样使用的是上海云盾 CDN 的话，主张在“用户中心”单独设定一个 IP 库，然后借助“精准访问操控 ”针对此 IP 库进行加白处理：

尽管谷歌蜘蛛十分值得信任，但别有用心的人依旧会利用蜘蛛进行恶意的进犯，所以主张我们有条件的话仍是在服务器端设定好并发请求约束，防备有人利用正规蜘蛛形成 DDoS 进犯哦。其实对待搜索引擎蜘蛛不必过于故意了，只要做到开放即可，招引蜘蛛的最佳手段依旧是高质量原创内容，投机取巧的办法尽量少用，除非你不必考虑域名的长时间价值和利益。请善待来到你网站的蜘蛛爬虫哦！