谷歌推出爬虫扩展代理 网站管理员可以屏蔽谷歌抓取内容用于训练AI – 蓝点网
发布时间：2025-11-04 09:16:12 作者：玩站小弟 
我要评论
我要评论在 OPENAI 公布 GPTBot 爬虫的相关信息后，今天谷歌宣布在 GoogleBot 基础上推出 Google-Extended 爬虫扩展代理，允许网站管理员使用 robots.txt 文件屏蔽
。
在 OPENAI 公布 GPTBot 爬虫的谷歌管理谷歌相关信息后，今天谷歌宣布在 GoogleBot 基础上推出 Google-Extended 爬虫扩展代理，推出允许网站管理员使用 robots.txt 文件屏蔽谷歌抓取网站内容用来训练 AI 模型。爬虫屏蔽
谷歌没有推出单独的扩展 AI 爬虫，AI 爬虫仍然使用 GoogleBot，代理但网站可以声明是网站网否拒绝其抓取内容后训练 AI，如果要声明那就需要使用 Google-Extende代理令牌。员可用于
谷歌称，内容Google-Extended 是训练一种新控件，网络发布商可以使用它管理其网站是蓝点否有助于改进 Bard 和 Vertex AI 等生成式 AI 模型，在博客中谷歌多次提到网站可以帮助谷歌改进 AI，谷歌管理谷歌比如网站管理员可以选择是推出否帮助这些 AI 模型随着时间推移变得更准确和强大。
不过最终还是爬虫屏蔽网站管理员自己决定是否允许谷歌拿内容去训练 AI，如果不愿意的扩展话，可以在 robots.txt 中添加以下内容：
User-Agent: Google-ExtendedDisallow：/
需要提醒的代理是谷歌对于 robots.txt 的处理遵循了多种原则，而且 Google Bot 本身有一大堆用于不同用途的 bot，例如常规的 GoogleBot、GoogleBot-News、GoogleBot-Image 等，这些 bot 是可以在 robots.txt 里混用的。
例如要允许谷歌搜索抓取网站内容、不允许谷歌抓取内容用于训练 AI，那么 robots.txt 可以这么写：
User-Agent: GooglebotAllow: /User-Agent: Google-ExtendedDisallow: /
相关文章
《圣魔导物语》是一款非常萌的游戏，也是PSV移植到PC平台的游戏作品，最近官方公布了游戏上线视频，如果喜欢这类画风的话，可以期待一下游戏的解锁。用驱魔之力鞭笞魔物吧，《圣魔导物语》即将于6月4日登陆S2025-11-04
前言：答：梁静茹～歌曲名称:分手快乐出版年代:2003年发行公司:滚石唱片语言类别:国语作词:姚若龙作曲:郭文贤我无法帮你预言你自信时候真的美多了你发誓你会活的有笑容没人能把谁的幸福没收看透彻了心就会2025-11-04
前言：8个避孕套是什么意思这个问题我已经回答过了。这是林丹奥运会上说的一句话，丢球了说了一句骂了隔壁我草，但是网友根据口型翻译成八个避孕套。林丹八个避孕套什么意思这是恶搞而已，他曾经在一场比赛结束后爆2025-11-04
怎么描写?1、蟋蟀通过摩擦唱歌。在蟋蟀的翅膀上,一边有一个类似锉刀的翼膜,相当于弦乐器,另一边有一个坚硬的翼膜,相当于蹦跳者。当这两种发音装置相互摩擦时,蟋。昆虫记中意大利蟋蟀的发声情况?"2025-11-04
小龙斯派罗三部曲是款根据同名动漫制作的冒险游戏，这款游戏最近公布了新的预告视频以及一些游戏内容，据官方表示游戏可以在原声和新音轨进行自由切换，下面内容大家可以了解一下。动视在这次的圣地亚哥动漫展中向玩2025-11-04
usb转雷电是什么梗?答:usb-c转闪电的意思是指一端接头为USB-A,另一端接头为闪电Lightning的数据线,使用该数据线可以将诸如iPhone、iPad和iPod等具有Lightning接口2025-11-04
最新评论