activityrpg大作地牢奇迹-防止内容被抓取训练AI 百度百科屏蔽谷歌/必应等搜索引擎

焦点2024-09-20 14:56:48854

快科技今日（8月22日）消息，防止据报道，内容近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎，被抓I百蔽谷activityrpg大作地牢奇迹预计是取训为了阻止这些搜索引擎和其他爬虫，未经授权抓取百度百科的度百内容用于训练AI。

防止内容被抓取训练AI 百度百科屏蔽谷歌/必应等搜索引擎

百度百科的科屏robots.txt文件显示，目前仅有百度搜索、歌必搜狗搜索、应等引擎中国搜索(Chinaso)、搜索activityrpg大作地牢奇迹YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。防止

谷歌搜索、内容必应搜索、被抓I百蔽谷微软MSN、取训UC浏览器的度百Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。

虽然360搜索没有在封禁列表中单独列出，科屏但百度百科的策略是禁止一切非白名单爬虫抓取，所以360搜索和其他搜索引擎也都是被屏蔽的。

不过百度百科这种做法其实也只是防君子不防小人，肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。

本文仅代表作者观点，不代表本站立场。
本文系作者授权发表，未经许可，不得转载。