OpenAI限制网络爬虫访问以保护数据免被用于AI模型训练

据报道，openai最近推出了一个新功能，允许网站阻止其网络爬虫从其网站上抓取数据以训练gpt模型，以应对数据隐私和版权等问题

GPTBot是OpenAI开发的网络爬虫程序，它能够自动搜索和提取互联网上的信息，并将网页内容保存下来，以供训练GPT模型使用

根据OpenAI的博客文章，网站管理员可以通过在其网站的Robots.txt文件中禁止GPTBot访问，或者通过屏蔽其IP地址来阻止GPTBot从网站上抓取数据。OpenAI还指出，使用GPTBot用户代理抓取的网页可能会被用于改进未来的模型，同时会过滤掉付费访问、已知收集个人身份信息（PII），或者违反OpenAI政策的文本来源。对于符合排除标准的来源，允许GPTBot访问网站将有助于提高AI模型的准确性、通用能力和安全性