用python编写简单合法的线上爬虫并存储在记事本中

关注

原创最新推荐文章于 2026-03-25 15:13:24 发布 277 阅读 AI 写同款· GEO 优化 ›

网络爬虫是否合法？网络爬虫合法吗？网络爬虫领域目前还属于早期的拓荒阶段，虽然互联网世界已经通过自身的协议建立起一定的道德规范（Robots协议），但法律部分还在建立和完善中。从目前的情况来看，如果抓取的数据属于个人使用或科研范畴，基本不存在问题；而如果数据属于商业盈利范畴，就要就事而论，有可能属于违法行为，也有可能不违法。 1.2.1　Robots协议 Robots协议（爬虫协议）的全称是“网络爬虫排除标准”（R... 阅读详情

第一步：选择目标网页

第二步：进行代码编写

在第二步中可以进行测试，看网页是否解析成功

最后则是记事本的结果查看

以下是代码内容

import requests
from bs4 import BeautifulSoup
url="https://www.news.cn/politics/20241222/d7d1bc2ca0c744139abd58e56af5fee1/c.html"
res=requests.get(url)
s=BeautifulSoup(res.text,'html.parser')
# print(s)
cont=[]
for pap in s.find_all('p'):
    cont.append(pap.get_text(strip=True))
output_file='test3.txt'
# print(cont)
with open(output_file,'a',encoding='utf-8') as fly:
    for line in cont:
        fly.write(line+'\n')
print(f'已保存{output_file}')