requests.get为什么得到的内容和查看源文件不一样？

最新推荐文章于 2024-07-12 23:33:53 发布

caodongfang126

最新推荐文章于 2024-07-12 23:33:53 发布

阅读量2.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： python

本文链接：https://blog.youkuaiyun.com/caodongfang126/article/details/104705869

在学习爬虫时遇到一个问题，使用requests.get获取的网页内容与直接查看源文件的内容不同。原因是请求头（headers）设置不正确。通过添加正确的User-Agent和其他相关headers，可以确保获取到与源文件相同的内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

由于初学爬虫尝试着在beausoup库和re正则间来回爬去加强对两种方法的理解但是利用正则的时候出现了一个这么个问题

源文件打开找到的元素在requests.get竟然没有.当我们输出一下html.text时我们发现竟然和源文件不一样

具体操作如下
headers={'User-Agent':'Mozilla/xxxxxxxxxxxxetaSr 1.0',
        'Host':'tieba.baidu.com',
         'Referer':'http://tieba.baidu.com/i/i/fans?u=4f5fe69d8ee4b9904d16',
        'Cookie':'BAIDUID=ED02DEFE60A617EF43B8F0F72EDE4DE6:FG=1; BIDUPSID=ED02DEFE60A617EF43B8F0F72EDE4DE6;
PSTM=1508720102;TIEBA_USERTYPE=e916512815a19960b624ed59; bdshare_firstime=1508724078966; FP_LASTTIME=1510621935104;
TIEBAUID=151fb0a2f5bc99698d3e338b;rpln_guide=1; BDUSS=pBOFZsUG5PdFAxMnFtQU5DWEIxMDVOTWYyZWxyczB-
fm10cjVPaElCQ0d2anRhQVFBQUFBJCQAAAAAAAAAAAEAAABPX00WwO7A1gAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAAAAAAAAAIYxFFqGMRRaZk; STOKEN=180a7f530458725c97dfccdcbe99215e0ad64c49b8bc8