解析网页
关注
分享
扫一扫
岁月如梭518
喜欢对新知识的探索，对大数据的爬取，清晰，可视化方面的内容比较感兴趣。
使用博客的目的：人到中年，记忆力逐渐衰退，看完、学完的知识很快就忘了，为提高学习效果，加深对所学知识的理解，每天坚持抽点时间将所学东西梳理下。
展开
-
爬虫实例5（爬取房天下二手房信息）（网页重定向，字典数据存入csv文件，bs4）
爬取要点分析1.网页重定向分析房天下网站，每个网页有个重定向如：访问https://cd.esf.fang.com/chushou/3_211293494.htm会跳转至https://cd.esf.fang.com/chushou/3_211293494.htm?rfss=1-b71f212cbb874a451c-3a解决方法：在原网页源代码中找到重定向网址，request 新网址即可 response=requests.get(url,headers = headers) html=r原创 2020-05-10 10:45:03 · 2344 阅读 · 3 评论 -
BeautifulSoup库详解（个人整理）
1.解析库灵活又方便的网页解析库，处理高效，支持多种解析器。利用它不用编写正则表达式即可方便地实现网页信息的提取。安装：pip3 install BeautifulSoup4解析器使用方法优势劣势Python标准库BeautifulSoup(markup, “html.parser”)Python的内置标准库、执行速度适中 、文档容错能力强Python 2.7...原创 2020-05-02 05:37:04 · 8235 阅读 · 1 评论