- 博客(3)
- 问答 (1)
- 收藏
- 关注
原创 如何爬取实习僧的职位信息(初级)
本次项目是初级网络爬虫应用,在面对网站严格的反爬机制下,需要不断学习和摸索新技术,就需要学习反爬虫技术以及应对反反爬虫的反爬虫技术,代码具有时效性,网站结构的变化以及新反爬虫技术的应用,都需要重新编写代码爬取。本次项目成功做到了用户在终端输入要爬取的页数和职位关键字,就可实现批量爬取数据的操作,最后的结果存储到本地MongoDB数据库中,代码运行顺畅。完成这样的操作,再去爬取页面的话,就不会出现乱码的情况,再去爬取数据就会出现正确的职位信息。# 对新的url进行解析,爬取我们需要的薪水,公司的信息。
2024-03-15 18:45:36
1282
1
原创 豆瓣top250海报网页的分析保存,BeautifulSoup4的初级实践操作
运用爬虫技术,对豆瓣电影top250电影页面进行解析,并批量保存海报图片
2023-04-07 15:26:32
243
1
空空如也
微信小程序图片渲染层网络层报错
2022-01-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人