
爬虫
爬虫
qq_53401451
这个作者很懒,什么都没留下…
展开
-
spa3(Ajax加载、爬虫练习)
spa3(Ajax加载、爬虫练习)代码# coding = utf-8# @Time : 2021/12/25# url = 'https://spa3.scrape.center/'import requestsimport jsonimport openpyxl# 传入页码,返回每一页对应的的urldef get_index_url(offset): url = 'https://spa3.scrape.center/api/movie/?limit=10&offs原创 2021-12-25 20:06:13 · 891 阅读 · 0 评论 -
spa1(Ajax加载、爬虫练习)
spa1(Ajax加载、爬虫练习)总结(requests实现)'''jsonpath模块简单用法Eg1.from jsonpath import jsonpathdata = {'name1': {'name2': {'name3': {'name4': {'name5': '陈子康'}}}}}#常规字典索引print(data['name1']['name2']['name3']['name4']['name5'])#使用jsonpath模块print(jsonpath(data,原创 2021-12-25 20:05:14 · 739 阅读 · 0 评论 -
https://ssr1.scrape.center/ 简单练习网站requests、selenium两种方式爬取
ssr1(电影数据网站,无反爬,T)总结(requests实现):'''1、/text()获取指定标签下的文本内容,//text()获取指定标签下的文本内容,包括子标签下的文本内容这一点在标签数量不确定时用处较大如每个电影的类型标签数量不一,而每个类型又位于html文档的不同标签里,这时可以将包含这些类型的大标签拿出来,然后读取文本内容,包括子标签下的2、去除列表中的空格与换行data_list = [x.strip() for x in temp_list if x.strip() !=原创 2021-12-21 19:46:26 · 2277 阅读 · 1 评论