
爬虫
文章平均质量分 61
KathAmy
数据分析、python程序猿、SQL girl,持续更新有关互联网数据分析知识,共同进步!
展开
-
Python Day7 爬虫-线程池和指令系统
执行指令的工具: Windows - 命令提示符(cmd) 、Mac - 终端。pip list - 查看当前环境已经安装过的所有的第三方库。运算程序的计算机必须先安装python环境。(pip - Python包管理工具)原创 2022-08-20 10:28:58 · 408 阅读 · 0 评论 -
Python Day6 爬虫-lxml和多线程
节点对象.xpath(获取标签的路径/text()) - 获取指定路径下所有标签的标签内容。一个cpu同一时间只能调度一个线程,多线程其实是cpu快速的在多个线程之间进行切换,造成多个线程同时执行的假象。节点对象.xpath(路径) - 返回路径对应的所有的标签,返回值是列表,列表中的元素是标签对象。a. 绝对路径:用”/“开头的路径 - /标签在树结构中的全路径 (路径必须从根节点开始写)线程: 线程是进程执行人物的基本单元(一个进程中的人物都是在线程中执行的)原创 2022-08-20 10:27:15 · 676 阅读 · 0 评论 -
Python Day5 爬虫-selenium高级和实战
text_to_be_present_in_element_value(标签, 值) - 指定标签的value属性值中包含指定值。text_to_be_present_in_element(标签, 值) - 指定标签的标签内容中包含指定值。2) 如果设置了隐式等待:在通过浏览器获取标签的时候,如果标签不存在会直接报错,不会马上报错,presence_of_element_located(标签) - 指定标签出现。1)如果没有设置隐式等待:在通过浏览器湖区标签的时候,如果标签不存在会直接报错。..原创 2022-08-17 19:23:40 · 736 阅读 · 1 评论 -
Python Day4 爬虫-selenium滚动和常见反爬
自动登录原理:人工在浏览器上完成登录操作,获取登录后的cookie信息(登录信息),再通过代码发送请求的时候携带登录后的cookie。原创 2022-08-16 19:16:51 · 893 阅读 · 0 评论 -
Python Day3 爬虫-数据接口和selenium基础
下载游戏网站的英雄皮肤,在皮肤页面右击检查,到以下界面获取我们需要的网页地址。原创 2022-08-15 19:03:52 · 1039 阅读 · 0 评论 -
Python 学习板块思维导图
Python学习思维导图原创 2022-07-31 16:14:20 · 522 阅读 · 3 评论