enginebrkalsy的博客

pythonscrapy——crawlspider crawlspider命令——scrapy startproject xxxx，scrapy genspider -t crawl xx xxxxxx 爬取古诗名字： 将没有title的处理 当url的规律适合用正则来爬取的话，用crawlspider会好 详情页的名字在这个： 结果： 不仅爬出来了，也把不用的数据也爬了 因为他们的url也是这样的 cookie模拟登录——qq空间 需要在parse之前就把cookie放上去——用

python scrapy4——middlewaves middlewaves 用ua随机请求头做案例 爬虫文件：——没有打开请求头 结果： 打开请求头下 结果： 使用虚假请求头： 方法一：将虚假请求头放在一个列表里面，然后random.choice（） 需要打开下载中间器： 结果 多次请求：用到新的参数：dont_filter =True(不去重） 第二种方法：用fake_useragent import UserAgent 先创建一个UserAgent的对象——ua

案例练习 爬取职位+翻页爬取 指向的只是数字不是url地址 页面分析 ajax接口找寻——Network里面看 打开网址： 第一页：https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1622714101653&countryId=&cityId=&bgIds=&productId=&categoryId=&parentCategoryId=&attrI

python Scrapy2古诗爬取 setting配置 页面分析 数据分析 实现步骤 在start文件运行 结果： 获取内容 解决方法：’’.join().strip(),strip是把列表转为字符串，’‘是把不同诗句换成’'连接 ...

python scrapy介绍 scrapy命令 cd路径下，scrapy startproject 命名 命名的doubanspider.py： item文件： middlewaves： pipline： setting： scarpy执行命令1——终端输入scrapy crawl 名字 运行结果 解决：复制一个headers放在setting的请求头处 加了请求头后 爬取豆瓣的标题 用xpath,之前用的是from lxml i

python报错文档+解决方法 在写代码途中突然按到某些快捷键的问题+解决方式 如：输入法繁简体转换 具体解决方式如下：

爬虫练习csv录入 发现应用程序是ajax动态加载，可以用selenuim或者分析页面来源，可以在network找XHR或者在ALL找 打开第一个url 普通（非多线程下的爬虫案例+csv保存） # 发现应用程序是ajax动态加载，可以用selenuim或者分析页面来源 # 可以再network找XHR或者在ALL找 # 点开一个，url https://app.mi.com/details?id=com.kuaiyin.live # XHR 里的packageName是这个

发现应用程序是ajax动态加载，可以用selenuim或者分析页面来源，可以在network找XHR或者在ALL找 打开第一个url

查看线程数量——enumerate（） 通常用index代表索引 enumerate（）在threading线程库的作用——threading.enumerate() 加入time.sleep（）观察 import threading # threading.enumerate() def demo1(): for i in range(5): print('我是demo1---%s' % i) time.sleep(1) def demo2():

多线程介绍 线程方法一：函数形式 import threading import time def demo(): print('hello 我是子线程') # 小建议：凡是程序一上线程，复杂度就上升了，出bug的机会多了 # 线程方法一： if __name__ == '__main__': # target要传递一个函数 for i in range(5): t =threading.Thread(target=demo) time.s

猫眼电影用senlenuim爬取 senlenuim拿到网页源码——page_source from selenium import webdriver from selenium.webdriver import ActionChains import time driver = webdriver.Chrome() driver.get('https://www.baidu.com/') # driver.page_source 获取html源代码 html = driver.page_source p

12306练习 webdriver.Chome（）要放在全局，放在类当中会触发垃圾回收机制 当登录的时候，为了方便查看，用显示等待，当触发了页面包含（url_contains)，打印登录成功 from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.common.by import By from selenium.webdriver.suppo

fake_useragent 虚假请求头的使用 需要安装模块——fake-useragent from fake_useragent import UserAgent ua =UserAgent() print(ua.random) ajax介绍 分析ajax数据接口案例——百度贴吧图片爬取 打开贴吧图片 找到图片的url 复制地址到源码中查看是否存在，如果存在直接请求该url，不存在则需要分析数据接口 不存在该源代码中 这时候打开Network，打开XHR 到respons

selenuim行为链 具体url参考：http://selenium-python.readthedocs.io/api.html 行为链事例 from selenium import webdriver from selenium.webdriver import ActionChains driver =webdriver.Chrome() driver.get('https://www.baidu.com/') # 定位到输入框 inputTag =driver.find_element_

selenium介绍 加载驱动 PhantomJS driver = webdriver.PhantomJS() 需要把PhantomJS加载到环境变量或者当前目录 把驱动放到path环境变量中，python解析器中 打开url 模拟在百度输入框写入 找到输入框的element，找到id=‘kw’的输入框 点击事件获取新URL chromedriver 输入url——.get（） 打开三秒后自动关 退出驱动（关闭所有窗口）——.quit() 关闭当前窗口——.close()

css select()方法——标签找——select（‘标签名’) select()方法——类名找——（.class） select()方法——id找——#id select()方法——组合方式——（标签 #id）中间有空格 select()方法——通过父标签找下面内容 select（）找数据——[索引].get_text() 练习 修改文档树 改标签——.name=’’，改属性——[类]=’’ 改数据——string=’’ append增加值 删除 ...

解析数据用bs4 找寻数据 广西数据在这一条td中 南宁开始在第二个td table标签代表一个省的所有数据 整个地区的数据在这个类里 # 获取全中国所有城市名字、温度保存到csv文件 # http://www.weather.com.cn/textFC/hb.shtml 华北地区 # http://www.weather.com.cn/textFC/db.shtml 东北地区 # http://www.weather.com.cn/textFC/hd.shtml 华东地区 # http://www

python bs4 BeautiSoup入门 结果： prettify（）： 直接打印相关内容 有多个相同标签时 找到三个href bs4 对象种类 bs4 tag标签 找标签属性——attrs NavigableString可导航的字符串 soup对象 comment 注释 遍历文档树 contents chlidren descendents string strings stripped strings–把多余空格去掉 string——获取标签里面的内

xpath介绍 节点关系 xpath快捷键chrome lxml模块使用 把数据存储到字典并保存csv 换一种方法取result的索引——index（） 结果取到了： 豆瓣 top250 翻页爬取 链接、名字、评分、引言 拼接字符串 结果出来有[]，所以可以进行处理索引取值，做非空判断 f’{}'和{}.format()区别 代码总汇： from lxml import etree import csv import

re模块 常用方法： compile使用 标志位（flags） re.I——大小写不敏感（都识别） findall 都查询，match、search只能查询一个 注意：findall不用加group() 拿到列表内容后，可以用for循环遍历内容，也可以直接提取 注意：如果findall下是空集,要看看是不是正则写错了 re.split 表达式：split(pattern, string, maxsplit=0, flags=0) sub() 表达式：sub(pattern, rep

正则表达式介绍 简单正则引入 . 匹配除了换行符以外的任何一个字符 | 或，匹配两个中的一个，match只找开头，要可以找到除开头外的要用search [] 匹配字符集中的一个字符 [^] 取反 r或者\的作用 有的时候加r也不好使： \d 匹配任意0-9的一个字符 \w 匹配A-Za-z0-9_ * 表达式出现0次到任意次 如果要用.*遇到换行可以用标志位——re.S ...

正则表达式引入 match函数 如果输入的是pythonn 注意：从1开始 特殊字符"."——匹配除了换行符\n外任意一个字符 | ——逻辑"或"操作符 注意：开头没有匹配会报错(match只找开头)，解决方法——用re.search [] 匹配字符集中的一个字符 [^] 字符集反向操作（取反）——除了这些内容以外的内容 - 定义区间 \ 对紧跟其后的字符转义 特殊转义： 预定义匹配字符： \d 只能匹配开头 \w 匹配字母数字下划线 \s 空格 制表符换页符等空白

知识补充

python爬虫requests上 get&post URL解析 F12/鼠标右键【检查】

get请求

解决我的一大难题：输入法简繁体设置：ctrl+shift+F解决！！！！ python通訊協議 python爬虫介紹