小明2766的博客

11_高级课程_js加解密&js算法改写课程介绍涉及到的相关内容js中常见的加密算法剖析线性散列Md5算法对称加密DES/AES算法非对称加密算法RSAbase64伪加密https证书秘钥加密可以处理的爬虫问题模拟登陆中密码加密和其他请求参数加密处理动态加载且加密数据的捕获和破解重点：找寻到js算法加密和解密相关流程的编码于处理套路/技巧，大幅度提升处理相关问题的效率js常见的加密方式加密在前端开发和爬虫中是经常遇见的。掌握了加密算法且可以将加

10_selenium在scrapy中使用&分布式&增量式selenium在scrapy中的使用https://news.163.com/爬取网易新闻中的国内、国际、军事、航空、无人机这五个板块下所有的新闻数据（标题+内容）分析首页没有动态加载的数据爬取五个板块对应的url每一个板块对应的页面中的新闻标题是动态加载爬取新闻标题+详情页的url(***)每一条详情页的数据不是动态加载爬取的新闻内容使用流程在爬虫类中实例化一个浏览器

09_请求传参&中间件&大文件下载&CrawlSpider五大核心组件目的大概了解scrapy的运行机制为分布式铺垫请求传参实现的深度爬取深度爬取：爬取的数据没有在同一张页面中（例如首页数据+详情页数据）在scrapy中如果没有请求传参我们是无法持久化存储数据实现方式：scrapy.Request(url,callback,meta)meta是一个字典，可以将meta传递给callbackcallback取出meta：response.met

08_scrapy&持久化存储&管道操作&手动请求发送scrapy框架简介简介：所谓的框架其实就是一个被集成了很多功能且具有很强通用性的一个项目模板。学习：学习是学好框架中集成好的各种功能、特性进阶：逐步的探索框架的底层scrapy：是一个专门用于异步爬虫的框架高性能的数据解析、请求发送，持久化存储，全栈数据爬取，中间件，分布式……环境的安装mac、linum: pip install scrapywindows:pip3 install whe

07_12306模拟登录网站地址：https://kyfw.12306.cn/otn/resources/login.html/init使用selenium打开登录页面对当前selenium打开的这张页面进行截图对当前图片局部区域（验证码图片）进行裁剪好处：将验证码图片和模拟登录进行一一对应使用超级鹰识别验证码图片（坐标）#...#上述代码为超级鹰提供的示例代码#使用selenium打开登录页面from selenium import webdriverimport tim

06_余票检测&js解加密&12306模拟登录余票检测1️⃣JS解密+混淆破解博客地址：https://www.cnblogs.com/bobo-zhang/p/11243138.html爬取的网站：https://www.aqistudy.cn/html/city_detail.html分析修改查询条件（城市的名称+时间范围），点击查询按钮，捕获点击按钮后发起请求对应的数据包。点击查询按钮后，发起的是ajax请求。该请求就会指定查询条件对应的数据加载到当前页面中。（我们

线程池&多任务异步协程&selenium异步爬虫特点：应付面试基于线程池基于单线程+多任务的异步爬虫线程池import requestsimport time#****************************************#线程池库form multiprocessing.dumpy import Pool#****************************************def get_request(url): pag

数据解析正则bs4xpathpyquery（自学，通用性不强）正则解析格式（规范）使用正则进行图片数据的批量解析爬取1️⃣前提知识：爬取图片数据的两种方式方式1：基于requestsimg_url="https://ss2.bdstatic.com/70cFvnSh_Q1YnxGkpoWK1HF6hhy/it/u=3205720277,4209513487&fm=26&gp=0.jpg"response = requests.get(url=img_url,h

request模块爬虫中一个基于网络请求的模块作用：模拟浏览器发起请求编码流程：指定url发起请求获取响应数据（爬取到的页面源码数据）持久化存储爬取搜狗首页的页面源码数据1️⃣见ipynb实现一个简易网页采集器2️⃣见ipynb基于搜狗针对指定不同的关键字将其对应的页面数据进行爬取参数动态化如果请求的url携带参数，且我们想要将携带的参数进行动态化操作那么我们必须：将携带的动态参数以键值对的形式封装到一个字典中将该字典作用到get方法的params参数中即可

课程概述博客地址波晓张-博客园随笔有分类：爬虫数据分析+金融策略数据结构+算法爬虫对应都有章节爬虫的学习内容requests模块数据解析动态加载数据的爬取selenium移动端数据的爬取异步的爬虫10中反爬机制scrapy框架异步的爬虫框架爬虫岗位：爬虫+数据分析数据分析岗位：数据分析+相关机器学习技术学习方法做自己的笔记自己能理解，教自己一遍开发环境搭建介绍Anaconda是一个基于数据分析和机器学习的集成环境（关于数据分析和机器学