- 博客(67)
- 收藏
- 关注
RSS订阅原创 01 一维数组静、动态分配
n*sizeof(数据类型)，这段内存的首地址是谁呢？转化为(ElemType *)，指向数组指针(*data)。2、改返参：malloc默认返回参数是void指针，需要在malloc前面强制转换类型（即数组指针的数据类型，语法为（数据类型*））。3、赋参数：向malloc函数赋予你想分配的内存字节数，即表长×数组数据类型的字节数(用sizeof得到)。1、存储空间的起始位置：数组data，它的存储位置就是数组空间的存储位置。2、线性表的最大存储容量：数组长度MaxSize。
2023-10-18 09:39:12
336
原创 自动化办公之openpyxl绘制图表Day07
文章目录第七章 openpyxl绘制图表1. 条形图绘制2. 折线图绘制3. 扇形图绘制第七章 openpyxl绘制图表在日常办公中，我们通常需要将数据进行可视化，即绘制成图表，这样使得数据更加直观清晰。用代码的好处就是，可以保持样式，适用于不同的数据。1. 条形图绘制2. 折线图绘制3. 扇形图绘制...
2021-07-09 17:12:14
872
原创 自动化办公之openpyxl之删除行与列Day06
第六章 openpyxl之删除行与列在excel中有许多行列的操作，入插入行，删除行，插入列删除列，移动行，移动列等。通过代码同样可以实现。1. 插入行与列首先创建要给项目文件夹Lesson8。在命令行窗口中Cd到该文件夹，然后创建一个python文件，重命名为“插入删除移动行与列”。我们先新建一个工作簿，激活一个工作表，填入一些数据：保存后打开工作簿这是我们刚才插入的数据。下面我们操作在第一行前插入一行，在第一列之前插入一列插入后，我们保存，然后打开表格插入成功。下面我们合并单元格插
2021-06-10 12:24:18
5056
2
原创 自动化办公之openpyxl的基本使用Day05
文章目录第五章 openpyxl的简单使用1. 创建工作簿2. 读取已存在的工作簿3. 使用数据格式第五章 openpyxl的简单使用1. 创建工作簿上一节课我们已经学过如何加载一个工作簿并打开，写入数据等操作。这一节我们继续深入学习runes使用openpyxl操作excel工作簿。首先我们在项目文件夹里创建一个新的文件夹Lesson6，然后再命令行窗口cd到该项目文件夹，然后输入如下命令打开jupyter编辑器：jupyter notebook然后我们新建一个python文件，重命名为“o
2021-06-10 10:47:07
329
原创 自动化办公之openpyxl基础 Day04
文章目录第四章 Python操作Excel之openpyxl1. openpyxl的基础使用1.1 创建工作表簿1.2 添加工作表1.3 修改工作表名和按钮颜色1.4 查看工作表名2. 复制工作表3. 访问单元格4. 获取单元格的值5. 单元格进行赋值6. 读取文件第四章 Python操作Excel之openpyxlopenpyxl是python中操作excel的一个比较好用强大的库。参考网址：https://openpyxl.readthedocs.io/en/stable/index.html可以
2021-05-14 15:01:35
283
原创 自动化办公Day03
文章目录第三章 Python写入excel数据之xlwt1. Python写入excel文件内容1.1 安装1.2 写入数据的步骤1.3 文件数据重写2. excel表格字体样式的设置2.1 excel单元格样式3. 作业第三章 Python写入excel数据之xlwt1. Python写入excel文件内容在日常工作中需要大量写入和创建表格，Python可以帮我们，只需要写入代码，就可以创建不同格式不同风格的表格。今天我们要了解xlwt这位朋友。xlwt是一个用于将数据和格式信息写入旧版Excel文
2021-05-12 16:13:02
177
原创 自动化办公day02
文章目录第二章 python读取excel数据之xlrd1. xlrd介绍与安装2. xlrd获取工作簿与工作表2.1 环境搭建2.2 上传工作簿2.3 获取工作簿2.4 解决一个bug2.5 查看工作簿个数2.6 获取工作表名2.7 获取工作表2.7.1 索引获取2.7.2 名字获取2.8 验证工作表是否存在第二章 python读取excel数据之xlrd今天我们来看一下，如何让python读取excel的数据。1. xlrd介绍与安装其实我们在工作当中用到excel的机会是非常多的。如果我们用代
2021-05-10 14:18:08
156
原创 自动化办公day01
文章目录第一章 Jupyter的使用1. Jupyter简介2. Jupyter的安装3. Jupyter的使用4. 快捷键第一章 Jupyter的使用从今天我开始写自动化办公系列的博客，如果你刚好要学，那这是不错的资料，我会尽可能详细的介绍，尽可能简介的介绍，尽可能高效的介绍。1. Jupyter简介Jupyter Notebook是一款开源的网络应用，我们可以将其用于创建和共享代码与文档。它提供了一个环境，你无需离开这个环境就可以共享和运行代码。查看输出，可视化数据并查看结果。因此，这是一款可执
2021-05-08 12:15:06
189
原创 爬虫(34)fiddler移动端案例
文章目录第三十二章 fiddler抓取移动端数据案例1. fiddler移动端的配置第三十二章 fiddler抓取移动端数据案例今天主要讲fiddler移动端的配置和使用fiddler获取移动端数据包。首先来看fiddler移动端的配置。1. fiddler移动端的配置首先我们cmd获取一下本机的ip:ipconfig回车C:\Users\MI>ipconfigWindows IP 配置无线局域网适配器 本地连接* 1: 媒体状态 . . . . . . . .
2021-04-29 15:44:49
831
1
原创 爬虫(33)fiddler工具使用
文章目录第三十一章 fiddler简介与工具使用1. fiddler的简介2. fiddler的安装第三十一章 fiddler简介与工具使用1. fiddler的简介fiddler是一款抓包工具，它是一个http协议调试代理工具。它能够记录并检查所有你的电脑和互联网之间的http通讯。可以去官网查看它的具体信息。特点是：使用简单支持众多的http调试任务支持大多数的浏览器IE、Chrome、FireFox等等可以在phone、pad等移动设备进行连接2. fiddler的安装第一步：下
2021-04-26 12:09:58
353
原创 爬虫(32)移动端前导知识补充
第三十章 Android布局介绍1. Android布局介绍我们重新启动一下weditor，上次我们介绍了它的四个区域。C:\Users\MI>adb devicesList of devices attached127.0.0.1:62001 deviceC:\Users\MI>设备已经连接成功。我们继续讲weditor如何操作控件。我们打开上次做的app LogicDemo6，然后点击连接刷新。下面我们点击登录，看一下属性选取区的变化。我们发现出现了好多的信息
2021-04-25 13:39:50
620
原创 爬虫(31)移动端前导知识（下）
文章目录第二十九章 U2的基本操作1. U2的基本操作2. 布局演示3. 实现流程4. weditor的开启第二十九章 U2的基本操作1. U2的基本操作2. 布局演示3. 实现流程4. weditor的开启
2021-04-21 23:54:00
351
2
原创 爬虫(30)移动端前导知识
文章目录第二十八章 移动端数据的爬取1. 移动端背景2. Uiautomator介绍3. u2的执行流程4. adb的安装和使用5. u2连接第二十八章 移动端数据的爬取1. 移动端背景随着数字计数的发展，数据不仅仅存在于pc端，移动端数据的发展也是非常的快！对于做数据分析、移动画像、市调研来说，如果你仅仅参考pc端的数据是远远不够的。这个时候，移动端的数据就显得尤为重要了。互联网的发展史是：pc端>移动端>大数据，大数据后面可能是AI人工智能。目前仍然处在大数据的阶段。在2000年后兴起
2021-04-19 21:09:22
1202
3
原创 爬虫(29)mongodb(下)
文章目录第二十七章 python操作mongo1. mongo修改和删除1.1 指定键值的更新1.2 可选参数1.3 删除数据2. 练习3. mongo聚合命令4. mongo创建索引5. python操作mongo第二十七章 python操作mongo今天我们学习mongodb剩下的知识点，我们上次学习了如何添加和删除数据，以及如何查询数据。我们继续学习如何修改数据。1. mongo修改和删除语法db.集合的名称.update({query},{update},{multi:boolean})
2021-04-17 18:07:47
398
原创 爬虫(28)mongodb(上)
文章目录第二十六章 mongodb的简介与基本命令1. mongodb的简介1.1 mongodb的安装1.2 添加环境变量1.3 启动命令1.3 连接命令2. mongodb的基本命令3. 集合的基本命令4. 插入数据5. mongodb查询6. mongodb操作查询结果第二十六章 mongodb的简介与基本命令1. mongodb的简介特别像关系型的非关系型数据库，保存数据非常灵活。mysoql需要建库建表，而mongodb不需要，它的里面是集合，集合代替了表。优势：无数据结构的限制，业务开
2021-04-14 12:28:09
214
原创 爬虫(27)scrap_redis案例
文章目录第二十四章 scrap_redis案例1. settings文件的分析第二十四章 scrap_redis案例1. settings文件的分析
2021-04-12 19:58:32
492
原创 爬虫(26)scrapy_redis讲解
文章目录第二十三章 redis在scrapy中的运用1. python和redis的交互2. scrapy_redis讲解3. 下载scrap_redis案例4. settings文件分析第二十三章 redis在scrapy中的运用1. python和redis的交互首先安装redis，pip install redis。Collecting redis Downloading redis-3.5.3-py2.py3-none-any.whl (72 kB) |████████████
2021-03-11 23:49:47
459
1
原创 爬虫(25)redis简介与操作
文章目录第二十二章 Scrapy进阶redis的使用1. 数据库的简介2. Redis的使用3. Redis的配置文件4. string类型的命令5. list类型的命令第二十二章 Scrapy进阶redis的使用1. 数据库的简介背景：随着互联网+大数据时代的来临，传统的关系型数据库已经不能满足中大型网站日益增长的访问量和数据量。这个时候就需要一种能够快速存取数据的组件来缓解数据库服务I/O的压力，来解决系统性能上的瓶颈。Redis是什么？Redis是一个高性能的，开源的，C语言开发的，键值对存
2021-03-11 12:12:23
364
原创 爬虫(24)Scrapy练习 苏宁图书案例
文章目录Scrapy练习 苏宁图书案例1. 创建项目2. 获取首页大分类3. 找分类4. 获取小分类5. 进入小分类6. 获取每本书的信息Scrapy练习 苏宁图书案例我们到此已经学习了完了scrapy的知识模块，下面我们通过一个案例来练习一下。项目：爬取苏宁图书。第一步先爬取左边的分类第二步获取大分类下的小分类第三步，获取小分类下面的图书比如我们点击小说里面的中国当代小说，就进入了这个栏目的列表页面。如果我们想了解某本书的详情，可以点击图标，就进入了该本书的详情页面。比如，书名，简介，
2021-03-05 15:59:53
530
1
原创 爬虫(23)scrapy集成selenium
文章目录scrapy集成selenium1. selenium爬取简书案例1.1 项目目标1.2 先通过seleniumscrapy集成selenium1. selenium爬取简书案例今天讲一讲自动化测试工具Selenium如何集成在srapy中。1.1 项目目标当数据是通过加载得到的，就用到selenium。简书就是这种，难爬取。详情页里面有文章的内容，还有评论。评论下面还有文章被收录的专题：如果你的文章写的好，就会被有的任收录到自己的专题里面，这样可以增加文章的曝光度。我们今天
2021-02-23 22:39:11
1373
3
原创 爬虫(22)scrapy登录与middlewares
文章目录第二十二章 scrapy登录与middlewares第二十二章 scrapy登录与middlewares以前我们登录网站有两种方式：一个是：直接携带cookie来请求页面另一个：发送post请求携带数据进行模拟登录当然selenium也能模拟登录。...
2021-02-19 01:23:07
2269
原创 爬虫(21)crawlspider讲解古诗文案例补充+小程序社区案例+汽车之家案例+scrapy内置的下载文件的方法
文章目录第二十一章 crawlspider讲解1. 古诗文案例crawlspider1.1 需求1.2 处理1.3 解析2. 小程序社区案例2.1 创建项目2.2 项目配置2.3 解析详情页的数据3. 汽车之家案例（二进制数据爬取）3.1 创建项目3.2 项目配置3.3 定位图片3.4 配置settings3.5 创建开始文件3.6 打开管道3.7 在管道中操作3.8 图片存储路径代码解释3.9 解决报错问题3.10 翻页4. 其他方法爬取图片4.1 在items文件中创建两个字段4.2 导入items文件
2021-02-17 22:15:30
1205
1
原创 爬虫(19)pipline补充+item的讲解+古诗文案例
文章目录第十九章 pipline补充与item的讲解1. pipline的补充第十九章 pipline补充与item的讲解上一章我们讲了怎样创建一个scrapy项目，怎样爬取数据，保存数据。后面讲了一个豆瓣的小案例，来熟悉一下scrapy的使用。我们遗留了一个问题，就是在项目的末尾用的是yiled而不是return。这次课我们来具体研究一下。我们以前讲过有两种情形可以产生生成器，一个是通过列表推导式，一个是通过yield关键字。生成器可以更加节省内存的空间。由于有时候我们爬取的内容非常的多，retur
2021-02-11 09:57:18
685
2
原创 Python环境的搭建+pycharm的安装 小白版 菜鸟教程
文章目录Python环境的搭建1. 下载python2. 安装3. 手动添加环境变量4. pip操作命令4.1 基本安装命令4.2 换源安装4.3 下载到本地安装4.4 升级pip5.代码编辑器5.1 下载5.2 安装5.3 试运行6. PyCharm的简单配置6.1 主题的修改6.2 修改字体6.3 关闭软件更新功能6.4 设置快捷键6.5 自动导包设置6.6 自动打开上次的项目设置6.7 运行项目的几种方式6.8 添加头部文件6.9 编码设置Python环境的搭建Python是一个跨平台可移植的编程
2021-02-09 13:12:43
19236
13
原创 爬虫（18）Scrapy简介
第18章 Scrapy简介1. 简介Scrapy可以把爬虫变得更快更强大。是异步爬虫框架。优点是可配置，扩展性高。框架是基于异步的。Twisted异步网络框架。单词的意思是扭曲的的，代码里面有很多的闭包，函数嵌套。2. 安装scrapy这里安装颇费周折，中间出现两个报错，我是用换源安装的。后来百度发现scrapy的安装依赖几个库：lxml、 pyOpenSSL 、 Twisted 、pywin32第一个我安装过了，pyOpenSSL直接pip install 就可以了。 Twisted这个库的
2021-02-06 10:04:35
965
3
原创 爬虫(17)多线程练习 图片爬取案例
文章目录爬虫(17)多线程练习 图片爬取案例1. 多线程练习2. 王者荣耀案例思路分析2.1 第一种方法：直接在Previews里面找2.2 第二种方法：通过json.cn网站解析爬虫(17)多线程练习 图片爬取案例1. 多线程练习我们对多线程的特点进行一下解释：进程：系统中正在运行的应用程序。单核的cpu一次只能执行一个进程，其他的进程处于非运行状态。多软件打开的时候，cpu在快速切换，由于速度之快，我们感受不到切换。多核的cpu可以同时执行多个进程。线程：进程中包含的执行单元。一个进程可
2021-02-01 14:11:46
1102
4
原创 爬虫(15)多线程
1. 线程的简介有很多的场景中的事情是同时进行的，比如开车的时候 手和脚共同来驾驶汽车，再比如唱歌跳舞也是同时进行的。再例如我们的电脑可以打开多个程序同时进行，其实是计算机在做疯狂的切换，你丝毫察觉不到。但是如果你打开的程序过多，就会出现卡顿现象。为什么我们要研究多线程，是因为多线程能在爬虫中大大提高效率。2. 多线程的创建我们创建一个多线程，实现一边唱歌一边跳舞。# 创建多线程，目标是实现边唱歌一边跳舞def sing(): for i in range(3): prin
2021-01-29 13:51:36
249
原创 爬虫(14)图形验证码识别tesseract工具
文章目录爬虫(14)多线程1.tesseract的使用爬虫(14)多线程1.tesseract的使用
2021-01-29 10:59:28
848
原创 爬虫(12，13)selenium练习 12306案例
文章目录1. 登录的实现1. 登录的实现我们这一步先研究登录网站。我们用面向对象编程，这一步我们实现的目标是，定义项目框架，执行程序后，登录网站，并且提示已经登录成功。注意看代码中的注释：from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWait # 条件等待需要用from selenium.webdriver.support import expected_conditions as
2021-01-27 22:44:55
710
原创 爬虫(11) selenium(下) 行为链 登录qq空间案例
文章目录1. 行为链2. selenium操作cookie3. selenium页面等待4. selenium操作多个窗口1. 行为链有时候在页面中的操作可能有很多步，那么这时候可以使用鼠标行为链类：ActionChains来完成。下面我们通过一个案例来展示。打开百度网页，在输入框中输入“Happy new year!!!”，然后点击搜索。搜索后，在搜索按钮上右键。五秒后关闭网页。代码如下，注意看注释：from selenium import webdriverimport timefrom se
2021-01-25 14:06:00
773
原创 解决页面滚动并滚动停止时间问题案例 python 滚动条 页面滚动
文章目录1. 问题引入2. 屏幕滚动问题3. 滚动停止的方法4. 案例1. 问题引入现在的网页都是采用ajax加载的，如果我们要用selenium爬取网页的全部内容，就必须等待网页彻底加载完毕。而一页很显然不能加载完，那就需要拖动滚动条，直到所有内容加载完。而且，如果你爬取的时多个网页，那么你要控制住，当页面内容加载完后停止滚动。然后开始获取页面内容并解析爬取。本文就是介绍这两点内容的。我查找了许多帖子和博客，最终没有能够如愿解决。后来结合查到的信息内容和自己的思想解决了问题。全用的python和sel
2021-01-25 03:10:53
978
原创 爬虫(10)selenium上 模拟登录豆瓣案例
1. 驱动安装selenium介绍：selenium是一个web的自动化测试工具，最初是为网站自动化测试而开发的，selenium可以直接运行在浏览器上，它支持所有主流的浏览器，可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏。需要配合浏览器驱动使用。chromedriver是一个驱动Chrome浏览器的驱动程序，使用他才可以驱动浏览器。当然针对不同的浏览器有不同的driver。以下列出了不同浏览器及其对应的driver：Chrome：https://sites.google.com/
2021-01-22 19:35:21
1003
原创 爬虫(09)bs4(下) select()方法+修改文档树+天气信息案例
文章目录1. select()方法2. 修改文档树3. 爬取天气信息3.1 思路分析3.2 实践步骤4. slenium介绍1. select()方法我们也可以通过css选择器来提取数据，但需要我们掌握一些css语法。具体可以参考网页css选择器参考手册。2. 修改文档树3. 爬取天气信息3.1 思路分析3.2 实践步骤4. slenium介绍...
2021-01-15 17:57:25
1254
原创 爬虫（8）bs4上
文章目录1. bs4简介2. bs4入门3. bs4对象的种类4. 遍历文档树1. bs4简介Beautiful Soup是一个可以从HTML或XML文件中提取提取数据的网页信息提取库。首先需要安装，最好先安装pip install lxml再安装pip install bs4否则可能会出错。bs4不需要记语法，直接调用里面的方法就可以了，这是它比正则和xpath方便的地方。2. bs4入门我们用一段网页文档来示例一下如何使用bs4。from bs4 import Beautiful Soup
2021-01-14 23:55:23
230
2
原创 爬虫（7） lxml和xpath2020-12-28
文章目录1. Xpath的简介2. 工具安装1. Xpath的简介XPath（XML Path Language）是一种XML的查询语言，他能在XML树状结构中寻找节点。XPath 用于在 XML 文档中通过元素和属性进行导航。xml是一种标记语法的文本格式，xpath可以方便的定位xml中的元素和其中的属性值。lxml是python中的一个第三方模块，它包含了将html文本转成xml对象，和对对象执行xpath的功能。xml_content = '''<bookstore><
2020-12-29 03:47:22
508
原创 爬虫（06）正则表达式下+csv入门 2020-12-25
文章目录1. re常用方法1.1 compile()1.2 search()1.3 findall()1.4 split()1.5 sub()2. re模块分组3. 案例：百度图片爬取3.1 案例思路分析3.2 案例代码1. re常用方法正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是用来匹配字符串非常强大的工具，在其他编程语言中同样有正则表达式的概念，Python同样不
2020-12-25 23:40:14
366
原创 爬虫（05）正则表达式 2020-12-23
文章目录1. 正则表达式概念1.1 match()函数1.2 元字符1.2 预定义匹配字符集1.3 重复匹配1.4 位置匹配和非贪婪匹配1.4.1 位置匹配1.4.2 贪婪与非贪婪模式1.5 校验数字的相关表达式1. 正则表达式概念正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式的应用场景• 表单验证(例如 : 手机号、邮箱、身份证… )• 爬虫正则表达式对Pyth
2020-12-24 12:20:07
215
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人