Newyee-优快云博客

原创用 python-docx 比对 Word VS Excel 中的表格

目录Python 自动化：python-docx 比对 Word 文档与 Excel 表格应用场景python-docx 介绍安装示例需求实现未完待续 Python 自动化：python-docx 比对 Word 文档与 Excel 表格应用场景小明的老师要打印学生成绩单，于是制作了一份 Word 文档，每个学生的成绩单为一个表格，如下图所示：但是核对 Excel 中的成绩时发现存在一些错...

2020-04-06 16:38:02 2469 1

原创用 Python-pptx 告别繁琐的幻灯片制作

目录Python 自动化：python-pptx 批量生成幻灯片需求分析python-pptx 介绍python-pptx 安装Hello World! 示例需求实现 Python 自动化：python-pptx 批量生成幻灯片需求分析最近遇到了制作 PPT 报告的任务，前期收集整理后的表格数据长这样：随后要基于上述数据制作 PPT 报告，几十页的幻灯片都是下图的格式： Well, my...

2020-04-05 21:57:40 6501

原创 Python 数据可视化：【拉勾网】职位信息数据分析与可视化绘图

目录【拉勾网】职位信息数据分析与可视化数据摘要职位数量功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入【拉勾网】职位信...

2019-06-17 22:32:55 3693 6

原创 Python 爬虫：Scrapy 框架入门初探【 Xpath 改写】

目录安装 Scrapy初试 Scrapy第1步：创建项目第2步：编写代码第3步：运行Spider第4步：保存数据结果展示 Scrapy 是一种用于抓取网站和提取结构化数据的应用程序框架，可用于广泛的有用应用程序，如数据挖掘、信息处理或历史存档等。安装 Scrapy 从 PyPI 安装： pip install Scrapy 使用 Anaconda 或 Miniconda 安装： conda i...

2019-04-30 23:37:39 542

原创 Python 爬虫提速：【多进程、多线程、协程+异步】对比测试

Python 爬虫提速：【多进程、多线程、协程+异步】对比测试概念介绍测试环境开始测试测试【单线程单进程】测试【多进程并行】测试【多线程并发】测试【协程 + 异步】结果对比 Python 爬虫提速：【多进程、多线程、协程+异步】对比测试概念介绍首先简单介绍几个概念：进程和线程：进程就是一个程序在一个数据集上的一次动态执行过程（数据集是程序在执行过程中所需要使用的资源）。线程也叫...

2019-04-28 12:04:31 4311 2

原创 Python 小工具：调用「百度翻译API」实现英汉互译及多语言翻译

Python小工具：调用「百度翻译 API」实现英汉互译及多语言翻译API 简介过程详解完整代码结果展示附：官方 Demo - Python 2 版本 Python小工具：调用「百度翻译 API」实现英汉互译及多语言翻译官方 Demo 是 Python 2 版本的，笔者基于 Python 3 实现，并简化过程、增加了功能前段时间写的小脚本，得空整理一下和大家交流学习 API 简介什么...

2019-04-18 17:32:55 3532 1

原创网易Python爬虫：爬取网易科技频道文章存入MySQL数据库

第一篇博客里答应的，第二篇会用 pymysql 直接将数据存入 MySQL 数据库。代码部分只注释了数据库操作的部分，爬虫部分有时间会补上。网易科技频道以独特视角呈现科技圈内大事小事，内容包括互联网、IT业界、通信、趋势、科技访谈等。下面以网易科技-智能首页为例，爬取文章的【链接–标题–发布时间–作者来源–具体内容】等信息并存入MySQL：网页分析按【F12】键进入谷歌浏览器...

2019-03-20 22:40:22 1621 1

原创拉勾网Python爬虫：Selenium+Xpath 反反爬、免登录获取全部职位详情

拉勾网Python爬虫：Selenium+Xpath反反爬、免登录获取全部职位详情需求描述需求分析实现原理注意问题备注：完整代码后续优化后记需求描述抓取拉勾网“北京”“数据分析师”30页职位详情数据生成 sql 文件需求分析拉勾网搜索页面一般都只展示30页、每页15个职位信息，约450条；拉勾网反爬加强，直接请求 positionAjax.json 无法获得包含职位信息的 json 数...

2019-03-15 16:37:05 2538 13

Python小蜗牛