早起Python

不论是代码检查、异常调试、版本控制、项目管理、远程开发等标准化开发功能，都是一个程序员需要具备的技能，而在这之前我见到的一些数据分析、机器学习相关人员，大多只是会数据、算法本身的工作，对于工具却比较薄弱。另外，由于功能复杂，真正能用于写代码的区域很小（虽然可以折叠），如果你是笔记本电脑，那么可能一个页面只能容纳下2-3个单元格，用起来比较鸡肋。这种让你少写几行代码的快捷操作，在代码开发阶段还是比较舒服的，毕竟有时候一些简单的操作需要写很长的代码。文件，若要是项目关联的文件比较多，可能急需要打开一排窗口。

大家好，我是早起。在去年九月，我将Pandas120题升级到Pandas300题，意外的收获了很多好评，到目前总下载量有数千次。伴随着刷题人数越来越多，很多粉丝问我能否提供一份查询版，让答案附在习题下面，就像这样????但整理出来之后发现使用反馈并不是很好，偶尔想查询一些小的操作都需要先启动Jupyter Notebook，再点开多层文件夹才能找到，十分繁琐。此外，相信大家在搜索部分pandas操作时，并不难找到相关的帖子或者教程，但是在阅读这些文章时会有一个体验即看上去很过瘾，自己一.

用Python做web图形用户界面，最先想到的是Flask、Djong等框架。然而研究这些对于初学者来讲，尤其是没有web开发基础的数据分析人员是痛苦的。幸运的是，Python中也有很多第三方库来快速进行简单的web可视化，例如之前介绍的 PyWebIO今天再介绍一个 Steamlit，可以快速利用简单的代码快速布局自己想要的web界面！一、安装与运行安装之前，我们需要将 Python 的版本升级到3.7或以上，同时设置好环境变量，这里默认读者都已经设置好不细讲。在 Windows.

大家好，我是早起。在 Python 中，多线程最常见的一个场景就是爬虫，例如这样一个需求，有多个结构一样的页面需要爬取，例如下方的URL（豆瓣阿凡达影评，以10个为例）url_list=['https://movie.douban.com/subject/1652587/reviews?sort=time&start=0','https://movie.douban.com/subject/1652587/reviews?sort=time&st...

大家好。这是「人人都能看懂的 Python 进阶」系列。今天我们将讨论能在很多教程中看到，但又常常搞的头晕转向的迭代器、生成器，以及让新手经常困惑的yield。事实上，和装饰器一样，这三个概念也是绑在一起的，例如你想知道 「什么是yield」，那在这之前你必须了解什么是生成器。不过在了解生成器之前，又必须了解什么是迭代器，但在搞明白迭代器之前，你总要知道什么是可迭代对象吧。下面就让我们按照这个思路，来一点一点前进吧。一、迭代器1. 迭代在介绍一切之前，先说一下最简单的迭代&

大家好，我是早起。在之前的文章中，我们使用 Python 开发了一个简单的基金购买策略的回测系统。在代码执行完毕后，会生成一系列的结果，包含大量图片、表格如下 此时如果一个一个查看的话便十分低效，如果能使用一个文件把全部输出结果都保存将会大大提高体验。首先想到的当然是 PDF 格式，利用 Python 操作 PDF 也是之前文章分享过很多，想必利用表格+图片生成一个新的PDF并不困难。研究了一番后，发现确实不难，但是太繁琐了，并且 PDF 涉及格式、分页等，如果没有调整好可能会将一张图片放在两页

大家好，我是早起。在使用 Python 进行数据可视化时，相信不论是什么工具，你都会发现有些操作/代码段会频繁的用到，这一点在matplotlib上尤为突出，本文就向大家分享十个我常用的一些小技巧，大多一行代码，短小精悍，威力无穷。一、快速且正确的显示中文在matplotlib中，默认是没法显示中文的，原因很简单，默认使用的字体文件中不含中文。当你搜索如何设置中文时，会有很多教程，我曾经也详细的介绍过3种方法，但是在有的电脑上折腾很久也搞不定，所以当你浪费了太多时间也没法解决，或者在一台陌生

大家好，我是早起。在使用Python本爬虫采集数据时，一个很重要的操作就是如何从请求到的网页中提取数据，而正确定位想要的数据又是第一步操作，本文将对比几种 Python 爬虫中比较常用的定位网页元素的方式供大家学习 传统 BeautifulSoup 操作 基于 BeautifulSoup 的 CSS 选择器（与 PyQuery 类似） XPath 正则表达式 参考网页是当当网图书畅销总榜：http://bang.dangdang.com/books/best

在我们平常使用Python进行数据处理与分析时，在import完一大堆库之后，就是对数据进行预览，查看数据是否出现了缺失值、重复值等异常情况，并进行处理。本文将结合GUI工具PySimpleGUI，来讲解如何制作一款属于自己的数据预处理小工具，让这个过程也能够自动化！最终效果如下本文将分为三部分讲解： 制作GUI界面 数据处理讲解 打包与测试 主要涉及将涉及以下模块： PySimpleGUI pandas matplotlib 一、GU

大家好，我是早起。我们都知道，如果想要在matplotlib中添加文字注释可以使用plt.text根据坐标来添加，如果想要添加箭头也同样可以使用plt.arrow根据坐标完成。那如果想要添加自定义的图片呢？在matplotlib中添加自定义图片有多种方法，本文将基于matplotlib中的Artists容器类讲解，如何在我们制作的图中添加任意自已想要的元素。作为示例，和以前的文章一样，本文不罗列各种参数，用下图作为示例，step by step的介绍每部分制作流程 一句话看懂原理关于

中国的快餐市场竞争一直都很激烈，关于各种品牌江湖上也流传着各种神奇的故事，那么你知道 一线城市最多的快餐品牌是哪家？ 沙县小吃真的是中国餐饮巨头吗？ 每一家肯德基边上都有一家麦当劳是不是真的？ 星巴克VS瑞幸咖啡，谁的热度更高？ 本文使用Python爬取了上万条大众点评商家数据，告诉你答案！一线城市快餐品牌店铺数量大PK首先我们来看一下一线城市中沙县小吃、兰州拉面、星巴克、瑞幸咖啡、肯德基、麦当劳的店铺数量分布情况 从上方的图中可以看到，沙县小吃在上海、广

大家好，我是早起。圣诞节快到了，每年一到圣诞节就会有很多人的头像上多了一顶小红帽 那么你有想过如何用Python去实现吗？如果你尝试去搜索，会发现网上教程一大堆，但是由于大多数人都将圣诞帽位置固定了，所以放上自己的图片后，要不就是圣诞帽偏移了，要不就是帽子比头还大，代码也不知道在哪里改，无从下手。因此，本文将手把手教你如何用Python为你的微信头像添加一顶圣诞帽，并结合我们之前讲过PySimpleGUI，做成一个带有GUI的小程序，先看效果： 本次主要分为两个部分讲解： 用ope

近日，微软亚洲研究院正式发布了业内首个AI量化投资开源平台Qlib，发布一个月以来已经在GitHub收获2.3k star！ 值得关注的一点就是这套量化系统的框架分为多层，每层由多个松散耦合的模块组成，因此每个模块用户都可以自行修改、定制、使用，如下图所示 通过这样的方式，可以让用户更快的了解整个工作流程，并灵活的进行调整，同时也支持在线和离线两种模式，嗯，本地取数据、本地跑策略，隐私上也有一定的提升。更多的宣传点，本文不再过多介绍，下面将从用户使用的角度讲解如何安装配置Qlib并构建一个量化交

大家好，在三月初，我曾给大家分享过一份Matplotlib绘图小抄，详见收下这份来自GitHub的神器，一图搞定Matplotlib！昨天在面向GitHub编程时，无意发现了Pandas官方竟提供了同款小抄，项目地址如下https://github.com/pandas-dev/pandas/blob/master/doc/cheatsheet/Pandas_Cheat_Sheet.pdf可以看到这份小抄提供了PPT和PDF两个版本，虽然最新一条更新记录为两年前，但是并不影响我们拿来学习，下

如果你想用Python进行数据分析，那么Jupyter notebook是你必须要熟练掌握的工具之一，而Notebook也有很多省时好用的小技巧，本文将分享我在使用Notebook时习惯使用的一些操作！ 1.在Notebook中安装第三方库有时我们在进行数据分析的过程中，或者是使用一些在线/远程Notebook，需要临时安装一个第三方库，如果从命令行(甚至没有命令行界面)安装后再重启notebook，那么所有进度都将丢失！这时我们可以使用！pip install xxx 就可以直接在no...

如果你经常使用Python进行数据分析，那么对于Pandas一定不会陌生，但是Pandas除了在数据处理上大放异彩，随着版本的不断更新，Pandas的绘图功能在某些情况下甚至要比Matplotlib更加适用，本文就将介绍如何用Pandas更快的进行数据可视化！基本使用，学会制作套路首先我们使用pandas随机生成示例数据import pandas as pddf= pd.DataFrame(np.random.rand(8, 4), columns=['A','B','C','D'])现在只要

大家好，在之前的很多介绍pandas与Excel的文章中，我们说过**「数据透视表」是Excel完胜**pandas的一项功能。Excel下只需要选中数据—>点击插入—>数据透视表即可生成，并且支持字段的拖取实现不同的透视表，非常方便，比如某招聘数据制作地址、学历、薪资的透视表而在Pandas中制作数据透视表可以使用pivot_table函数，例如同样制作上面的透视表可以使用下面的代码pd.pivot_table(df,index=["地址","学历"],values=["薪资水平"])

在我们使用Jupyter Notebook写代码时，启动后总是需要导入一些库并进配置，尤其是用来做数据分析时，打开后肯定是光速键入下面的代码import pandas as pdimport numpy as npimport matplotlib.pyplot as pltfrom sklearn import svm, tree, linear_model, neighbors, naive_bayes, ensemble, discriminant_analysis, gaussian_p

大家好，说一个鬼故事：你的假期余额不足4小时，这个国庆，你出去旅游了吗？每次假期后网友总爱去微博、知乎吐槽国庆旅游的坑爹景点，相关话题也频上热榜，在国庆期间也有相关文章**[1]通过整理对应话题统计出最坑爹城市前五名分别为杭州、西安、厦门、北京、南京**，而最坑爹景点则有西湖、兵马俑、鼓浪屿、故宫、夫子庙、黄鹤楼等**[2]**，本文通过Python爬取旅游网站评论数据，分析这些城市和景点在国庆期间到底表现如何，是否真的像网友吐槽的那样坑爹。01数据来源与说明本文使用的数据均来源于携程旅行官网对应景点

导读很多同学在学习机器学习时往往掉进了不停看书、刷视频的，但缺少实际项目训练的坑，有时想去练习却又找不到一个足够完整的教程，本项目翻译自kaggle入门项目Titanic金牌获得者的Kernel，该篇文章通过大家并不陌生的泰坦尼克数据集详细的介绍了如何分析问题、数据预处理、建立模型、特征选择、模型评估与改进，是一份不可多得的优秀教程。本文在翻译的同时删减了部分介绍性文字，并对结构进行了调整方便大家阅读，由于篇幅原因，本篇文章中并没有包含大段的代码，仅保留过程与结果。建议在文末获取Notebook版本

前言你用过腾讯微博吗？9月4日，腾讯微博团队突然发布公告称，将于9月28日停止服务和运营，此条消息一出，新浪微博立马安排了一条热搜并引发网友热议！部分用户很震惊腾讯微博居然关了，也有些用户很震惊腾讯微博居然还活着，还有部分用户甚至不知道腾讯微博的存在，腾讯微博已经被淹没在互联网的长流中，但互联网是有记忆的，本文就将通过Python爬取历史数据，尝试探索背靠数亿流量的腾讯微博是如何一步步退出舞台。为了研究腾讯微博的历史数据，很自然的就想到从网页入手，但是让人遗憾的是，虽然官方公告说9月28日正式停止运

写在前面微信群牛皮癣，指的是在微信群里面恶心群发小广告的用户，是微信群主最痛恨的一波人。如果熟悉早起的读者可以知道我有一个技术交流群，但是自从建群以来就饱受小广告的困扰。他们伪装成正常人的样子混进群然后不停的发送广告轰炸，严重的打乱了群内的技术交流气氛???? 或者是一声不吭的去骚扰每一个群成员???? 虽然不清楚是什么能够驱使他们这样不折不扣的努力成为最强微信群牛皮癣(可能是钞能力)，但是在太多次的骚扰之后，我决定拿起Python消灭这些小广告。第一回合其实实现思路很简单，总共分两步

一、前言大家好，又到了Python办公自动化系列。在日常的办公中，从一堆不同格式的文件(夹)中找到我们需要的文件应该是最频繁使用的操作，不论你是凭着记忆去找还是借助软件，本文将分享「如何使用Python制作一款简易的文件搜索工具」本文将基于几个常用的需求来讲解使用Python来制作搜索文件脚本的主要方法二、扫描路径内的内容有些时候我们会希望在当前文件夹的成百上千个文件中快速找到需要的文件，如果这个文件夹又包括很多个子文件夹，并不需要程序进去查找而无端耗费资源。这就是典型的「扫描一层搜

一、前言大家好，又到了办公自动化系列！之前讲过很多基于Excel的数据及样式调整案例，今天分享一个Python操作Word的真实自动化需求实现过程：「使用Python批量修改Word样式」主要将涉及 os模块综合应用 glob模块综合应用 docx模块读写Word文档及样式修改 二、需求描述手上现有若干份财务分析报告的Word文档，如下：每一份Word文档中的内容如下：为了方便后续审阅，需要将所有文档中所有含有资金的语句标红加粗，如图所示三、步骤分析和前

前言大家好，在之前的十几篇办公自动化系列文章中，我们大多是以真实的案例需求来讲解Python如何进行自动化办公操作，并且多次使用到openpyxl来处理表格，今天我们就来详细的盘点Python操作Excel神器openpyxl的各种操作！“本文将以详细图表/代码的形式讲解如何对Excel进行读取、写入及样式调整，可以当成速查手册使用，随用随查，建议收藏！”安装openpyxl是一个非标准库，因此需要自行安装，安装过程并不困难，Windows/Mac用户均可以在命令行(CMD)/终端(Te

前言大家好，又到了Python办公自动化系列。今天分享一个系统层面的自动化案例：「给定一个文件夹，使用Python检查给定文件夹下有无文件重复，若存在重复则删除」主要涉及的知识点有： os模块综合应用 glob模块综合应用 利用filecmp模块比较两个文件 步骤分析该程序实现的逻辑可以具化为：遍历获取给定文件夹下的所有文件，然后通过嵌套循环两两比较文件是否相同，如果相同则删除后者。实现问题的关键就变成了????如何判断两个文件是否相同？

前言大家好，又到了Python办公自动化系列。今天我们继续分享一个真实的办公自动化需求：如何使Python+Excel+Word批量生成指定格式内容的合同。主要涉及的知识点有：openpyxl模块的综合运用与Word文档的两种遍历逻辑。需求描述你是乙方建筑公司，手上有一份空白合同模板的Word文件，如下图:另外还有一份Excel合同信息表，其中是所有甲方(发包人)在合同中需要填写的内容可见一行为一个公司的全部信息，现在需要把Excel中每一个公司的信息填入空白Word合同模板中，生成各公

大家好，又到了Python办公自动化系列。本文将讲解如何将文字从PPT中提取出来并写入Word，主要将涉及如何使用python-pptx和python-docx交互操作word和ppt文件！本文依旧来源于真实的办公自动化需求！一、需求说明img有一份如图所示的ppt，包含了Python的介绍。现在需要将PPT中的文字都提取出来并写入Word中，如下图img二、涉及知识代码实际上非常简单，基于python-pptx和python-docx两个模块即可，核心代码只有6行。但需

前言大家好，NumPy进阶修改80题现在已经全部更新完毕，80道习题涵盖了NumPy中数组创建、访问、筛选、修改、计算等常用操作，如果不熟悉NumPy的读者可以刷一遍，因为里面的代码大多拿走就能用，所以如果你已经了解NumPy的基本操作，我更建议将这80题当成速查手册使用，随用随查！本文共分为两个部分：完整版NumPy80题Notebook版下载方式完整版80题1.导入并查看NumPy版本import numpy as npprint(np.__version__)1.15.42.

相信很多读者学习Python就是希望作出各种酷炫的可视化图表，当然你一定会听说过Matplotlib、Pyecharts、Seaborn、Plotly、Bokeh这五大工具，本文就将通过真实绘图来深度评测这五个Python数据可视化的库，看看到底这几种工具各有什么优缺点，在制作图表时该如何选择。指标说明为了更清晰的了解这几款用于可视化的Python在作图时的异同，本文将使用同一组数据分别制作多系列条形图来对比，主要将通过以下几个指标来进行评测：数据说明本文使用的数据为Pyecharts中的fak

一行Python代码即可导出多种浏览器的历史记录？就像这样????现在来说说原理，不管是Windows还是MAC，Chrome等浏览器的历史数据都是存储在本地的SQLite数据库中，例如Windows用户可以在C:\Users\Administrator\AppData\Local\Google\Chrome\User Data\Default找到，当然在Python中我们可以使用内置OS模块找到该数据库文件，再使用Python内置的sqlite3模块可以轻松读取并导出浏览记录数据，而这个过程在Gi

大家好，又到了Python办公自动化专题本文跟大家分享一个文件整理脚本的实现过程。具体的功能很简单，给定一个打算整理的文件夹目录，这个脚本可以将该目录下的所有文件都揪出来，并且根据后缀名归类到不同的文件夹里，就像下图一样，简直是整理爱好者的福音通过本例还可以学到:os、glob、shutil三个标准库的综合运用，现在让我们一起来捋一捋实现的逻辑。首先是导入需要的库import osimport shutilimport glob# 设置建立分类总文件夹的路径，这里按自己.

前言在之前的很多文章中我们都说过，Pandas与openpyxl有一个很大的区别就是openpyxl可以进行丰富的样式调整，但其实在Pandas中每一个DataFrame都有一个Style属性，我们可以通过修改该属性来给数据添加一些基本的样式。使用说明我们可以编写样式函数，并使用CSS来控制不同的样式效果，通过修改Styler对象的属性，将样式传递给DataFrame，主要有两种传递方式Styler.applymap：逐元素Styler.apply：列/行/表方式Styler.applyma

前言Excel与Python都是数据分析中常用的工具，本文将使用动态图(Excel)+代码(Python)的方式来演示这两种工具是如何实现数据的读取、生成、计算、修改、统计、抽样、查找、可视化、存储等数据处理中的常用操作！数据读取说明：读取本地Excel数据ExcelExcel读取本地数据需要打开目标文件夹选中该文件并打开PandasPandas支持读取本地Excel、txt文件，也支持从网页直接读取表格数据，只用一行代码即可，例如读取上述本地Excel数据可以使用pd.

在机器学习的很多算法，尤其是与聚类相关的算法中你会碰到各种各样的距离，欧式距离、马氏距离、切比雪夫距离等会让初学者头疼，如果只看书的话，大多书上就一行公式带过，看完还是迷迷糊糊，今天本文就来盘一盘机器学习中的各种距离。闵可夫斯基距离闵氏距离不是一种距离，而是一组距离的定义，是对多个距离度量公式的概括性的表述，欧式距离、曼哈顿距离、切比雪夫距离都是由闵可夫斯基距离而来，先来看看书上给的定义[1]初次看到这个公式的我和你们一样，除了感觉是个有点类似于p范数的东西之外毫无感觉，但是要知道这个p是.

同一个操作执行两次，就要考虑自动化！大家好，又到了Python办公自动化专题。今天讲的是各位一定会接触到的PDF转换，关于各种格式的文件转换为PDF有很多第三方工具与网站可以实现，但是使用Python的好处不仅可以批量转换，同时一旦脚本写完了以后就可以一键执行，彻底解放双手，那么本文就来盘一盘如何使用Python来将Word/Excel/PPT/Markdown/Html等各种格式的文件转换为PDF！Word转PDFWord转PDF应该是最常见的需求了，毕竟使用PDF格式可以...

大家好，又到了Python办公自动化专题。在之前我们详细讲解过如何使用Python自动更新Excel表格并调整样式，在上次的自动化案例中要求两个或多个Excel表格数据要匹配/对称才能够自动更新，今天我们再次来解决在数据不对称的情况下如何自动更新表格，这是更常见的情况，也是我遇到的一个具体需求。需求分析现在我们有类似如下一份记录了口袋妖怪名字的分组名单:(未全部展示，实际有A-U组+1个"未分组")现在有一份更新的名单（仅含名字）需要根据这份新名单对原来的总表进行更新..

大家好，关于学Python为什么需要一台自己的服务器来跑程序在之前我们就讲过，对于我来说大多是就是用来 跑一些定时的爬虫程序 在任意设备上调试/展示代码 本文就手把手带大家白嫖一个服务器并搭建属于自己的远程Jupyter Notebook，主要分为下面三个步骤： 白嫖一个服务器 配置anaconda 配置远程Jupyter Notebook 看上去可能挺难，过程也确实有点复杂，但只要一步一步按照我给的命令去做就一定能成功！白嫖服务器本节的任务就.

大家好，今天是儿童节，之前已经教大家使用Python一行代码回到童年的游戏，本文再送给大家一份儿童节礼物——使用Turtle绘制动漫中的人物。关于Turtle库我们已经讲过很多次，之前我们也曾使用它来画樱花、画爱心520表白，甚至用来做小游戏。其实绘制各种图案的原理都是类似的，就是使用Python代码来控制一只可以移动的小乌龟，通过乌龟的移动来绘制出想要的图形，本文就不再详细介绍，直接来看效果吧！皮卡丘哆啦A梦哆啦A梦和大雄路飞...

大家好，儿童节就要来了，虽然秃头程序员没有头发，但是童心还是一直都在的，今天就分享一个私藏的GitHub项目——free-python-games，一行代码就能进入使用Python开发的小游戏快乐玩耍！安装与使用安装当然也很简单一行代码就可以pip install freegames由于该项目中的所有游戏均是基于Python内置模块Turtle制作，所以没有太多依赖，安装不会有困难。安装完之后我们可以使用python -m freegames list来查看所有的游戏列表..