wenyusuran的专栏

前言在本文中，将要介绍两个重要的气象绘图库包，matplotlib 与 cartopy,前者是基于 Python 的二维绘图库，后者是非常重要的气象地理信息库包；以及两个重要的地理分析库 包 geopandas 与 geoplot。由于已经有多种介绍数据分析库包 numpy、pandas、xarray 的 内容介绍，这里不再开列专门的博文讲解。 Matplotlib 基础介绍 Matplotlib 是建立在 numpy 库包上的数据可视化库包，其强大的功能与可视化能力， 让其

Python多线程的使用我们知道进程是资源分配的单位，线程是处理机调度的单位。下文就以简明的例子带大家理解线程，并使用Python实现多线程。比如在飞车程序中，我们在玩游戏的同时，还可以听到游戏为我们配置的背景音乐。在这个例子中启动飞车程序就是一个进程，玩游戏和听音乐是两个线程。 单线程在最早的计算机中，操作系统处理问题是单任务的，要玩游戏和听音乐，就一定要顺序进行，不能并发。我们假设玩游戏需要3秒，听音乐需要1秒。def music(music_name...

多元线性回归的前提条件： 因变量不能和扰动项有线性关系 自变量与因变量之间要有线性关系 自变量之间不能有太强的线性关系 扰动项或残差独立且应服从均值为0、方差一定的正态分布 / 01 / 残差分析残差分析是线性回归诊断的重要环节。残差应服从的前提条件有三个： 残差方差齐性 残差独立同分布 残差不能和自变量相关(不能检验) 通过查看残差图来查看残差情况。残差图可分为四类： 残差正常分布：

数据类型航天飞机雷达地形任务（SRTM），顾名思义，是一个研究任务，产生一个通用的免费数字高程模型。SRTM以.hgt为结尾，文件的名字解释了hgt文件的范围。比如，文件名字为N30E11,表示范围时30°N11°E到31°N12°E的正方形网格范围。分为两种类型,SRTM1,SRTM3,分别对应的网格(1201*1201或3601*3601)。资料格式可以简单的理解为hgt文件将每一个经纬度分为了一个1201*1201(3601*3601)的网格，位置与范围如数据类型所示。因此使用

1. 写在前面搞算法的同学也都明白，一个比较完美的python环境是多么的重要。这篇文章打算把一些必备的python环境配置过程记录下来，这样不管是新到了公司实习或者就职，还是新换了电脑，都可以借鉴这篇快速把环境搭建起来啦由于我也是重装了系统，所以算是从0开始搭建python环境，这次从anaconda安装开始， 然后到cuda的相关安装配置，再到cudnn的安装配置，然后从anaconda中建立虚拟tensorflow和pytorch的虚拟环境，再各自的虚拟环境里面安装jupyter noteb.

matplotlib做交互式展示数据就像上面GIF展示的一样，使用matplotlib也能交互式展示数据。其实实现逻辑也很简单，先创建一幅静态图，之后根据鼠标位置盘判断若光标在数据点上就使用annotate来添加注释。下面来说下全部制作过程，首先还是导入相关库%matplotlibnotebookimportmatplotlib.pyplotaspltimportnumpyasnpnp.random.seed(1)注意如果在notebook中写代码的话，若还使用嵌入式...

01 pyspark简介及环境搭建pyspark是python中的一个第三方库，相当于Apache Spark组件的python化版本（Spark当前支持Java Scala Python和R 4种编程语言接口），需要依赖py4j库（即python for java的缩略词），而恰恰是这个库实现了将python和java的互联，所以pyspark库虽然体积很大，大约226M，但实际上绝大部分都是spark中的原生jar包，占据了217M，体积占比高达96%。由于Spark是基于Scala...

前言以下为博主为大家准备的人工智能&算法研究类精品专栏，喜欢的小伙伴自行下载。深度学习100例全系列详细教程 深度学习算法原理介绍及应用案例tensorflow从入门到精通100讲深度学习框架TensorFlow的应用案例手把手教你ML机器学习算法源码全解析 机器学习算法解析及应用案例数据挖掘算法解析指南数据挖掘算法原理解析及应用案例数据结构常见算法原理讲解数据结构算法原理解析及应用人工智能AI实战系列代码全解析图像处理、自然语言处理实战案例解析二维核密度...

1、数据下载数据及代码参见温度植被干旱指数TVDI采用的数据为MODIS植被指数产品MOD13A3、地表温度产品MOD11A2以及SRTM DEM产品。 MODIS数据来源于美国航空航天局（National Aeronautics and Space Administration，NASA）陆地产品处理分发数据中心 （Land Processes Distribution Active Archive Center，LPDAAC，https://lpdaac.usgs.gov）； D

前言 什么是时间序列。 在python里面如何导入时间序列数据。 什么是面板数据。 可视化时间序列（包括时间序列的区域填充图，季节性时间序列图，箱型图等）。 时间序列的几种模式以及模式的分解。 时间序列的平稳性的介绍、原理、解释等；以及让时间序列平稳的方法。 白噪声和平稳时间序列的区别。 时间序列的趋势性、季节性如何提取、去除。 如何处理带有缺失值的时间序列数据。 时间序列的自相关、偏自相关数据。 ..

爬虫程序与手机里安装的社交软件和娱乐软件不一样，但它们可能是互相关联的。你早上看到的新闻资讯以及股票走势图，都有可能是爬虫程序收集而来的。爬虫程序的核心是数据——它围绕着数据工作。爬虫程序的链条 整理需求 分析目标 发出网络请求 文本解析 数据入库 数据出库 搜索引擎及时展示、信息聚合、数据分析、深度学习样本、运营参考 爬虫工程师常用的库网络请求是爬虫程序的开始，也是爬虫程序最重要的组成部分之一。首先，先来介绍网络请求库Reque

文件存储文件储存的形式多种多样，比如说保存成TXT纯文本形式，也可以保存为JSON格式、CSV格式等等。TXT文本存储将数据保存到TXT文件的操作是非常简单的，而且TXT文本几乎兼容任何平台，但是也是存在缺点的，那就是不利于检索。所以如果对检索数据的要求不高，追求第一的话，可以采用TXT文本存储。基本示例爬取小说网，链接如下：https://www.soxscc.com/BianShenJueSeShaoNv/1001322.html首先可以使用requests将网页源码获取

01本文涉及到的知识点1、python字符串：分割、拼接、中文字符判断；2、python正则表达式；3、爬虫requests请求库、xpath获取数据、代理服务器；4、selenium用法：无头浏览器、元素定位、显式等待、数据获取；5、python操作mongodb02网站分析代码和数据我们到后面再贴上，先来分析下目标网站，这样有利于我们爬取过程更加清晰目标网站：开放式基金排行 _ 天天基金网我们爬取的就是【开放式基金】里的数据：我们随便点开一个基

实战一：中国大学排名前言由于上一篇文章中教会了大家如何存储数据，但是由于篇幅过大，就没有加入实战篇。想必大家也等着急了吧，所以今天就为大家带来两篇实战内容，希望可以帮助到各位更好的认识到爬虫与MySQL数据库结合的知识。每年的6月都是高考的大日子，所有的学子都为自己的目标大学努力着，拼搏着，所以今天的第一篇实战就是为你们带来2020中国大学的排名情况，让各位小伙伴知道你自己的大学排名大概是多少。需求分析与功能实现爬取的网址如下：https://www.shanghairanking

线程锁Threading模块为我们提供了一个类，Threading.Lock锁。我们创建该类的对象，在线程函数执行之前，“抢占”该锁，执行完成之后，“释放”该锁，则我们确保了每次只有一个线程占有该锁。这时对一个公共对象进行操作，则不会发生线程不安全的现象了。当多个线程同时访问一个数据库时，需要加锁，排队变成单线程，一个一个执行。加锁可以避免并发时导致的逻辑错误，每当一个线程a要访问共享数据域时，必须先获得锁定；如果已经有别的线程b获得了锁定，那么就让线程a暂停，也就是同步阻塞；等到线程b执行完毕，释

前言有时候我们会用requests抓取页面的时候，得到的结果可能和浏览器中看到的不一样：在浏览器中可以看到正常显示的页面数据，但是使用requests得到的结果并没有。这是因为requests获取的是原始的HTML文档，而浏览器中的页面则是经过javascript处理数据后生成的结果，这些数据的来源有多种，可能通过Ajax加载的，可能是包含在HTML文档当中，也有可能是经过javascript特定算法计算后生成的。对于第一种情况：Ajax加载数据是一种异步加载方式，原始的农业面最初是不会包含这些数据

面向对象python从设计开始就是一门面向对象的的语言，因此使用python创建一个类与对象是非常简单的一件事情。如果你以前没有接触过面向对象的编程语言，那么你需要了解一些面向对象语言的一些基本特征，接下来就来感受python的面向对象语言。面向对象简介 类(Class)：用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。 类变量：类变量在整个实例化的对象中是公共的。类变量定义在类中，且在函数体外。 数据成员：类变量或

关于JSONJSON是一个标记符序列。这套标记符包括：构造字符、字符串、数字和三个字面值。构造字符JSON包括六个构造字符，分别是：左方括号、右方括号、左大括号、右大括号、冒号与逗号。JSON值JSON值可以是对象、数组、数字、字符串或者三个字面值（false、true、null），并且字面值必须是小写英文字母。对象对象是由花括号括起来，逗号分割的成员构成，成员是字符串键和上面所说的JSON值构成，例如：{"name":"jack","age":18,"address":{

什么是pyquerypyquery是类似于jquery的网页解析工具，让你使用jquery的风格来遍历xml文档，它使用lxml操作html的xml文档，它的语法与jquery很像，和我们之前所讲的解析库xpath与Beautiful Soup比起来更加灵活与简便，并且增加了添加类和移除节点的操作，这些操作有时会为提取信息时带来极大的便利。使用pyquery如果你对web有所了解，并且比较喜欢使用CSS选择器，那么这里有一款更适合你的解析库——jquery。准备工作在使用之前，请确保已经

前言制作提供信息的可视化(有时称为绘图)是数据分析中的最重要任务之一。可视化可能是探索过程的一部分，例如，帮助识别异常值或所需的数据转换，或者为建模提供一些想法。对于其他人来说，构建网络交互式可视化可能是最终目标。Python有很多附加库可以用来制作静态或动态的可视化文件，但是我将主要关注matplotlib和以它为基础的库。Python数据可视化matplotlib是一个用于生成出版级质量图表（通常是二维的）的桌面绘图包。该项目由John Hunter于2002年发起，目的在于在Python环

0x00 开始之前首先，本文不是带你浏览源代码，然后对照原始代码给你讲 Python 标准的实现。相反，我们会从实际问题出发，思考解决问题的方案，一步步体会解决方案的演进路径，最重要的，希望能在过程中获得知识系统性提升。⚠️本文仅是提供了一个独立的思考方向，并未遵循历史和现有实际具体的实现细节。其次，阅读这篇文章需要你对 Python 比较熟悉，至少了解 Python 中的生成器generator的概念。0x01 IO 多路复用这是性能的关键。但我们这里只解释概念，其实现细节不是重...

#!pipinstallbrewer2mplimportnumpyasnpimportpandasaspdimportmatplotlibasmplimportmatplotlib.pyplotaspltimportseabornassnsimportwarnings;warnings.filterwarnings(action='once')large=22;med=16;small=12params={'axes.titlesi...

使用XPathXPath，全称XML Path Language，即XML路径语言，它是在XML语言中查找信息的语言。它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。在上一篇文章中讲述了正则表达式的使用方法，正则表达式的难度还是比较大的，如果不花足够多的时间去做的话还是比较难的，所以今天就来分享比正则简单的内容，方便大家接下来的学习。XPath常用规则XPath的规则是非常丰富的，本篇文章无法一次性全部概括，只能为大家介绍几个常用的规则。表达式 描述 node

前言以下是我为大家准备的几个精品专栏，喜欢的小伙伴可自行订阅，你的支持就是我不断更新的动力哟！MATLAB-30天带你从入门到精通MATLAB深入理解高级教程（附源码）tableau可视化数据分析高级教程python快速学习实战应用系列课程基础篇1首先，要知道我们用哪些库来画图?matplotlibpython中最基本的作图库就是matplotlib，是一个最基础的Python可视化库，一般都是从matplotlib上手Python数据可视化，然后开始做纵向与横向

前言NumPy包是python生态系统中数据分析、机器学习和科学计算的主力。它极大地简化了向量和矩阵的操作。Python的一些主要软件包依赖于NumPy作为其基础架构的基础部分（例如scikit-learn、SciPy、pandas和tensorflow）。我们将介绍一些使用NumPy的主要方法，以及在我们为机器学习模型提供服务之前它如何表示不同类型的数据（表格、声音和图像）。以下是我为大家准备的几个精品专栏，喜欢的小伙伴可自行订阅，你的支持就是我不断更新的动力哟！MATLAB-30天带你从

导读Matplotlib 是一个 Python 的 2D绘图库，它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形。通过 Matplotlib，开发者可以仅需要几行代码，便可以生成绘图，直方图，功率谱，条形图，错误图，散点图等。以下内容来自「Github」，为《PythonDataScienceHandbook[1]》(Python 数据科学手册[2])第四章「Matplotlib」介绍部分。Matplotlib 是一个 Python 的 2D绘图库，它以各种硬拷贝格式和跨平台的交

说道离职的原因，可谓多种多样。人们归总了两点：1. 钱没给到位2. 心受委屈了有人离职是因为“世界那么大，我想去看看”，也有人觉得“怀有绝技在身，不怕天下无路”。另一方面，员工离职对于企业而言有什么影响呢？要知道，企业培养人才需要大量的成本，为了防止人才再次流失，员工流失分析就显得十分重要了。这不仅仅是公司评估员工流动率的过程，通过找到导致员工流失的主要因素，预测未来的员工离职状况，从而进一步减少员工流失。那么，哪些因素最容易导致员工离职呢？这次我们...

1 前言正则表达式是对字符串（包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为“元字符”））操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是一种文本模式，该模式描述在搜索文本时要匹配的一个或多个字符串。上面都是官方的说明，博主自己的理解是（仅供参考）：通过事先规定好一些特殊字符的匹配规则，然后利用这些字符进行组合来匹配各种复杂的字符串场景。比如现在的爬虫和数据分析，字符.

前言以下是我为大家准备的几个精品专栏，喜欢的小伙伴可自行订阅，你的支持就是我不断更新的动力哟！MATLAB-30天带你从入门到精通MATLAB深入理解高级教程（附源码）tableau可视化数据分析高级教程数据聚合、汇总和可视化是支撑数据分析领域的三大支柱。长久以来，数据可视化都是一个强有力的工具，被业界广泛使用，却受限于 2 维。在本文中，作者将探索一些有效的多维数据可视化策略（范围从 1 维到 6 维）。一、可视化介绍描述性分析（descriptive analytics）

了，但有些小技巧还是要和大家普及一下的。为了给大家演示，我们采用一个公开的数据集进行说明。importpandasaspdiris=pd.read_csv('https://raw.githubusercontent.com/mwaskom/seaborn-data/master/iris.csv')随机采样5条，数据是长这样子的。>>>iris.sample(5)sepal_lengthsepal_widthpetal_length...

如果要获取总分排名前10的学生信息，大家可能会按照总分排序然后head(10)来操作一番，但是如果遇到同排名的情况导致前10的学生数超过10个肿么办呢？今天，我们就来看看pandas都提供了哪些便捷的函数方法，让我们数据处理快人一步~目录： 1. 求最大或最小的前N组数据 2. 求当前元素和前一元素间变化率 3. 将列表中每个元素转化为一行 1. 求最大或最小的前N组数据我们在进行数据处理的时候，往往会遇到一个场景，那就是求这组数据中最大或最小的前N组数据。一般情况

1、生成手绘图片现在很多软件可以将照片转换成手绘形式，python也可以实现，而且定制化更强，可批量转换。这里用到pillow库，这是非常牛逼且专业的Python图像处理库原图：生成手绘后：代码：#-*-coding:UTF-8-*-fromPILimportImageimportnumpyasnp#原始图片路径original_image_path="E:\\图片\\陆家嘴.jpg"#要生成的手绘图片路径，可自定义handdraw...

本文说明我相信你如果学习了Pandas，就一定是想从事数据分析这样一个行业。既然你想从事数据分析行业，那我就默认你肯定是会Sql，即使你现在不会，你以后也要会。本文初步对比Sql，说明如何使用Pandas中执行各种SQL操作。真的！好像对比起来，学习什么都快了。本文大纲引入相关库和数据读取importnumpyasnpimportpandasaspddf=pd.read_csv("tips.csv",encoding="gbk")df.head()...

最近需要将一批数据从csv文件中迁移到Oracle数据库中，打算用Python来实现，趁着这个机会，写一篇博客学习总结一些如何使用Python来操作Oracle数据库。1 安装与导入Python操作Oracle数据库多用cx_Oracle这个第三方扩展，总体而言，cx_Oracle的使用方式与Python操作MySQL数据库的pymysql库还是很相似的，如果还没有安装，可以通过下面的命令进行安装：$ pip install -i https://pypi.douban.com/simple cx

前言组合算法也叫集成学习，在金融行业或非图像识别领域，效果有时甚至比深度学习还要好。能够理解基本原理并将代码用于实际的业务案例是本文的目标，本文将详细介绍如何利用Python实现集成学习中随机森林这个经典的方法来预测宽带客户的流失，主要将分为两个部分： 详细原理介绍 Python代码实战 集成学习本文的主角是随机森林，所以我们将以随机森林所属的分支 ——装袋法入手，深入浅出该集成学习方法的原理步骤。装袋法流程如下乍一看图中的步骤可能有些复杂，现在来逐步拆解。装袋法..

语言模型是自然语言处理的核心概念之一。word2vec是一种基于神经网络的语言模型，也是一种词汇表征方法。word2vec包括两种结构：skip-gram（跳字模型）和CBOW（连续词袋模型），但本质上都是一种词汇降维的操作。word2vec我们将NLP的语言模型看作是一个监督学习问题：即给定上下文词，输出中间词，或者给定中间词，输出上下文词。基于输入和输出之间的映射便是语言模型。这样的一个语言模型的目的便是检查和放在一起是否符合自然语言法则，更通俗一点说就是和搁一起是不是人话。所...

前言Excel与Python都是数据分析中常用的工具，本文将使用动态图(Excel)+代码(Python)的方式来演示这两种工具是如何实现数据的读取、生成、计算、修改、统计、抽样、查找、可视化、存储等数据处理中的常用操作！数据读取说明：读取本地Excel数据ExcelExcel读取本地数据需要打开目标文件夹选中该文件并打开PandasPandas支持读取本地Excel、txt文件，也支持从网页直接读取表格数据，只用一行代码即可，例如读取上述本地Excel数据可以使..

从 Series 说起Series 是一种类似于一维数组的对象，由一组数据（数据类型可以是整数、浮点数、字符串和其他 Python 对象）和与之同长度的索引（或称标签）组成。举个例子：importpandasaspd#标签1索引数据'a',标签2索引数据'b'...s=pd.Series(data=['a','b','c','d'],index=[1,2,3,4])print(s)创建 Series 的三种方式对于构造函数pd.Ser...

课题今天的课题非常简单，我们一样来写一个小游戏，这个小游戏大家都会玩，就是著名的剪刀石头布的游戏。这个游戏的英文叫做rock paper and scissors，规则也不用我说了，大家想必都非常熟悉。最终运行的结果是这样的：也就是说我们输入r表示石头，p表示布，s表示剪刀。电脑会随机出一个，然后根据我们和电脑的选项判定输赢，输出最终的结果。知识点剪刀石头布和上次的猜数游戏差别不大，都是很简单的游戏，代码层面的难点并不多。关于输入输出以及if-else这些基础的语法上一期已经讲...

前言优快云2020年度博客之星马上就要收尾了，你知道自己关注的博主排名实时变化吗？谁是你心目中的博客之星，让我们爬取各位博主的排名及各位博主的一些个人信息。代码直接上代码# -*- coding: utf-8 -*-"""Created on Mon Jan 18 11:20:33 2021"""# ====================================# @Time : 2021年1月18日# @Author : suyd# @优快云