寒夜的博客

本博客为《利用Python进行数据分析》的读书笔记，请勿转载用于其他商业用途。文章目录1. NumPy ndarray：多维数组对象NumPy是Numerical Python的简称。1. NumPy ndarray：多维数组对象Numpy的核心特征之一就是N-维数组对象——ndarray。ndarray是Python中一个快速、灵活的大型数据集容器。数组允许你使用类似于标量的操作语法在整...

本博客为《利用Python进行数据分析》的读书笔记，请勿转载用于其他商业用途。文章目录1. 分层索引1.1 重排序和层级排序1.2 按层级进行汇总统计2. 联合与合并数据集2.1 数据库风格的DataFrame连接2.2 根据索引合并2.3 沿轴向连接2.4 联合重叠数据8.3 重塑和透视3.1 使用多层索引进行重塑3.2 将“长”透视为“宽”3.3 将“宽”透视为“长”1. 分层索引分层索...

**本博客为《利用Python进行数据分析》的读书笔记，请勿转载用于其他商业用途。**

输入和输出通常有以下几种类型：读取文本文件及硬盘上其他更高效的格式文件从数据库载入数据与网络资源进行交互（比如Web API）将表格类型数据读取为DataFrame对象是pandas的重要特性。下表总结了部分实现该功能的函数，read_csv和read_table可能是后期我们使用最多的函数。表：Pandas的解析函数函数描述read_csv从文件、URL或文...

本博客为《利用Python进行数据分析》的读书笔记，请勿转载用于其他商业用途。pandas对象装配了一个常用数字、统计学方法的集合。其中大部分属于归约 或汇总统计 的类别，这些方法从DataFrame的行或列中抽取一个Series或一系列值的单个值（如总和或平均值）。与NumPy数组中的类似方法相比，他们内建了处理缺失值的功能。考虑一个小型DataFrame：df = pd.DataFrame...

本博客为《利用Python进行数据分析》的读书笔记，请勿转载用于其他商业用途。1. 整数索引在pandas对象使上用整数索引对新用户来说经常会产生歧义，这是因为它和在列表、元组等Python内建数据结构上进行索引有些许不同。例如：ser = pd.Series(np.arange(3.))print(ser)print(ser[-1])在上面的例子中，pandas可以“回退”到整数索...

本博客为《利用Python进行数据分析》的读书笔记，请勿转载用于其他商业用途。1、重建索引reindex是Pandas对象的重要方法，该方法用于创建一个符合新索引的新对象。例：obj = pd.Series([4.5, 7.2, -5.3, 3.6], index=['d', 'b', 'a', 'c'])print(obj)#d 4.5b 7.2a ...

本博客为《利用Python进行数据分析》的读书笔记，请勿转载用于其他商业用途。1、SeriesSeries是一种一维的数组型对象，它包含了一个值序列，并且包含了数据标签，称为索引（index）。最简单的序列可以仅仅由一个数组形成：import pandas as pdobj = pd.Series([4, 7, -5, 3])print(obj)#0 41 ...

本博客内容来自韦玮老师网络爬虫课堂笔记，仅用于个人学习和复习，请勿转载用于其他商业用途。1、爬虫防屏蔽手段之代理服务器使用代理服务器进行信息爬取，可以很好的解决IP限制的问题。import urllib.requestdef use_proxy(url, proxy_addr): # 设置代理服务器：49.71.133.38为代理服务器地址，9999为代理服务器端...

本博客内容来自韦玮老师网络爬虫课堂笔记，仅用于个人学习和复习，请勿转载用于其他商业用途。浏览器伪装技术原理当我们爬优快云博客，我们会发现返回403，因为对方服务器会对爬虫进行屏蔽。此时，我们需要伪装成浏览器才能爬取。浏览器伪装，我们一般通过报头进行。我们还是用TED官网进行试验。首先我们输入https://www.ted.com/#/，然后按F12键，在network中任意...

本博客内容来自韦玮老师网络爬虫课堂笔记，仅用于个人学习和复习，请勿转载用于其他商业用途。Urllib库（二）1、自动模拟HTTP请求客户端如果要与服务器端进行通信，需要通过http请求进行，http请求有很多种，这里只讲post和get两种请求方式。登陆、搜索某些信息的时候会用到。import urllib.requestkeyword = "Python"url = "...

本博客内容来自韦玮老师网络爬虫课堂笔记，仅用于个人学习和复习，请勿转载用于其他商业用途。Urllib库（一）一个简单的小作业将https://read.douban.com/provider/all网址中所有的出版社信息都爬取出来。网站图片如下：可以看到，网页中有许多的出版社。下面我们用代码将所有出版社的名字爬取出来，并保存在文件中。import urllib.req...

线性代数线性代数，比如矩阵乘法、分解、行列式等方阵数学，是所有数组类库的重要组成部分。和Matlab等其他语言相比，Numpy的线性代数中所不同的是*是矩阵的逐元素乘积，而不是矩阵的点乘积。因此Numpy的数组方法和numpy命名空间中都有一个函数dot，用于矩阵的操作：x = np.array([[1., 2., 3.], [4., 5., 6.]])y = np.array([...

布尔值数组的方法对于布尔值数组，有两个非常有用的方法any和all。any检查数组中是否至少有一个True，而all检查是否每个值都是True。bools = np.array([False, False, True, True])print(bools.any())print(bools.all())#TrueFalse这些方法也可以适用于非布尔值数组，所有的非0元...

本文来自李宁老师《Python从菜鸟到高手》中正则表达式相关内容，仅供自己复习，请勿转载并用于其他商业用途。正则表达式就是通过一个文本模式来匹配一组符合条件的字符串使用match方法匹配字符串 如果文本模式只是一个普通的字符串，那么待匹配的字符串和文本模式字符串在完全相等的情况下，match方法会认为匹配成功。match方法用于指定文本模式和待匹配的字符串。该方法的前...

Numpy的一些基本操作1、使用Numpy打开文件：import numpytxt = numpy.genfromtxt("数据统计.txt", delimiter=",", dtype=str)delimiter表示元素之间通过","分隔，dtype表示默认使用的读取方式，通常默认为使用str值读进来。2、Numpy最核心的结构——numpy.array()v...

补充内容来自《利用Python进行数据分析》，仅供自己学习使用，严禁转载用于其他商业用途。神奇的索引arr = np.empty((8, 4))for i in range(8): arr[i] = iprint(arr)print('------------')print(arr[[4, 3, 0, 6]])print('------------')prin...

本博客内容为唐宇迪老师的人工智能课程的笔记，仅为学习之用，请勿用于其他商业用途。1、从pandas中取出数据如果我们想从文件中取第一行数据，可以使用loc方法。要注意的是，loc后面跟着的不是小括号而是中括号，操作如下：print(food_info.loc[0])#结果如下：NDB_No 1001Shrt_Desc ...

1、文件的读取pandas库打开文件使用pandas.read_csv()方法打开文件，代码如下：import pandasfood_info = pandas.read_csv("food_info.csv")print(type(food_info))#得到结果#<class 'pandas.core.frame.DataFrame'>希望了解文件中...

1、numpy的3中复制方法第一种方法：a = np.arange(12)b = aprint(b is a)#运行结果：True首先，我们获得1个变量a，然后将a赋值给b，然后进行布尔值判断，发现b is a返回True。b.shape = (3, 4)print(a.shape)print(id(a))print(id(b))#运行结果：(3, 4...

地方

1、arange()方法a = np.arange(10, 30, 5)print(a)#运行结果：[10 15 20 25]类似于python中的range()方法，取10-30（不包含30）中的数字，以5作为间隔。a = np.arange(20)print(a.reshape(4, 5))#运行结果：[[ 0 1 2 3 4] [ 5 6 7...

1、numpy中变换元素的类型numbers = numpy.array(['1', '2', '3'])print(numbers.dtype)print(numbers)numbers = numbers.astype(float)print(numbers.dtype)print(numbers)#运行结果：<U1['1' '2' '3']float64...

Numpy的一些基本操作1、numpy的数据选取matrix = numpy.array([['a', 'b', 'c', 'd', 'e'], ['f', 'g', 'h', 'i', 'k'], ['l', 'm', 'n', 'o', 'p'], ['q', 'r', 's', 't', 'u']])print(matrix)print(matrix.shape)先看一下打...