戴翔的技术博客

零. 写在前面 人生苦短，我用Python。 Python被广泛应用于后端开发、游戏开发、网站开发、科学运算、大数据分析、云计算，图形开发等领域；Python在软件质量控制、提升开发效率、可移植性、组件集成、丰富库支持等各个方面均处于先进地位。在继续本系列教程之前，你应该了解一些基本的计算机编程术语。如果你学习过C，Java等编程语言，将有助于你更快的了解Python编程。一. 关于Py

在有些情况下，我们需要在DataFrame类型的数据中通过切片获得我们所需要的数据，然后转换为我们所需要的类型。Dataframe数据类型的转换需要用到astype函数。# encoding: utf-8import pandas as pddf = pd.DataFrame(pd.read_csv('film_log3.csv', sep=';',encoding='utf-8',

文件的几种读写形式：w 写式，它是不能读的，如果用w模式打开一个已经存在的文件，会清空以前的文件内容，重新写。w+ 是读写内容，只要沾上w，肯定会清空原来的文件；r 读模式，只能读，不能写，而且文件必须存在，否则报错；r+ 是读写模式，只要沾上r，文件必须存在，否则报错；a 追加模式，也能写，在文件的末尾添加内容，即追加写；rb+、wb+、ab+,这种是二进制模式打开或者读取。

定义一个列表，如下： My_list = [“aaa, 1000, we”, “bbb, we, qt”, ” I, love, you”]可见，“1000”、“we”、“qt”、“i”、“love”、“you”前均包含空格，我们要把这些空格去除，也就是说，我们要把这些“脏数据”清洗“干净”。使用for循环My_list 列表，再通过replace()方法替换空格：>&gt...

使用python去除字符串中的重复值：a = raw_input("请输入字符串：")a_1 = ""for i in a: if i not in a_1: a_1 += iprint a_1

笔者最近在搭建伪分布式hadoop平台的时候，遇到了一些问题，在解决了这些问题之后就将问题及解决方法记录了下来，以供参考。出现的问题1hadoop@daixiang-virtual-machine:/usr/local/hadoop/etc/hadoop$ start-dfs.shIncorrect configuration: namenode address dfs.namenode

一次，笔者在处理数据时想去除DataFrame中指定列的值为空的这一行，采用了如下做法，但是怎么都没有成功：# encoding: utf-8import pandas as pdimport mathimport numpy as npdata = pd.read_csv('mydata.csv')print len(data)for i in range(len(data))

问题再现merge具有连接的功能，左连接更是在数据处理中最常用的连接方式。笔者在使用merge方法连接两个DataFrame数据时，出现了大量空值的情况： film userid score 上映时间 闭映时间 出品公司 导演 主角 影片类型 票房/万 评分0 《分手再说我爱你》 1344 9.0 NaN NaN

使用python随机生成指定位数的数字import randomj = 4id = []id = ''.join(str(i) for i in random.sample(range(0,9),j)) # sample(seq, n) 从序列seq中选择n个随机且独立的元素；print id...

处理思路笔者在学习时被要求在Python中使用指定字符长度切分数据。如，string类型的字符串film_type = ‘都市浪漫爱情喜剧’，已知电影类型都是两个中文字符组成，要求切分出字符串中的电影类型。这种情况下，我们可以使用xrange()函数，通过步长来切分。涉及知识xrange() 函数用法与 range 完全相同，所不同的是生成的不是一个数组，而是一个生成器。x...

pandas.DataFrame选取特定行使用Python进行数据分析时，经常要使用到的一个数据结构就是pandas的DataFrame，如果我们想要像Excel的筛选那样，只要其中的一行或某几行，可以使用isin()方法，将需要的行的值以列表方式传入，还可以传入字典，指定列进行筛选。>>> df = pd.DataFrame([['GD', 'GX', 'FJ'],...

笔者使用Python进行数据分析时，通过print输出Dataframe中的数据，当Dataframe行数很多时，中间部分显示省略号，如下图所示：0 项华祥1 何炅2 张艺飞3 李仁港4 ...

列出HDFS文件：hadoop fs –ls [-R]a) –ls后面不跟任何内容的话是列出HDFS的"/user/用户名/"目录下的内容；b) -R 列出目录的同时，列出子目录的内容；c)如果要列出某个文件夹中的内容，则-ls后面跟该文件夹的路径，例如列出input中的内容：hadoop fs –ls input在HDFS中创建文件夹：hadoop fs –mk...

什么是箱型图 箱形图（Box-plot）又称为盒须图、盒式图或箱线图，是一种用作显示一组数据分散情况资料的统计图。因形状如箱子而得名。在各种领域也经常被使用，常见于品质管理。（来源：百度百科【箱型图】词条）箱形图有5个参数： 下边缘（Q1），表示最小值； 下四分位数（Q2），又称“第一四分位数”，等于该样本中所有数值由小到大排列后第25%的数字； 中位数（Q3），又称...

示例代码:# encoding: utf-8import pandas as pdimport numpy as npimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['KaiTi'] # 显示中文labels = np.array([u'总场次', u'吃鸡数', u'前十数',u'总击杀']) ...

当我们的生产环境处于局域网中，无法连接外网时，我们可以通过pip安装python的各种包文件。下载whl文件pip install –download 指定的下载路径。这里，笔者将文件下载保存到E:\python27\packages文件夹中，便于安装时使用。pip install --download E:\python27\packages pandas 图1：...

在python中，NaN属于float类型，对float类型判空如下：import mathfrom numpy import nan as NaNa = NaNprint type(a) # 打印输出NaN的类型print math.isnan(a)执行结果：<type 'float'>True...

发现问题文本文件： test_file.txtid,电影名称,上映时间001,《红海行动》,2018-02-16002,《厉害了，我的国》,2018-03-02003;《闺蜜2》;2018-03-02004,《捉妖记2》,2018-02-16005,《西游记女儿国》,2018-02-16我们使用pd.read_csv读取文件的时候，默认分隔符为半角逗号，当然，我们也可以使用s...

例题：使用Python生成列表：[1,4 9,16,25,36,49,64,81,100]列表的规律显而易见，1的平法，2的平方……x的平方，对于这种列表一般写法是使用for循环，然后再通过append()方法在列表后追加写入x的平方：>>> L = []>>> for x in range(1,11): L.append(x*x)>>> print L[1, 4, 9,

对开发者来说，最让人头疼的问题之一莫过于读写文件的时候，由于编码千差万别，出现乱码问题。这时候我们可以使用chardet包来检测文件类型，然后再根据类型来decode，下面看举个例子： 案例展示：# encoding: utf-8import chardetwith open('test.txt','r') as f: data = f.read()type = charde

在寒假学习的时候接触到Jupyter Notebook，Jupyter Notebook可以说是一款神器，它不仅能在文档中执行代码，还能以各种形式分享。在使用Jupyter Notebook的时候我发现它默认打开我的C盘目录，并以此作为它的默认工作目录，但是我需要使用的文件不在C盘，于是开始着手修改它的默认工作目录。Jupyter 默认工作界面在Anaconda Prompt中

首先需要明确，在Python中，清空列表的操作有两类四种：第一类，在非函数参数的list中，可以使用del lst_new[] 或者list_new = [] 来清空列表。del_lst.pylst_new = []lst_new.append(3)lst_new.append("233")print lst_newlst_new = []print lst_new执行结果：[3, '

题目： 员工信息包括，员工编号（ID），姓名（Name），职务（Title），电话（Phone），试开发一个有人机界面的程序能够完成以下功能： ① 能够添加新员工信息 ② 列表打印所有员工信息 ③ 输入一个员工编号，输出该员工所有信息 提示：本程序用元组设计界面与员工信息表的表头，每个员工信息用列表存储， 利用字典组织数据集合分析：首先，我们先定义元祖用来存放菜单

（1）设计一个字典，要求能以最方便的形式查询出每个部门所包含的人员。 （2）改进字典结构的设计，在问题1的基础上输入编号即可查出人员信息。 （3）写一个函数，可以向字典添加数据。

题目： 有一个单词表以字符串形式表达如下： words = ”’ #-blue-蓝色（的） #-green-绿色（的） #-red-红色（的） #-yellow-黄色（的） #-orange-橘色（的） #-purple-紫色（的） #-

DataFraame是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型。DataFrame既有行索引也有列索引，可以被看作由Series组成的字典（共用同一个索引）。DataFrame 对象的构建用字典类型构建DataFrame对象DataFrame 对象的构建的方法有很多，最常用的是用包含等长的列表或者是NumPy数组的字典创建DataFrame对象。>>> import pan

在使用python时，我们经常需要使用Numpy，而Numpy中又有arrange()这个函数，它和python自带函数range()的功能貌似比较相同。那么，range()和np.arrange()有什么区别呢？我们先来看官方文档对他们的说明。range(start, stop[, step])这是一个通用的函数来创建包含算术级数的列表。它最常用于for循环。参数必须是纯整数。如果省略step参

零. 什么是NumpyNumpy是Python的一个科学计算的库，提供了矩阵运算的功能，其一般与Scipy、matplotlib一起使用。其实，list已经提供了类似于矩阵的表示形式，不过numpy为我们提供了更多的函数。一. 获取并安装Numpy1.1 安装Python发行版对于许多用户来说，尤其是在Windows上，最简单的方法就是下载一个Python发行版，其中包括所有的关键包。如何安装Pyt

Series 是一种类似于一维数组的对象，它由一组数据和一组与之相关的数据标签（lable）或者说索引（index）组成。现在我们使用Series生成一个最简单的Series对象，因为没有给Series指定索引，所以此时会使用默认索引(从0到N-1)。>>> from pandas import Series,DataFrame>>> import pandas as pd>>> obj =

数据清洗是一项复杂且繁琐的工作，同时也是整个数据分析过程中最为重要的环节。首先，构造一个包含NaN的DataFrame对象。>>> import numpy as np>>> import pandas as pd>>> from pandas import Series,DataFrame>>> from numpy import nan as NaN>>> data = DataFram

准备工作：设置指定的路径，使用os.listdir() 方法获取路径下所有的文件import ospath = "d:\\data" # 设置路径dirs = os.listdir(path) # 获取指定路径下的文件循环判断：使用os.path.splitext()方法筛选出指定类型的文件

pyplot的相关参数pyplot的文本显示使用Matplotlib绘制折线图使用Matplotlib绘图，首先要导入pyplot包：import matplotlib.pyplot as plt案例展示：# 使用Matplotlib绘制折线图ls_x=[0,1,2,3,4,5,6,7]ls_y=[1,2,11,5,6,8,10,

join() 方法用于将序列中的元素以指定的字符连接生成一个新的字符串。 案例展示：str = "-";seq = ("a", "b", "c"); # 字符串序列print str.join( seq );运行结果：a-b-cos.path.join(path1[, path2[, …]]) 方法用于把目录和文件名合成一个路径。 案例展示：import ospa

python中choice() 方法返回一个列表，元组或字符串的随机项。 有些时候我们需要返回字典里的随机项，怎么办呢？我们可以先遍历字典的值，将值存储到列表中，再通过choice()方法返回随机项。案例展示：>>> import pandas as pd>>> import random>>> My_dict = {225093:'铁道飞虎', 228494:'老师也疯狂',225

语法规则参考文档菜鸟教程-正则表达式（http://www.runoob.com/regexp/regexp-syntax.html）

Python中字符串前面加上 r 表示原生字符串，与大多数编程语言相同，正则表达式里使用”\”作为转义字符，这就可能造成反斜杠困扰。假如你需要匹配文本中的字符”\”，那么使用编程语言表示的正则表达式里将需要4个反斜杠”\”：前两个和后两个分别用于在编程语言里转义成反斜杠，转换成两个反斜杠后再在正则表达式里转义成一个反斜杠。 案例展示：# encoding: utf-8import re

当初学 Python 时，想要弄懂 Python 的错误信息的含义可能有点复杂。这里列出了常见的的一些让你程序 crash 的运行时错误。1）忘记在 if , elif , else , for , while , class ,def 声明末尾添加 ：（导致 “SyntaxError ：invalid syntax”）该错误将发生在类似如下代码中：if spam == 42

find()方法判断字符串str，如果起始索引beg和结束end索引能找到在字符串或字符串的一个子串中。 语法str.find(str, beg=0 end=len(string))参数str -- 此选项指定要搜索的字符串。beg -- 这是开始索引，默认情况下为 0。end -- 这是结束索引，默认情况下它等于字符串的长度。返回值如果找到此方法返回的索引，否则返回

有时候，在Python中需要将dataframe类型转换为字典类型，下面的方法帮助我们解决这一问题。 任务代码# encoding: utf-8import pandas as pda = ['Name', 'Age', 'Gender']b = ['Ali', '19', 'China']data = pd.DataFrame(zip(a, b), columns=['proje...