- 博客(30)
- 收藏
- 关注
RSS订阅
原创 记于要去梨园工作的前一天
热爱写流水账，记清楚自己干了什么，快乐的一B，写给自己看，有一天回过头来瞅一瞅，不管从中悟到什么都是馈赠 6月份从日企走，开始XX青鸟求学的路，感觉出来不好走，但是也要硬着头皮上，因为会计工作未来不那么好走，也没有很大的兴趣 4个月的学习，Python（傻逼XX青鸟就没有班儿，谁再想去我就大嘴巴抽醒他，让他跟家看视频课，那的人是真的傻逼），Django（对网页兴趣不大，就没怎么听），My...
2018-11-12 01:01:08
243
原创 记于好久之后的杂七杂八
0. Ivan我有个英文名了= = 从春节开始 就没写这个 觉得费劲，不如手写排版痛快，但是手写一个是不整齐再一个看着不太方便，各有千秋吧 1. 2. 雾草我粘都懒得粘了 就把4页数据库相关的贴上去了 这段日子一直在面试，记录一下自己的感想 从最开始和前一个领导谈话，然后决定滚蛋的时候算起，改了好几版简历， 改简历的思路是这样： 第一版，投出...
2019-04-01 23:06:16
230
原创 时间序列
0. 时间戳 timestamp 指一个特定的时刻 固定时期 period 指一段时间 时间间隔 intercal 由起始时间戳和结束时间戳表示 常用的模块有 datetime time calendar 1. d是这两个时间戳的间隔，然后一共差了4k多天零7w多秒 timedelta（日，秒，毫秒） 可以跟日期做加减法，自身也可以做乘除法 ...
2019-02-01 12:30:46
351
原创 数据聚合和分组运算
0. 对所有数据进行分组 然后对每一个组应用一个函数 之后进行分组统计或者生成透视 以上 pd有一个groupby功能 这是上述内容的核心 可以切片、切块、摘要 pd可以进行： 计算分组摘要统计 如计数、平均值、标准差、自定义函数 计算分组概述统计 如数量、平均值、标准差、自定义函数（这俩有啥区别。。） 应用组内转换或其它运算 如规格化、线性回归、排名、选取子集 计算透视表...
2019-01-21 21:41:53
431
原创 看到中期的补充
0. 字符串格式化给看了 补在了里边 还有几个得细分析的 这相当与一个目录 外边风呜呜的 回家看看书 明天慢慢写了 __init__ __setattr__ __getattr__ class A : set_name get_name re yeild lambda map filter reduce 1. __init__ __setat...
2019-01-15 14:29:02
188
原创 用pandas和seaborn绘图
0. 用plt绘图其实不是上选，可以直接用pd绘图 1. 2. 这里边有一个例子，说的是 party_counts=pd.crosstab(tips['day'],tips['size']) 本身一个竖着的表格，好多列，其中两列，day是周一到周五等等 size是几个人来吃饭 然后就变成 提出这两个内容，把后边的s...
2019-01-09 20:38:58
857
原创 绘图和可视化
1. import matplotlib.pyplot as plt 2,2,1or2or3 说的是一个2*2的表格 那就是4个 是哪个位置的左到右上到下 那个‘--’的参数 教材上是k-- 是写成黑色虚线图 1.5 之前的乱了 我又从头写一个 先创建一个figure，这是底层的背景算是 然后在这个fig上 创建了三个subplot网格...
2019-01-08 00:05:18
209
原创 合并数据集
0. pd对象中的数据进行合并 即两个df合在一起的感觉 pd.merge根据一个或者多个键将不同的DataFrame中的行连接起来 就是数据库的join操作 pd.concat是沿着一条轴 将多个对象堆叠到一起 combine_first将重复的数据接在一起 用一个对象中的值填充另一个对象的缺失值 以上都是重点！！！ 1. pd.merge是将一个或者多个键通过行链接...
2019-01-04 20:54:53
2166
原创 数据规整——聚合——合并——重塑
1. 层次化索引 是指在一个轴上有多个索引级别 就是 套了两级甚至多级 iloc是 第几个就是第几个 跟几层索引没关系 loc是 看什么搜什么 可以一层可以两层 想看什么都可以 可以把这个两层索引的变成一个df data.unstack() 再变回来两层索引是stack()函数 df也可以每条轴有分层索引 df=pd.DataFrame(...
2019-01-03 10:13:18
288
原创 字符串相关操作
0. 字符串的对象方法 split，可以提供分隔符号进行分隔 把想加的内容join到目标列表里 find和index可以找字符串在不在目标字符串里 如果不在 find返回-1 index弹出异常 count是计数，括号内的字符串出现过几次 replace就换，把前边的换成后边的 内置字符串的方法如上 0.5 正则 re模块 import r...
2019-01-02 20:46:43
258
原创 数据清洗和准备
0. 数据准备包括 加载 清理 转换 重塑 pd和python标准库可以提供这个方法 往下要处理的包括缺失数据 重复数据 字符串操作 其他分析数据转换 多种方法合并 重塑数据集 1. 数据缺失 pd对象的所有描述性统计都默认不包括缺失的数据 1.1 先说这个缺失数据的检测 NaN 被称为哨兵值 就是用来表示缺失数据的 data=pd.Series([,,...
2018-12-31 15:25:58
910
原创 对数据做操作
0. 着重要看的是pandas的数据的输入和输出 io分为几个大类 读取文本文件或者其他更高效的磁盘储存 加载数据库中的数据 用web api操作网络资源 这些函数将文本数据转换为df 有这么几个选项 索引：将一个或者多个列当做返回的df处理 以及是否从文件、用户获取列名 类型推断和数据转换：包括用户定义值的转换 和自定义的缺失值标记列表等 日期解析：将分散在多个列中的日...
2018-12-24 22:18:40
575
原创 pandas汇总和计算描述统计
1. pandas对象可以进行统计 简约和汇总统计 就是从Series里边提取单个值 sum mean这种 或者是从df里边的行或列提取一个Series df.idxmax() 返回column的对应的值的表头 df.describe() 返回各个内容 求和求差平均等等 这是对数据型的 如果是非数据型的 就返回一个总计数量 2. 有一个模块叫pandas-da...
2018-12-18 11:32:56
313
原创 pandas主要数据结构Series和DataFrame的基本功能
1. pd对象可以reindex obj2=obj.reindex([ 索引列表 ]) 这样obj2的索引就可以重新排列了 drop方法，可以删除一个索引及相关的内容 也可以删除一个列（也叫一个轴） 2. 切片运算和Python不同！！python是左闭右开 这个是闭合区间的！ 3. 标签运算符 loc 和 iloc 这是轴标签和整数索...
2018-12-17 15:55:31
241
原创 pandas入门
0. pandas可以数据清洗 分析 他有使这些工作更快的数据结构和操作工具 pandas和数值计算工具Numpy和Scipy一起用 和分析库statsmodels和scikit-learn一起用 和数据可视化库matplotlib一起用 pandas专门为处理表格和混杂数据设计的 Numpy是为了处理同意的数值数组数据 以上 ...
2018-12-17 11:04:49
153
原创 Numpy其他相关
1. 线性代数 包括 矩阵乘法 矩阵分析额 行列式 和其他的方阵数学 矩阵的乘法 dot函数 x y两个数组 x.dot(y)= np.dot(x,y) @符号也可以用作中缀运算符 2. numpy.linalg from numpy.linalg import inv,qr 3. numpy.random 他比python内置的random模块多了...
2018-12-15 00:30:04
116
原创 Numpy的一些函数
0. 通用函数ufunc 是说对ndarray中的数据执行元素级别的运算的函数 就是 一个函数 对这个arr里的每个值进行操作 1. 一元的 unary np.sqrt（arr） 开方 np.exp（arr） e的多少多少次方 以上都是返回一个数组 然后np.modf（arr）要求的是arr必须是浮点型，返回两个数组 一个是整数部分一个是小数部分 2. ...
2018-12-14 16:48:56
220
原创 开始看Numpy
0. 先前的工作已经告一段落了 开始继续学习了 现在已经到Numpy了 numerical python as np 1. np是python数值计算的基础包 np功能有以下 ndarray 可以进行矢量算术运算，复杂广播能力的快速且节省空间的多维数组 对整组数据进行快速运算的标准数学函数 还不用写循环 用于读写磁盘数据的工具 用于操作内存映文件的工具 线...
2018-12-13 23:22:35
141
原创 数据分析再看Python基础知识
0. 突然想到的：：：： 方法是 对象.方法（） 函数是 对象=函数（数值） 缩进 对象：万物皆对象！ 函数：调用方法是加括号（），前边可以加返回值，里边是参数 传递：如果写a=b 那么如果a.append(100) 那么b列表里也会出现100 这是一个对象（就指a所指的这个列表）被a和b同时引用 属性：getattr setattr hasatt...
2018-12-13 09:15:21
148
原创 数据分析准备的软件
0. 跟着这本新教材走 然后因为做的较多是数据分析 所以这本教材里就简单提了点 后边必备的Python知识 不像Python教材一样都讲了 基本就一带而过 1. 先下了一个ipython 这是一个解释器 然后还要下numpy这个库 用pip装wheel的文件，在wheel的那个文件夹里鼠标右键+shift 2. jupyter notebook 也是在命令行直接敲...
2018-12-06 13:53:25
151
原创 数据分析起始
0. 之前买了一本大数据相关的书叫《白话大数据和机器学习》 里边讲解的大多是知识储备和大数据行业相关的知识 但具体我想做的 实际的大数据相关分析实例和讲解并没有出现在这里边 所以我这书回家看就完了 白天时候还是对着pdf看看《利用python进行数据分析》就好 我其实对这个有一个疑惑的 就是这个数据分析 是否是大数据相关？ 毕竟对数据分析和对大数据进行收集清洗等等在我现在看来还是有...
2018-12-05 11:00:50
121
原创 模块
0. 不行了 我要配眼镜了 看不清东西了 老盯着 眼珠子都要爆炸了 到这基本就把基础这些又刷了一遍 感觉 能看懂 但是写不一定写的出来 很难受 多写多练一定是必要的 之后第二本大数据的书也准备好了 开始看那个怎么从头弄了 如果还是需要服务器这种东西的话 有点头疼 我还得从头再准备 1. 模块就是一个程序 导入时候 import 文件名 ...
2018-12-03 22:14:53
116
原创 函数
1. __init__ !!!!!!!!!!!!!!!!!!! class 类名： def __init__(self): 上述是一个必需的构造函数的流程 2. 继承后重写： A类的函数叫hello，输出a B类继承A类，重新def hello（self）函数 输出b 那么当b对象为B类实例时候 b.hello 就输出b了 3. ...
2018-12-03 16:24:53
122
原创 异常
0. 今天学到的新词 居安思危 引以为戒，督促自己 1. 异常是一个类，要捕获错误，然后采取措施 最牛逼的异常 最大的异常是 Exception 是所有异常的父类 2. raise语句 可以引发异常 raise Exception 自定义异常类时候 要继承 一定要继承Exception class 异常（Exception）： pass 3. 有...
2018-11-30 15:48:22
134
原创 函数相关
0. 函数是一个抽象的东西 把抽象的东西要组合 要使用 就可以干很多事 1. def语句！！！！！！！！！！！！！！！！！！！！！！！ 用来定义函数！！！！！！！！！！！！！！！！！！！！ 2 形参、实参 形参就是x 实参是x=3 的 3 3. pdf6.4 说的内容是什么。。有啥必要。。没太明白 4. 全局变量及改全局变量 x=1 #这是全局...
2018-11-28 13:11:19
497
原创 基本语句
1 导入模块 import 模块 from 模块 import 功能1，功能2 from 模块 import * 2. 序列解包 * 链式赋值 x=y='a' 的意思是 x=y y=a 不是x=a y=a 增强赋值 x+=1 3. if语句让人有条件的执行代码 如果条件为真 就执行下边的代码块 else子句 elif子句 各种比较运算符 支持链式比...
2018-11-26 11:45:25
130
原创 字典相关
0. 我终于搞明白啥叫可迭代对象了 for i in 可迭代对象： 大概就是这感觉吧？ 1. 字典是一种映射！Python中惟一的映射 带有键和值 K V 是一项 K独一无二 V可以重复 KV之间：连接 {}在两边 2. 建立的话直接敲 格式符合键值对的序列的也可以直接创建字典，用dict（）函数 3. 字典d已经创建 len（d） 看...
2018-11-22 10:34:44
118
原创 关于字符串的一些东西
0. 杂七杂八2的15往后 有写格式化字符串相关的内容 1. '一句话'.center(句长，'填充符号') ljust rjust zfill 意思用法差不多，左、右、零填充 2. ‘一句话’.find（‘要找的内容’） 会返回查找的内容（子串）第一个字符的索引位置 如果没有 就返回-1 在‘要找的内容’后边加数字 是起始位置 再加 是结束位置 还有rfind、...
2018-11-21 13:50:55
133
原创 杂七杂八2
1. 反斜杠\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\ 转义用的，跨行也可以用，如果要打什么类似 \n 的文本 为了防止它在print（\n）时候变成换行，可以这样 print（\\n） 出来的就是字符串 \n \n也要在‘’中的 列表也可以增删改查，索引切片，相加相乘 2. e=[1,2,3,4,5,6,7,8,9...
2018-11-19 17:16:20
166
原创 杂七杂八
0. 换个颜色 把之前写的再看一遍 温习温习 如果有新的感悟就用红色的字再添上 上班期间。。偷偷的看一看Python基础，从头再刷一遍知识点。。这要是让老板知道了 怕是试用期就告吹了 1. While 不行： if 行： 不行的得是一个语句 不能是固定的一个数。。 就完成了一个对立的事件的循环和跳出 2. 1/2=0.5 1//2=0 向下下下下取整，...
2018-11-15 13:33:29
173
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人