- 博客(12)
- 收藏
- 关注
RSS订阅
原创 python数据分析与展示——Numpy库入门
数组的创建 数组对象的属性 数组对象维度的变换 数组元素类型的变换 数组向列表的转换 数组的索引和切片 数组的运算（标量，数组的一元函数与二元函数）
2019-05-06 11:17:21
284
原创 HIVE分区全量拉链增量
全量表：全量表用来记录当前所有事物的最新信息，包括变化的和没有变化的。 增量表：增量表用来记录事务的有变化的量。只记录有变化的没有变化的不需要记录。 拉链表：记录·一个事务从开始到当前状态所有变化的历史记录，记录当前时刻的历史总量。 流量一般用增量表，存量一般用拉链表。 从拉链表中可以查询最新的全量数据， ...
2019-07-17 14:01:11
2557
原创 初始数据分析
数据类型：连续型、离散型、符号型、文本型 数据分析就是从原始数据中提取有效信息 信息是对数据更高层次的抽象，是数据处理之后的结论。 数据分析的目的：对研究的问题或系统建立数学或者逻辑模型。 数据分析流程详解 问题定义 数据抽取 数据清洗 数据转换 数据探索 数据模型 模型评估 解决方案部署 问题定义 数据分析总是始于要解决的问题，这个问题要事先定义。 如何预测豆瓣用户对不同电影的评分 如何给用...
2019-05-18 16:41:40
1176
原创 数据库基础补充
SQL语言的几大功能 数据定义语言：创建、删除、表格、定义索引、表格之间的连接、施加表的约束 数据操作语言：对数据的追加、删除、更新、查询等·操作 数据控制语言：授权、撤销授权、拒绝授权 事务控制语言：设置保存点、回滚 常见的数据类型 integer 存储整数 char 存储不可变字符 varchar 存储可变字符串 date 存储日期型 在python中写SQL语句 首先需要在pytho...
2019-05-18 16:34:02
203
原创 MYSQL数据库操作——多表操作
多表操作 一、多表连接 将多张表连在一起进行查询。通过两个表共有的列去进行拼接。多表连接，首先要在表之间建立连接。 连接查询一共分为以下几类： 交叉连接 内连接 外连接 自然连接 （一）交叉连接 将一张表的数据与另外一张表中的数据彼此交叉。也就是说把一张表中的每一行逐个与另一张表去进行匹配。没有任何连接条件，所有的记录都会被保留。 SELECT 字段1，字段2 FROM 表1 JOIN 表2 ...
2019-05-07 23:39:10
1301
原创 数据库总结
数据库基础知识 一、关于数据库的操作 创建数据库 查看数据库 删除数据库 修改数据库的编码 二、关于表的操作 声明表 创建一个表及其字段信息 查看表 查看表的字段信息 修改表名 修改表的字段 增加字段 删除字段 修改字段的位置 删除表 三、 关于约束 创建表时约束 单字段主键约束 多字段主键约束 唯一值约束 非空约束 默认约束 四、关于索引 在创建表的时候设置索引 索引类别 INDEX...
2019-05-07 23:28:12
155
原创 数据库的基本操作——表的查询
简单查询 查询表中所有信息 查询表中特定字段信息 查询条件设定 select * from 表名 -- select 字段1，字段2 from 表名 -- [DISTINCT] [where 条件表达式] [group by 字段名 [Having 条件表达式] [order by 字段名] asc 升序 DESC 降序 [limit n] 带关系运算符的查询 带in...
2019-05-07 23:23:18
705
原创 数据库基础知识
关于数据库的操作 创建数据库 查看数据库 删除数据库 修改数据库的编码 create database 数据库名称 show databases --查看所有的数据库 show create database 数据库名称 --查看当前的数据库 drop database 数据库名称 alter database 数据库名称 default character set utf8...
2019-05-07 22:04:34
235
原创 python数据分析——pandas数据特征分析
对一组数据可以进行一些基本的分析：基本统计(含排序)、分布/累计统计、数据特征（相关性、周期性等）、数据挖掘。 基本统计 在指定轴上根据索引进行排序 sort_index(axis=o,ascending=True) --默认情况为升序 在指定轴上根据数值进行排序 series.sort_values(axis=,ascending=True) DataFrame.sort_valu...
2019-05-07 14:18:34
918
原创 python数据分析基础—pandas库
pandas是python优秀的第三方库，提供高性能的数据类型和分析工具。pandas基于numpy实现，常与numpy与matplotlib库一起使用。 import pandas as pd 总的来说pandas有两个基本的数据类型：Series和DataFrame 争对这两个数据类型提供了以下这些操作：基本操作、特征类操作、运算类操作、关联分析类操作 pandas 的series类型 S...
2019-05-06 23:08:47
687
原创 Python数据分析——MatPlotlib库入门
MatPlotlib库由各种可视化类构成，内部结构复杂。pyplot是绘制各类图形的子库，相当于是MatPlotlib库的子库 import matplotlib.pyplot as plt pyplot的plot函数 plt.plot(x,y,format_string,**kwargs) x:x轴数据，列表或者数组，可省略，如果省略，则x轴以索引作为坐标 y:y轴数据，数组或者列表，不可省 ...
2019-05-06 20:09:19
402
原创 Python数据分析——numpy数据存取与函数
数据的CSV存取 任意维度的数据存取 数据的便捷存取 numpy提供的随机数子库random numpy提供的统计函数 numpy提供的梯度函数
2019-05-06 16:30:13
340
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人