Just do it !

原创 制定等级体系评分标准

原创 RFM用户分层报告

原创 用户注册漏斗分析报告

原创 音视频弹窗A/BTest数据报告

原创 新注册男用户付费率下降归因分析报告

原创 Tableau

菜单栏 文件 工作薄区域设置：设置报表语言 数据工作薄：复制当前工作薄粘贴到另一个工作薄 导出打包工作薄选项：创建将与其它用户共享的打包工作薄 数据 新建数据源：查看所有可用数据源并选择 刷新所有提取：刷新数据表单源 编辑关系：定义多个数据源中用于连接的字段 工作表 显示标题 显示说明 显示摘要 仪表板 用于创建新的仪表板以及各种显示功能，如显示标题和导出图像等 ...

原创 Excel

基本操作 快捷键 ctrl+d 复制上一个单元格内容 插入一列/行 点击目标列/行，右键，插入 插入多列/行(连续) 选中多个目标列/行，右键，插入 shift+方向键，选中，右键，插入 插入多列/行(非连续) ctrl，选择，右键，插入 选中连续单元格区域 鼠标或shift 选中非连续单元格区域 ctrl 转置 选中表数据，复制，选择性粘贴，转置 填...

原创 HA机制

HA机制 hadoop2.x 1.hadoop-HA（high available） 所谓HA，即高可用（7*24小时不中断服务），消除单点故障 hadoop的HAf分为各个组件的HA机制-----HDFS的HA，Yarn的HA 2.HDFS的HA机制 通过双namenode消除单点故障 双namenode协调工作要点： ①元数据管理方式改变： 内存中各自保存一份元数据 共享的edits放在一个文...

原创 Pandas基本操作

常用技巧 （1）读取文件 df=pd.read_excel(‘Online Retail.xlsx’) （2）初步设置 #最大显示1000行 pd.set_option(“display.max_rows”,1000) #最大显示20列 pd.set_option(“display.max_columns”,20) #最大精度 pd.set_option(‘precision’,7)...

原创 数据分析

数据分析是什么 根据分析目的用适当的分析工具和方法对数据进行分析，提取有价值的信息，形成有效结论的过程 作用 原因分析 对比分析（时间，空间） 现状分析 基础统计分析 对比分析 预测分析 机器学习，统计学习 流程 明确分析目的 原因分析（业务变动，用户变动，指标变动） 现状分析（业务分析，用户分析，效果分析，竞争分析） 预测分析（数值预测，离散预测） 确定分析思路 根...

原创 Flume

Flume代理 一个source-channel-sink组合 配置 启动Flume代理 事务和可靠性 批量处理 HDFS sink 分区和拦截器 扇出 交付保证 复用选择器 通过代理层分发 交付保证 Sink组 组件编目 Flume代理 Flume代理是由持续运行的source（数据来源），channel（用于连接source和sink），sink（数据目标）...

原创 Hadoop之MapReduce

mapreduce参数优化 资源相关参数 shuffle性能优化的关键参数 容错相关参数 效率和稳定性相关参数 运行mapreduce作业 inline方式运行 local方式运行 提交到集群运行 MapReduce数据压缩 MapReduce补充 mapreduce参数优化 资源相关参数 以下参数在用户自己mr应用程序中配置就可以生效 mapreduce.map.memo...

原创 Hadoop之HDFS

HDFS的概念和特性 HDFS的命令行操作 HDFS工作机制 HDFS写数据流程 HDFS读数据流程 Namenode工作机制 Checkpoint Safemode HDFS的概念和特性 首先，它是一个文件系统，用于存储文件，通过统一的命名空间—目录树来定位文件 其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色 重要特性如下： HDFS中的文件在物理上是分块存储...

原创 分布式系统组件简介

HDFS简介 MapReduce简介 Yarn简介 Hadoop Apache官方版本 1.x 2.x 2.6.4 商业发行版 CDH 5.7.x 分布式文件系统HDFS * 端口50070 具有分布式的集群结构，我们把实际存储数据的节点Datanode 具有一个统一对外提供查询，存储，搜索的机器节点Namenode 对外能够和客户端打交道 对内跟实际存储数据的节点打交道...

原创 Linux操作

查看当前工作绝对路径 pwd 查看当前时间 date 显示年月日 date + %Y-%m-%d 查看命令参数 date --help 日期加减 date +%Y-%m-%d --day="-1 day"(month,year同理) 设置时间 date -s "时间"(重启无效) hwclock -w(永久有效) 需要写入硬件bios才能在重启之后依然生效 查看服务器当前登录对象 who ...

原创 晚年

"我本想这个冬日就死去的， 可最近拿到一套鼠灰色细条纹的麻质和服， 是适合夏天穿的和服， 所以我还是先活到夏天吧。" ————太宰治 ...