Live and learn

康纳德： 世界上的事物可以分为这样几类：我们知道，我们知道的；我们知道，我们不知道的；意味着度量行为， 比如数钱、清点用户量、计算代码行数都是度量行为。我们知道， 我们不知道这一类指标的具体值，所以才要度量它。我们不知道，我们知道的；我们不知道，我们不知道的。数据分析在康纳德理论的四个象限中斗殴重要的应用， 能够：检验我们手头上的事实和假设（如打开率或转化率），以确保我们不是在自欺欺人。验证我们的直觉，把假设变成数据为业务预测表、瀑布式开发流程图提供数据帮助我们发现黄金机遇，大

常见不规整数据主要有：缺失数据重复数据异常数据1. 缺失值处理1.1 缺失值查看Python缺失值一般用NaN表示。info()：可返回每一列的缺失情况。isnull()：判断哪个值是缺失值。如果是缺失值，则返回True。1.2 缺失值删除dropna()：默认删除有缺失值的行。 只要一行有缺失值，就把整行的值删掉。dropna(how = “all”)：删除空白行，只会删除全为空值的行。1.3 缺失值填充一般情况下，只要缺失数据比例不过高，即不超过30%，尽量不删除，

Pandas的名称来自于面板数据（panel data）和python数据分析（data analysis）。3. 熟悉数据head(n)：显示前n行，head()默认显示前5行。shape()：获取数据的行数和列数，结果是元组。df.shape() 的结果是(4,3)，表示df表有4行3列info()：获取整个表中，所有列的数据类型describe()：获取数值分布情况。countmeanstd：标准差min25%50%75%max...

数据清洗：整理从各种数据源获取的数据的过程，称为数据清洗，使数据可直接用于数据分析，提升数据的可用性。1. Power QueryPower Query：是微软的数据连接和数据准备技术。Power BI 通过Power Query，完成数据的获取和清洗。...

业务的重要性基于业务才能建立好的数据模型。指标：基本APP的指标分析指标的作用指标建立的要点核心指标从结构化的角度考虑，核心指标就是金字塔的塔尖。以初创公司为例：创业早期，关注新增用户量创业中期，需要带动用户，关注用户活跃创业后期，需要商业化，关注营收好的指标应该是比率好的指标应该能带来显著的效果好的指标不应该虚荣比如新增用户量，是通过砸钱带来的好的指标不应该复杂，直接干净简单利落。不同领域的指标1. 市场营销指标1.1 客户/用户的生命周期企业/

应该怎么学

三种核心思维1. 结构化来自麦肯锡的金字塔思维，利用思维导图，层层递进和拆解。思考方式：2. 公式化3. 业务化

埋点设计：数据分析师获取数据的源头。 在APP上，用户的点击、浏览等行为都是可以被记录下来的。数据分析师的任务是设计哪些该记录，记录哪些信息，该怎样记录。 这个不需要数据分析师自己去埋，由开发去埋。数据分析师只是提供开发方案。...

60%~80%工作时间： 取数、做表、搭监控其余： 开会、分析、给方案；重点： 给业务决策支持，即结合数据和业务现状，分析出各类的可行方案，并且算出投入产出比。场景：沟通会和分析会沟通会： 所有与业务相关的日会、周会、月会等，目的是去收集和整合更多的信息，方便日后更加宏观全面的角度进行分析分析会：针对业务的痛点难点进行的，例如，发展方向、成本优化、竞争策略、风险监控、可行性分析等以最常见的成本优化为例：首先提取和处理现在业务涉及的成本数据。然后把数据准备成各类可能要用到的成本报表、成本看板.

DAU: Daily active userUU: Unique userPV: page viewROI: return on investment投资回报率的英文名为Return on Investment ，缩写为ROI。 投资回报率（ROI）= （税前年利润/投资总额）*100%。是指企业从一项投资性商业活 动的投资中得到的经济回报，是衡量一个企业盈利状况所使用的比率，也是衡量一个企业经营效果和效率的一项综合性的指标。...

回归，聚类、时间预测

简介DAX（Data Analysis Expression)，即数据分析表达式。商业数据分析，可以看作从大量数据中，筛选、分组、汇总的过程，而DAX 的主要功能是筛选和计算， 是Power BI的灵魂。DAX查询函数：负责筛选出有用的数据集合。DAX聚合函数：执行计算。使用场景Power BI Desktop新建度量值新建列新建表Excel 的 Power Pivot语法Sample：销售金额 = SUM('订单表'[销售额])DAX中和Excel相似的函数语

学习视频：【课程合集】大数据博士教你可视化图表选择可视化图表的选择分布型图表1. 直方图对数据分组后，统计每个分组的数据量注意：与柱状图区分2. 概率密度图通过核密度估计方法（KDE），估计出数据的概率分布情况每个样本点，会对总体的概率分布，产生同昂的影响，也就是“核（Kernel)”。经常使用的是高斯核，正态分布这些“核”叠加起来，就成为了数据总体的分布。注意：每个核的大小选择，会强烈地影响从KDE获得地估计概率密度图（二维）一维地曲线，扩展到二维的情况下

矩阵和表格：（1）整体大小：大小（2）行高：行填充（3）列宽：列宽（4）隐藏列：先关掉【自动换行】，再用鼠标拖拽（5）隐藏行：筛选器里面进行筛选（6）居中显示：【行标题】与【字段格式设置】中分别居中（7）分级显示：+（8）行标题缩进：缩进（9）行字段名显示在不同列：渐变（10）行总计：小计 【按行级别，产品名称】（11）值在行上显示：值（12）条件格式：数据条（13）条件格式：图标...