Live and learn

数据可视化入门。

康纳德： 世界上的事物可以分为这样几类：我们知道，我们知道的；我们知道，我们不知道的；意味着度量行为， 比如数钱、清点用户量、计算代码行数都是度量行为。我们知道， 我们不知道这一类指标的具体值，所以才要度量它。我们不知道，我们知道的；我们不知道，我们不知道的。数据分析在康纳德理论的四个象限中斗殴重要的应用， 能够：检验我们手头上的事实和假设（如打开率或转化率），以确保我们不是在自欺欺人。验证我们的直觉，把假设变成数据为业务预测表、瀑布式开发流程图提供数据帮助我们发现黄金机遇，大

1. 大数据的概念大数据（big data)， 是指无法在一定时间范围内，用常规软件工具进行捕捉、管理和处理的数据的集合，是需要新处理模式，才能具有更强的决策力、洞察发现力和流程优化能力的，海量的、高增长率和多样化的信息资产。数据分析的前提是有数据，数据存储的目的是支撑数据分析。大数据只要解决的问题：海量数据的存储海量数据的计算大数据单位转换：1T（太）= 1024G1P（拍）= 1024T1E（艾）= 1024P1Z（泽）= 1024E1Y（尧）= 1024Z1B（布）= 1

常见不规整数据主要有：缺失数据重复数据异常数据1. 缺失值处理1.1 缺失值查看Python缺失值一般用NaN表示。info()：可返回每一列的缺失情况。isnull()：判断哪个值是缺失值。如果是缺失值，则返回True。1.2 缺失值删除dropna()：默认删除有缺失值的行。 只要一行有缺失值，就把整行的值删掉。dropna(how = “all”)：删除空白行，只会删除全为空值的行。1.3 缺失值填充一般情况下，只要缺失数据比例不过高，即不超过30%，尽量不删除，

Pandas的名称来自于面板数据（panel data）和python数据分析（data analysis）。3. 熟悉数据head(n)：显示前n行，head()默认显示前5行。shape()：获取数据的行数和列数，结果是元组。df.shape() 的结果是(4,3)，表示df表有4行3列info()：获取整个表中，所有列的数据类型describe()：获取数值分布情况。countmeanstd：标准差min25%50%75%max...

数据清洗：整理从各种数据源获取的数据的过程，称为数据清洗，使数据可直接用于数据分析，提升数据的可用性。1. Power QueryPower Query：是微软的数据连接和数据准备技术。Power BI 通过Power Query，完成数据的获取和清洗。...

业务的重要性基于业务才能建立好的数据模型。指标：基本APP的指标分析指标的作用指标建立的要点核心指标从结构化的角度考虑，核心指标就是金字塔的塔尖。以初创公司为例：创业早期，关注新增用户量创业中期，需要带动用户，关注用户活跃创业后期，需要商业化，关注营收好的指标应该是比率好的指标应该能带来显著的效果好的指标不应该虚荣比如新增用户量，是通过砸钱带来的好的指标不应该复杂，直接干净简单利落。不同领域的指标1. 市场营销指标1.1 客户/用户的生命周期企业/

应该怎么学

三种核心思维1. 结构化来自麦肯锡的金字塔思维，利用思维导图，层层递进和拆解。思考方式：2. 公式化3. 业务化

埋点设计：数据分析师获取数据的源头。 在APP上，用户的点击、浏览等行为都是可以被记录下来的。数据分析师的任务是设计哪些该记录，记录哪些信息，该怎样记录。 这个不需要数据分析师自己去埋，由开发去埋。数据分析师只是提供开发方案。...

60%~80%工作时间： 取数、做表、搭监控其余： 开会、分析、给方案；重点： 给业务决策支持，即结合数据和业务现状，分析出各类的可行方案，并且算出投入产出比。场景：沟通会和分析会沟通会： 所有与业务相关的日会、周会、月会等，目的是去收集和整合更多的信息，方便日后更加宏观全面的角度进行分析分析会：针对业务的痛点难点进行的，例如，发展方向、成本优化、竞争策略、风险监控、可行性分析等以最常见的成本优化为例：首先提取和处理现在业务涉及的成本数据。然后把数据准备成各类可能要用到的成本报表、成本看板.

DAU: Daily active userUU: Unique userPV: page viewROI: return on investment投资回报率的英文名为Return on Investment ，缩写为ROI。 投资回报率（ROI）= （税前年利润/投资总额）*100%。是指企业从一项投资性商业活 动的投资中得到的经济回报，是衡量一个企业盈利状况所使用的比率，也是衡量一个企业经营效果和效率的一项综合性的指标。...

简介DAX（Data Analysis Expression)，即数据分析表达式。商业数据分析，可以看作从大量数据中，筛选、分组、汇总的过程，而DAX 的主要功能是筛选和计算， 是Power BI的灵魂。DAX查询函数：负责筛选出有用的数据集合。DAX聚合函数：执行计算。使用场景Power BI Desktop新建度量值新建列新建表Excel 的 Power Pivot语法Sample：销售金额 = SUM('订单表'[销售额])DAX中和Excel相似的函数语

存储过程定义由过程化SQL 语句书写的一段程序，经编译和优化后，命名并存储在数据库服务器中，使用时只要调用即可。是一组能完成特定功能的SQL语句集优点运行效率高降低了客户机和服务器之间的通信量调用存储过程时，只需一个执行语句即可实现操作，而不需要在网络上发送大量的SQL代码，减少网络流量。方便实施企业规划安全性可以授权给，无直接执行存储过程语句权限的用户，执行该存储过程。作用向用户返回数据向表中插入新数据修改、执行系统和管理任务使用场景不需要任何客户端信息，而在

简介：Pandas 是 Python 语言的一个扩展程序库，用于数据分析。Pandas 是一个开放源码、BSD 许可的库，提供高性能、易于使用的数据结构和数据分析工具。Pandas 名字衍生自术语 “panel data”（面板数据） 和 “Python data analysis”（Python 数据分析。Pandas 一个强大的分析结构化数据的工具集，基础是 Numpy（提供高性能的矩阵运算）。Pandas 可以从各种文件格式比如 CSV、JSON、SQL、Microsoft Excel 导

学习视频：【课程合集】大数据博士教你可视化图表选择可视化图表的选择分布型图表1. 直方图对数据分组后，统计每个分组的数据量注意：与柱状图区分2. 概率密度图通过核密度估计方法（KDE），估计出数据的概率分布情况每个样本点，会对总体的概率分布，产生同昂的影响，也就是“核（Kernel)”。经常使用的是高斯核，正态分布这些“核”叠加起来，就成为了数据总体的分布。注意：每个核的大小选择，会强烈地影响从KDE获得地估计概率密度图（二维）一维地曲线，扩展到二维的情况下

名称英文使用符号是否可修改元组tuple小括号 ()否列表list中括号 []是字典dict大括号 {}是

1. 算数运算要对某两列或多列进行算数运算时， 直接将相应的列名与相应的运算符连接即可。Sample：SELECT A, B, (A+B) AS C, // C列是A列和B列的和 (A-B) AS D // D列是A列减B列的差FROM Test;在SQL中：加减乘除优先级和数学运算中的优先级是一样的， 即先算乘除， 后算加减。还有整除（div) 和取余（%和mod）两种运算。null值和与任何数进行运算，结果都是null。 类似于0乘以任何

可以使用cast() 和 convert()函数， 改变某一列的数据类型。Sample:SELECT age, cast(age as decimal) decimal_age, // 将age转化成浮点型（decimal) convert(age, char) char_age // 将age转化成在字符型（char)FROM testChart;...

一般处理方法：直接把缺失值过滤掉。对缺失值进行填充。缺失值的三种表现形式：空格null空值三种缺失值的区别：空格 和 null： 在对应的单元格里是有值的空值： 表示这个单元格什么都没有。...

静态属性（方法）也称为类属性。特点： 静态属性无需创建实例对象， 可通过类直接调用。class MathTools{ static PI = 3.1415926; static sum(num1: number, num2: number){ return num1 + num2 }}// 通过类Tool 直接调用console.log(MathTools.PI); console.log(MathTools.sum(123, 456));

学习视频：17_抽象类18_接口抽象类定义：以 abstract；和其他类区别不大，只是不能用来创建对象；抽象类是专门用来被继承的类。抽象方法：只定义结构，没有方法体；只能定义在抽象类中；具体实现由子类决定，子类必须对抽象方法进行重写；接口定义：interface关键字用来定义一个类结构，定义一个类中应该包含哪些属性和方法，限制类的结构接口中的所有属性都不能有实际的值。接口中所有的方法都是抽象方法接口也可以当成类型声明去使用，可以重复声明。类实现接口：

树的基本概念度结点的度：树的度：结点的位置叶子结点：分支结点：内部节点：结点间的相互关系父结点：子结点：兄弟结点：树的分层层次数的结点数和度数的关系：树的结点数 = 所有结点的总度数 +1树的遍历前序遍历后序遍历中序遍历层次遍历...

语言集成查询 (LINQ) 是一系列直接将查询功能集成到 C# 语言的技术统称。 数据查询历来都表示为简单的字符串，没有编译时类型检查或 IntelliSense 支持。 此外，需要针对每种类型的数据源了解不同的查询语言：SQL 数据库、XML 文档、各种 Web 服务等。 借助 LINQ，查询成为了最高级的语言构造，就像类、方法和事件一样。 可以使用语言关键字和熟悉的运算符针对强类型化对象集合编写查询。 LINQ 系列技术提供了针对对象 (LINQ to Objects)、关系数据库 (LINQ to S

C# 是一种简洁精炼且类型安全的面向对象的语言。 开发人员利用 C# 能够生成在 .NET 生态系统中运行的多种安全可靠的应用程序。C# 语言C# 可提供强大的功能，例如可以为 null 的类型、委托、Lambda 表达式、模式匹配和安全直接内存访问。C# 支持泛型方法和类型，因此增强了类型安全性和性能。C# 可提供迭代器，使集合类的实现者可以定义客户端代码的自定义行为。语言集成查询 (LINQ) 表达式让强类型查询成为最高级的语言构造。作为面向对象的语言，C# 支持封装、继承和多态性这些概

虽然 C# 的构想十分接近于传统高级语言 C 和 C++，是一门面向对象的编程语言，但是它与 Java 非常相似，有许多强大的编程功能.布尔条件（Boolean Conditions）自动垃圾回收（Automatic Garbage Collection）标准库（Standard Library）组件版本（Assembly Versioning）属性（Properties）和事件（Events）委托（Delegates）和事件管理（Events Management）易于使用的泛型（Gene

一、什么是.NET?.NET是微软公司下的一个开发平台，.NET核心就是.NET Framwork（.NET框架）是.NET程序开发和运行的环境，在这个平台下可以用不同的语言进行开发，因为.NET是跨语言的一个平台。语言可以是C#,f#,j#,vb.net等等。JAVA和.NET不同的一点是java是跨平台的，不跨语言的。.NET跨平台仅限于安卓系统和 iOS 苹果系统。1、.net框架的组成分为两部分：CLR：公共语言运行时（Common Language Runtime），提供内在管理，代码

基本数据结构补充：Hsah属于散列存储结构目录1.1 线性表

基本数据结构补充：Hsah属于散列存储结构线性表按存储结构划分：1. 顺序表： 连续的存储空间。2. 链表： 离散的存储空间，逻辑上是连续的。3. 链表的区别单链表循环链表双链表相关博客： 顺序表与链表4. 链表的操作单链表的节点删除单链表的节点插入5. 顺序表与链表的比较补充：链式存储密度<1， 是因为链式存储还有指针。...

自定义列表不仅仅是一列项目，而是项目及其注释的组合。自定义列表以 <dl> 标签开始。每个自定义列表项以 <dt> 开始。每个自定义列表项的定义以 <dd> 开始。<dl><dt>Coffee</dt><dd>- black hot drink</dd><dt>Milk</dt><dd>- white cold drink</dd></dl&gt

HTML表格和边框属性边框没有边框的表格<table>或<table border="0">跨行或跨列的表格单元格单元格跨两列: <th colspan="2">Telephone</th>单元格跨两行: <th rowspan="2">Telephone:</th>表格内的标签表格结构语义标签：1…：表格根元素。2.：表格头。3.：表格体。4.：表格尾，一般可忽略该结构。5.：表格行。表格

学习目标:了解常用浏览器掌握WEB标准理解标签语义化掌握常用的排版标签掌握常用的文本格式化图像链接等标签掌握三种列表标签掌握表格标签掌握表格标签掌握表单标签掌握H5新增表单和表单属性typora-copy-images-to: media认识网页网页主要由文字、图像和超链接等元素构成。当然，除了这些元素，网页中还可以包含音频、视频以及Flash等。<img src="media/mi.png"alt="">思考： 网页是如何形成的呢?常见浏览器介绍.

历史文档类型设定documentHTML: sublime 输入 html:4sHTML: sublime 输入 html:xtHTML5 sublime 输入 html:5 <!DOCTYPE html>常用新标签w3c 手册中文官网 : http://w3school.com.cn/header：定义文档的页眉 头部nav：定义导航链接的部分footer：定义文档或节的页脚 底部

1. Sublime介绍:Sublime是一个代码编辑器，可以编写HTML，php，js，css等等文件。1.1 优点:跨平台扩展性强提交小，运行速度快支持编辑功能，可以在控制台查看输出支持大量的插件1.2 Sublime安装：下载：http://www.sublimetextcn.com/3/ 对应系统的版本安装：须安装在电脑硬盘当中,路径中不能出现中文字符 .使用sublime创建一个HTMl文件：Ctrl+N 新建文件Ctrl+S 保存文件新建项目:菜单栏单

替换字符串内容replace() 方法用另一个值替换在字符串中指定的值不会改变调用它的字符串。它返回的是新字符串。只替换首个匹配如需替换所有匹配，请使用正则表达式的 g 标志（用于全局搜索）：var str = "Please visit Microsoft and Microsoft!";var n = str.replace(/Microsoft/g, "W3School")...

4.1 成员概述4.1.1 成员的种类类和结构都是复合类型， 他们可以包含数据成员、函数成员和嵌套成员1. 数据成员数据成员指字段，在类型定义时可以指定字段的初始值。如果类型的定义中没有指定字符串的初始值， 使用对象时也没有给字段赋值，那么字段将会被赋予其类型的默认值。类型默认值整形（包括字符和枚举）和实数类型0(2) 字段只有在创建对象时才会分配实...