- 博客(123)
- 收藏
- 关注
原创 数据分析:康纳德理论
康纳德: 世界上的事物可以分为这样几类:我们知道,我们知道的;我们知道,我们不知道的;意味着度量行为, 比如数钱、清点用户量、计算代码行数都是度量行为。我们知道, 我们不知道这一类指标的具体值,所以才要度量它。我们不知道,我们知道的;我们不知道,我们不知道的。数据分析在康纳德理论的四个象限中斗殴重要的应用, 能够:检验我们手头上的事实和假设(如打开率或转化率),以确保我们不是在自欺欺人。验证我们的直觉,把假设变成数据为业务预测表、瀑布式开发流程图提供数据帮助我们发现黄金机遇,大
2022-01-18 14:44:22
743
原创 大数据开发:概念
1. 大数据的概念大数据(big data), 是指无法在一定时间范围内,用常规软件工具进行捕捉、管理和处理的数据的集合,是需要新处理模式,才能具有更强的决策力、洞察发现力和流程优化能力的,海量的、高增长率和多样化的信息资产。数据分析的前提是有数据,数据存储的目的是支撑数据分析。大数据只要解决的问题:海量数据的存储海量数据的计算大数据单位转换:1T(太)= 1024G1P(拍)= 1024T1E(艾)= 1024P1Z(泽)= 1024E1Y(尧)= 1024Z1B(布)= 1
2021-10-26 22:54:01
434
原创 数据分析:Pandas数据预处理
常见不规整数据主要有:缺失数据重复数据异常数据1. 缺失值处理1.1 缺失值查看Python缺失值一般用NaN表示。info():可返回每一列的缺失情况。isnull():判断哪个值是缺失值。如果是缺失值,则返回True。1.2 缺失值删除dropna():默认删除有缺失值的行。 只要一行有缺失值,就把整行的值删掉。dropna(how = “all”):删除空白行,只会删除全为空值的行。1.3 缺失值填充一般情况下,只要缺失数据比例不过高,即不超过30%,尽量不删除,
2021-10-19 01:13:10
700
2
原创 数据分析:Pandas获取数据源
Pandas的名称来自于面板数据(panel data)和python数据分析(data analysis)。3. 熟悉数据head(n):显示前n行,head()默认显示前5行。shape():获取数据的行数和列数,结果是元组。df.shape() 的结果是(4,3),表示df表有4行3列info():获取整个表中,所有列的数据类型describe():获取数值分布情况。countmeanstd:标准差min25%50%75%max...
2021-10-18 23:55:13
389
原创 Power BI:数据清洗
数据清洗:整理从各种数据源获取的数据的过程,称为数据清洗,使数据可直接用于数据分析,提升数据的可用性。1. Power QueryPower Query:是微软的数据连接和数据准备技术。Power BI 通过Power Query,完成数据的获取和清洗。...
2021-10-11 10:50:33
1446
原创 数据分析:业务的分析指标
业务的重要性基于业务才能建立好的数据模型。指标:基本APP的指标分析指标的作用指标建立的要点核心指标从结构化的角度考虑,核心指标就是金字塔的塔尖。以初创公司为例:创业早期,关注新增用户量创业中期,需要带动用户,关注用户活跃创业后期,需要商业化,关注营收好的指标应该是比率好的指标应该能带来显著的效果好的指标不应该虚荣比如新增用户量,是通过砸钱带来的好的指标不应该复杂,直接干净简单利落。不同领域的指标1. 市场营销指标1.1 客户/用户的生命周期企业/
2021-10-05 17:29:21
2792
原创 数据分析:埋点
埋点设计:数据分析师获取数据的源头。 在APP上,用户的点击、浏览等行为都是可以被记录下来的。数据分析师的任务是设计哪些该记录,记录哪些信息,该怎样记录。 这个不需要数据分析师自己去埋,由开发去埋。数据分析师只是提供开发方案。...
2021-10-03 23:51:01
174
原创 数据分析:日常工作
60%~80%工作时间: 取数、做表、搭监控其余: 开会、分析、给方案;重点: 给业务决策支持,即结合数据和业务现状,分析出各类的可行方案,并且算出投入产出比。场景:沟通会和分析会沟通会: 所有与业务相关的日会、周会、月会等,目的是去收集和整合更多的信息,方便日后更加宏观全面的角度进行分析分析会:针对业务的痛点难点进行的,例如,发展方向、成本优化、竞争策略、风险监控、可行性分析等以最常见的成本优化为例:首先提取和处理现在业务涉及的成本数据。然后把数据准备成各类可能要用到的成本报表、成本看板.
2021-10-03 18:54:20
324
原创 数据分析:指标或数值
DAU: Daily active userUU: Unique userPV: page viewROI: return on investment投资回报率的英文名为Return on Investment ,缩写为ROI。 投资回报率(ROI)= (税前年利润/投资总额)*100%。是指企业从一项投资性商业活 动的投资中得到的经济回报,是衡量一个企业盈利状况所使用的比率,也是衡量一个企业经营效果和效率的一项综合性的指标。...
2021-10-03 17:59:36
119
原创 Power BI数据分析语言: DAX
简介DAX(Data Analysis Expression),即数据分析表达式。商业数据分析,可以看作从大量数据中,筛选、分组、汇总的过程,而DAX 的主要功能是筛选和计算, 是Power BI的灵魂。DAX查询函数:负责筛选出有用的数据集合。DAX聚合函数:执行计算。使用场景Power BI Desktop新建度量值新建列新建表Excel 的 Power Pivot语法Sample:销售金额 = SUM('订单表'[销售额])DAX中和Excel相似的函数语
2021-09-27 11:25:07
717
原创 过程化SQL、存储过程与函数
存储过程定义由过程化SQL 语句书写的一段程序,经编译和优化后,命名并存储在数据库服务器中,使用时只要调用即可。是一组能完成特定功能的SQL语句集优点运行效率高降低了客户机和服务器之间的通信量调用存储过程时,只需一个执行语句即可实现操作,而不需要在网络上发送大量的SQL代码,减少网络流量。方便实施企业规划安全性可以授权给,无直接执行存储过程语句权限的用户,执行该存储过程。作用向用户返回数据向表中插入新数据修改、执行系统和管理任务使用场景不需要任何客户端信息,而在
2021-09-25 16:39:12
1080
1
原创 Pandas 数据结构
简介:Pandas 是 Python 语言的一个扩展程序库,用于数据分析。Pandas 是一个开放源码、BSD 许可的库,提供高性能、易于使用的数据结构和数据分析工具。Pandas 名字衍生自术语 “panel data”(面板数据) 和 “Python data analysis”(Python 数据分析。Pandas 一个强大的分析结构化数据的工具集,基础是 Numpy(提供高性能的矩阵运算)。Pandas 可以从各种文件格式比如 CSV、JSON、SQL、Microsoft Excel 导
2021-09-21 17:58:31
114
原创 可视化图表
学习视频:【课程合集】大数据博士教你可视化图表选择可视化图表的选择分布型图表1. 直方图对数据分组后,统计每个分组的数据量注意:与柱状图区分2. 概率密度图通过核密度估计方法(KDE),估计出数据的概率分布情况每个样本点,会对总体的概率分布,产生同昂的影响,也就是“核(Kernel)”。经常使用的是高斯核,正态分布这些“核”叠加起来,就成为了数据总体的分布。注意:每个核的大小选择,会强烈地影响从KDE获得地估计概率密度图(二维)一维地曲线,扩展到二维的情况下
2021-09-21 17:01:37
295
原创 PowerBI 操作
矩阵和表格:(1)整体大小:大小(2)行高:行填充(3)列宽:列宽(4)隐藏列:先关掉【自动换行】,再用鼠标拖拽(5)隐藏行:筛选器里面进行筛选(6)居中显示:【行标题】与【字段格式设置】中分别居中(7)分级显示:+(8)行标题缩进:缩进(9)行字段名显示在不同列:渐变(10)行总计:小计 【按行级别,产品名称】(11)值在行上显示:值(12)条件格式:数据条(13)条件格式:图标...
2021-09-20 10:29:47
3221
原创 SQL:数据运算
1. 算数运算要对某两列或多列进行算数运算时, 直接将相应的列名与相应的运算符连接即可。Sample:SELECT A, B, (A+B) AS C, // C列是A列和B列的和 (A-B) AS D // D列是A列减B列的差FROM Test;在SQL中:加减乘除优先级和数学运算中的优先级是一样的, 即先算乘除, 后算加减。还有整除(div) 和取余(%和mod)两种运算。null值和与任何数进行运算,结果都是null。 类似于0乘以任何
2021-08-24 23:04:54
3917
原创 SQL:数据类型转换
可以使用cast() 和 convert()函数, 改变某一列的数据类型。Sample:SELECT age, cast(age as decimal) decimal_age, // 将age转化成浮点型(decimal) convert(age, char) char_age // 将age转化成在字符型(char)FROM testChart;...
2021-08-24 22:30:53
4211
原创 SQL: 缺失值处理
一般处理方法:直接把缺失值过滤掉。对缺失值进行填充。缺失值的三种表现形式:空格null空值三种缺失值的区别:空格 和 null: 在对应的单元格里是有值的空值: 表示这个单元格什么都没有。...
2021-08-23 21:28:57
2777
原创 TypeScript:静态属性 static
静态属性(方法)也称为类属性。特点: 静态属性无需创建实例对象, 可通过类直接调用。class MathTools{ static PI = 3.1415926; static sum(num1: number, num2: number){ return num1 + num2 }}// 通过类Tool 直接调用console.log(MathTools.PI); console.log(MathTools.sum(123, 456));
2021-06-04 10:45:55
642
原创 TS:保证有错误的 ts 文件不能编译成 js
在config文件里添加 "noEmitOnError": false,Sample:{ "compilerOptions": { "noEmitOnError": false, "target": "es5", "module": "commonjs", "strict": true,
2021-06-02 23:57:43
1431
原创 TypeScript - 抽象类 和 接口
学习视频:17_抽象类18_接口抽象类定义:以 abstract;和其他类区别不大,只是不能用来创建对象;抽象类是专门用来被继承的类。抽象方法:只定义结构,没有方法体;只能定义在抽象类中;具体实现由子类决定,子类必须对抽象方法进行重写;接口定义:interface关键字用来定义一个类结构,定义一个类中应该包含哪些属性和方法,限制类的结构接口中的所有属性都不能有实际的值。接口中所有的方法都是抽象方法接口也可以当成类型声明去使用,可以重复声明。类实现接口:
2021-06-01 23:07:09
175
3
原创 从零开始学股票
学习视频【从零开始学股票】-- 智友社-财经科普1. 开户识盘1.1 大盘国内:红色:涨,买入。绿色:跌,卖出。大盘: 大盘指数就是指上证指数,该指数代表了所有股票的涨跌情况。大盘指数大涨,即大部分股票都在涨。决定股票涨跌的因素: 所有买卖股票人。1.2 A股A股:中国境内交易所上市股票的一个统称。B股:针对国外投资者,跟国内投资者关系不大。1.2.1 A股参与买卖群体主要有4个部分:散户:俗称韭菜游资:有钱小团体,善于短线。利用资金优势操纵股票涨跌,等第二日韭菜接盘
2021-05-16 15:42:50
1869
原创 JZ36 两个链表的第一个公共结点
题目描述 输入两个无环的单链表,找出它们的第一个公共结点。(注意因为传入数据是链表,所以错误测试数据的提示是用其他方式显示的,保证传入数据是正确的)题解 公共节点:两个链表从某一节点开始,他们的next都指向同一个节点。但由于是单向链表的节点,每个节点只有一个next,因此从第一个公共节点开始,之后他们的所有节点都是重合的,不可能再出现分叉。下图中第一个公共结点为8。方法一:双指针思路: 遍历两遍这两个链表,如果有重复的节点,那么一定能够使遍历的指针相等。遍历两遍这两个链表,相当于连接
2021-05-12 15:50:20
113
原创 VS Code: 无法加载文件 C:\Users\Administrator\AppData\Roaming\npm\tsc.ps1,因为在此系统上禁止运行脚本
解决步骤:以管理员身份打开 powerShell;运行命令行 set-ExecutionPolicy RemoteSigned;输入’A’ 或 'Y‘。
2021-05-08 15:37:14
937
原创 Visual studio code 自动编译ts文件
步骤:控制台中生成 tsconfig.jsontsc --init可在Vscode中,修改tsconfig.json中存放生成代码的目录。"outDir": "./", /* Redirect output structure to the directory*/Vscode中, 选中tsconfig.json,Ctrl+shift+B 选择监视模式 进行编译(每次有更新就会编译)...
2021-05-08 15:31:12
631
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人