liweijie231的博客

原创 业绩归因 绩效评估 - 各种收益率计算方法

收益率计算1 定义1.1 日收益率收益率=收益额成本收益率 = \frac{收益额}{成本}某一天，小红投入1000元买了股票A，收盘时股票市值变为1200，赚了200元， 那么收益率 = 20%1.2 资金出入同一天，小红追加了500元，买了个股票B ,收盘时，股票B的市值为600元 此时 ， 成本 = 1000 + 500 = 1500 ，收益额 = 200 + 100 = 300

原创 用户交易数据分析 -最大回辙 O(1) O(n)实现

2017.4.4 mark

原创 用户交易数据分析-投资绩效评估体系建设

【金融】投资绩效评估 - 指标体系

原创 收益率-计算方法介绍

收益率计算方法

原创 用户交易数据分析 - 投资绩效归因分析-Brision模型

mark

原创 大数据-Kafka数据处理

安装启动zookeeper#配置文件dataDir=/usr/local/zookeeper-3.4.12/zookeeper_data#启动./zkServer.sh startZooKeeper JMX enabled by defaultUsing config: /usr/local/zookeeper-3.4.12/bin/../conf/zoo.cfgStarting...

原创 有效前沿，CAMP, CAL, SML

原创 资产配置评价维度

资产配置分析指标

原创 大数据实时日志收集工具logstash 安装

1， 解压文件 安装在 cd /usr/local/tar -zxvf logstash-6.2.1.tar.gz2, 配置文件1: simple.conf文件 input { stdin {}}output { stdout { codec => rubydebug }}配置文件1:运行输出 [root@localhost config...

原创 大数据计算Hive中json数组日志解析

数据格式假设hive上存储的数据有一列类型是string,内容为如下[ { "code": "000001", &quot

原创 数据分析报告结构规范设计

组成不好的例子○ 不知道主要说什么：没主题○ 不知道你讲半天说明什么：没结论○ 不觉得你有依据：没证据○ 听完无感：没行动好的例子今天我们要谈的是如何写一篇转发量高的新媒体文章的问题。（主题）我认为要让读者转发的关键是让大家产生同感和共情。（结论）大部分转发量高的文章都是层层铺垫情绪，像咪蒙一炮而红的爆文《致贱人：我凭什么要帮你？》就是一个好例子，自上而...

原创 Over 100 Data Science Interview Questions 北美数据科学面试题和参考答案

Over 100 Data Science Interview QuestionsGeneral QuestionsAppleSuppose you’re given millions of users that each have hundreds of transactions and these millions of transactions are for tens o...

原创 数据需求开发流程规范设计

数据需求开发流程       

原创 app数据分析体系 - 用户粘性 DAU，MAU 和 月人均活跃天数

用户粘性指标 DAU MAU 月均活跃天数DAU 和 MAU日活跃用户占月活跃用户的比例越高，表明用户对App的使用粘性越高。DAU，即：Daily Active User，指日活跃用户数MAU，即：Monthly Active User，指月活跃用户数。例子1： 如果每天活跃都是同样的用户，例如每天都是1万DAU，那么30天内每天都是这1万用户在活跃，MAU也是1...

原创 DW数据仓库分层模型设计

DW分层模型设计

原创 算术收益率与对数收益率(几何收益率)

算术收益率 几何收益率(对数收益率)日收益率算术收益率 rt=Pt/Pt−1rt=Pt/Pt−1r_t = P_t/P_{t-1} 几何收益率 Rt=In(Pt/Pt−1)Rt=In(Pt/Pt−1)R_t = In(P_t/P_{t-1})累计收益率采用时间加权计算nnn天的累计收益率SnSnS_n用算术收益率数据计算Sn=(1+r1)×(1+r...

原创 用户交易数据分析-流失分析

客户流失分析客户流失分析回答问题包括：流失客户总体情况怎样？流失客户对公司造成了什么损失？哪些因素造成了客户的流失？ 不同标签的客群流失情况有什么差别？如果某个客户将要流失，他会在多长时间内流失？哪些客户可能会流失？现有客户的流失概率？数据模型设计 元数据 分类 用户ID 维度 是否新增客户 维度 渠道 维度...

原创 数据治理综述

数据管理知识体系-职能框架DAMA-DMBOK职能框架定义了组织结构大纲，包括10个职能和7个环境要素 数据管理职能 目标各原则 活动 主要交付物 角色和职责 技术 实践和方法 组织和文化 数据治理 数据架构管理 数据开发 ...

原创 用户交易数据分析 -持仓收益（盈亏）胜率等指标计算

数据模型 用户id 股票代码 数量 交易方向 发生资金 a 0001 100 买 -1000 a 0001 200 买 -1800 a 0001 100 卖 1300 用户id 股票代码 股票数量 股票代码_昨日

原创 用户交易数据分析 -事实快照表的汇总数据模型设计

基础表-数据模型设计基础表为每天统计每个用户id的，日，月累计，年累计 指标 和 首次、未次属性 日汇总表 统计时间 用户ID 维度1 维度2 维度3 指标 1 指标 2 指标 3 20180701 a (日累计) 20180701 b 20180...

原创 app数据分析 - 留存流失分析

app数据分析体系 - 留存分析注册用户留存情况从后往前看 统计时间 1日前时间 1日前注册用户 次日留存用户数 7日前时间 7日前注册用户 7日留存数 14日前时间 14日前注册用户 14日留存 30日前时间 30日前注册用户 30日留存用户 20180401 20180326 ...

原创 如何写一篇数据分析报告3 - 分析背景是什么

如何写一篇数据分析报告3 - 分析背景是什么一 做好准备信息不要脱离背景数据分析是一种服务：你的工作是为用户提供帮助，让他们免去审视各种数据，直接跨越到理解这些数据在其职责范围内的意义数据分析要帮用户理清重点，让他们更好的预测和处理问题，知道如何分配时间和资源来处理问题，或者预防问题出现如果能对更广泛的背景有个了解，你的分析工作就可以适应多位用户的不同需求​二 深入挖掘认识你的角色建立框

原创 [商业] 麦肯锡领导力模型

麦肯锡领导力原则领导组织重塑公司文化讲述变革故事业绩管理与对话​领导自已发现意义：发现工作生活的动力源泉调整视角：化被动为主动，化消极为积极建立关系：在组织中建立有效的支撑网络管理能量：在高强度的工作中保持充沛的能量积极参与：通向行为改变的第一步领导他人影响你的上级激励你的团队跨部门沟通协调领导业务战略问题分析与解决创新思维

原创 金融衍生品介绍

金融衍生品分类Forwand FuturesSwap Option 市场参与者Hedgers : 通过交易控制风险 Speclators： 利用风险，创造价值 Arbitrageurs ： 无成本，无风险Market maker ：做市商 Broker ：经纪商

原创 [数据库分区]SQL Server分区原理

关于SQL Server分区分区方法创建文件组创建文件创建分区函数 * 创建分区架构（图001）新同步一个表判断是否存在分区函数，​ 如果不是，创建分区函数​ 如果是扩展分区if not exists (select name from sys.data_spaces where name='fg_test_201706') alter

原创 【数据库分区】SQL Server表分区方法

对已存在的表分区例: 对 cgds2016..st_dd_custasset 进行分区：1，执行分区函数： proc_tbparttion ‘cgds2016’ ,’st_dd_custasset_h’ , ‘20160101’,’20180101’注：20160101 20180101分区已提前创建好，不可更改。2，结束后会自动生成 分区函数：pf_st_dd_custasset_h 分

原创 如何写一篇数据分析报告 - (1)谁是用户(2)关键问题是什么

1 从哪里开始1.1 谁是用户了解忙碌的用户： * 他们的时间是有限而宝贵的 * 他们依靠你来理清重要的东西 * 他们需要你给出清晰的事实和透彻的分析 * 他们使用来自受信任分析人员和分析机构的信息 * 你只是他们信息流的众多来源之一评估用户需求他们的角色是什么他们的兴趣点在哪里他们专长是什么用户接纳和吸收信息的方式如何用户是怎样和你的组织互动的用户还咨询了其他什么信息源用户

原创 [金融]衍生品定价，债券，期权，期货

衍生品定价，债券，期权，期货Bond定价 未来现金流贴现 期货定价 无套利定价期权定价 风险中性，构造一个风险中性组合

原创 IntelliJ IDE Spark程序开发

环境部署安装IntelliJ IDE下载安装即可 ,选择Community版本下载Spark源码cd /Users/jackli/Desktop/Pjt_idea/git clone https://github.com/apache/sparkIntelliJ 安装相关依赖打开IntelliJImport Project ，选择spark文件夹选择Import Project fro

原创 用户交易数据分析 - 平均持股时间

mark

原创 [数据库]SQLServer查询正在执行的SQL

SQLServert查询正在执行的SQL监控后台正在执行的sqlkill掉有问题的spidcreate PROC [dbo].[whatsql]AS/*--------------------------------------------------------------------exec whatsqlkill 75 kill 76-----------------------

原创 【机器学习】评价指标 - 偏差与方差

偏差与方差参考资料Understanding the Bias-Variance Tradeoff

原创 【金融】收益率-实盘炒股大赛中的收益率计算

收益率计算-实盘炒股大赛中的收益率计算

原创 【数据建模】数据建模方法-关系建模与维度建模

关系建模 维度建模

原创 【数据运营】海盗指标体系计算

海盗指标计算

原创 【概率】极大似然MLE 和最大后验 MAP，最大熵Maximum Entropy

极大似然估计最大后验估计最大熵估计参考资料参数估计（2）：极大似然，最大后验，贝叶斯推断以及最大熵

原创 【机器学习】评价指标 - 混淆矩阵confusion matrix, 准确率，召回率

混淆矩阵列表示：实际属性 行表示：预测值 FPFP 第一类分类错误FNFN 第二类分类错误FP rateFP\ rate FP Rate=FPN=FPTN+FP FP \ Rate = \frac{FP}{N}= \frac{FP}{TN+FP} SpecificitySpecificity Specificity=1−FP Rate=TNN=TNFN+FP Spe

原创 相关性分析指标-Pearson，Spearman，Kendall，Multual information

Pearson’s Correlation Coefficient介绍基于单调函数衡量两个变量之间的线性相关性程度计算公式（待补充）代码实现a<-c(1,2,3) b<-c(11,12,14)cor.test(a,b,method="pearson")cor=0.9819805060619659Spearman’s Rank Correlation介绍非参数测量方法，基于单调函数衡量两个变量的

原创 R 数据结构

R 数据结构 , vector ,matrix , list, factor

原创 R画图例子

R plot 画图