四纪启悟 · 数据科学

批量导入数据，是做分析的第一步，现在把之前www.rokia.org的论坛上写的一个帖子转过来，这个帖子居然也有16万次的阅读量，自我安慰一把。最近看了本书，《sas data preparation for data mining》觉得相当不错，其中很多代码都是相当经典的，而且难度也不大，决定在这学期把阅读笔记和代码说明写出来，与大家分享。

跑完分类模型（Logistic回归、决策树、神经网络等），我们经常面对一大堆模型评估的报表和指标，如Confusion Matrix、ROC、Lift、Gini、K-S之类（这个单子可以列很长），往往让很多在业务中需要解释它们的朋友头大：“这个模型的Lift是4，表明模型运作良好。——啊，怎么还要解释ROC，ROC如何如何，表明模型表现良好……”如果不明白这些评估指标的背后的直觉，就很可能陷入这样

书接前文。跟ROC类似，Lift（提升）和Gain（增益）也一样能简单地从以前的Confusion Matrix以及Sensitivity、Specificity等信息中推导而来，也有跟一个baseline model的比较，然后也是很容易画出来，很容易解释。以下先修知识，包括所需的数据集：分类模型的性能评估——以SAS Logistic回归为例(1): 混淆矩阵分类模型的性能评估——

ROC上回我们提到，ROC曲线就是不同的阈值下，以下两个变量的组合（如果对Sensitivity和Specificity两个术语没有概念，不妨返回，《分类模型的性能评估——以SAS Logistic回归为例(1): 混淆矩阵》，强烈建议读者对着看）：Sensitivity（覆盖率，True Positive Rate）1-Specificity (Specificity, 负例

Example 2014.13: Statistics doesn’t have to be so hard! Resampling in R and SASNovember 17, 2014By Nick Horton(This article was first published on  SAS and R, and kin

北卡州立大学的数据分析学硕士项目（Master of Science in Analytics,简称MSA），近日在《哈佛商业评论》（Harvard Business Review）公布的全美“大数据”专业排名中，被“顶置”榜首。排在后面的都是全美著名的理工名校，其中包括斯坦福、麻省理工、加州伯克利、哈佛以及卡耐基梅隆等。　　《哈佛商业评论》评述现状称：虽然当前大数据话题火热，但实际上真有能力

【目的】要将保存在宏变量里面的SQL的不同查询结果的值，汇总到一个变量里面【程序】 *创建一个样例数据库temp;data temp; do i=1 to 10; output; end;run;%macro matrix(); proc sql ; select i into :x1 - :x10 from temp;*将i的值传递给变量x1-x10.以下的

SAS随机数函数        分布情况            参数说明RANBIN(seed,n,p)       二项分布           n：独立实验的次数，p：成功的概率RANCAU(seed)         柯西分布RANEXP(seed)         指数分布           RANGAM(seed,a)        伽玛分布

在给学生上课或者与学生交流过程中，发现很多学生往往在导入数据第一步就“卡壳”了，因为现实的数据和教科书配套的习题集是完全不一样的。现实的数据集就好比一只没有杀好的猪，看你有没有本事从中提取你要的部位。而教科书配套的习题集已经是超市里面封装好的一块块“猪颈肉”或者“五花肉”。其实总结来说无外乎就这么几种方法，把这些代码保存起来，遇到相匹配的数据就直接把相应的代码拿来用。当然对其中的一些语法还是要

We’re pleased to announce that a special issue of the American Statistician on “Statistics and the Undergraduate Curriculum” (November, 2015) is available athttp://amstat.tandfonline.com/toc/utas20/69