沧海一粟 —— 技术随手记

最近做医学数据分析的结果展现，提到了两个问题：1. 机器学习方法相比较传统统计学方法而言，能产生什么新的结果？2.这些新的结果能不能用统计学理论来解释？于是简单Google了一下。很不幸，没有找到专门针对医学分析的，倒是发现一篇博客，讲统计学与机器学习、数据科学的区别。个人觉得挺有道理的。摘录主要思想如下。 1.    统计学的主要特点？文中提到，统计学家最重要的任务是处理由采样引

最近和做临床研究的大夫交流，他提出一个问题：所谓大数据分析的底层方法论是否适合用于临床研究？众所周知，临床研究目前主要采用的是流行病学的方法论，而底层基础数学理论是统计学。现在大数据分析方法中，主要部分是机器学习、模式识别等。我们知道，机器学习整合了大量统计学的方法，也有很多新的方法。但是，两个学科对于分析所要达到的目标其实预期不一样。统计学更注重逻辑的严谨性，而机器学习更看重学习的结果。那机

在学习或者使用机器学习的方法时，回归分析可以说是最常用的一种方法了。今天朋友推荐Dr. Paul Allison的一篇博文，讲回归分析最常用的两种方式：预测和因果分析。觉得对医学信息学里面对回归分析的使用有很大的帮助，于是拜读了一下。下面是对于其中主要观点的总结。Dr. Allison是统计学方面的大牛，写了很多本统计学方面的书。最厉害的是他的教学。不管面对什么样的学生，他都能很有效地教授统计

从开始接触临床研究的方法论到现在，非常深刻的一个印象就是临床研究注重因果关系（Causality）的验证。比如设计一个随机对照试验（RCT）验证某种干预（药物、手术等）对某个临床结局的关系。所采用的主要方法就是控制所有对结局可能有影响的因素，（理论上）只让关心的干预方式在人群中有变异，并观察最终的结局的变化，建立干预对结局的关系。由于在试验设计的时候就让干预先发生，结局后发生，且在作用的过程中控制

最近发在新英格兰医学杂志上的一篇观点文章。对于大数据和机器学习技术在临床医学上的应用做了简短的总结和展望。这儿转载的是英文版。需要中文版的话可以登录：http://www.nejmqianyan.cn/article/YXQYoa1606181?from=timeline&isappinstalled=0#10006-weixin-1-52626-6b3bffd01fdde4900130bc5a2

在医学领域做数据分析，经常把数据先整理成一张大宽表，然后再进行诸如疾病风险预测之类的建模。这张大宽表每行代表一个患者（case）的数据，而且通常会包含非常多列，每列对应某一种数据（feature）比如患者基本信息、诊断、检查结果等。这样的数据如果有非常多的行和列，则可以被称作是高维数据(High-DimensionalData Exploration)。在进行具体建模分析之前，非常重要的一步是