u010199413的专栏

做为一名在数据团队中修炼3年的年轻数据人，想和所有奋斗在互联网行业的追梦人分享一些自己的经验和思考，总结的同时，也希望能够帮助到正在数据人这条道路上披荆斩棘的您。年轻指的可不是年龄哈，之所以用年轻这个词，一是因为与很多在数据领域深耕多年的前辈相比，阅历和经验都难免有些浅薄，思考的可能没有那么深刻，也希望各位前辈不吝赐教；二是因为这个时代是高速发展，朝气蓬勃的时代，各行各业都需要一颗年轻的心，不畏艰...

核密度估计是在概率论中用来估计未知的密度函数，属于非参数检验方法之一，由Rosenblatt (1955)和Emanuel Parzen(1962)提出，又名Parzen窗（Parzen window）。假设我们有n个数X1-Xn,我们要计算某一个数X的概率密度有多大。核密度估计的方法是这样的：...

一、Python介绍小奈：其实你们写的代码好像有不同派系的？大仁：你是说编程语言？我来介绍下吧，我们来看下GitHub（程序员同城交友、代码协作平台）的数据，看下各种编程语言 Pull Requst的数据, Javascript的提交量最高，前端的鼎盛时期，python则处于飞速上升中，很有潜力。Java一直很稳，常年占据了后端主流编程语言第一。二、Python热度为何持续上涨？...

现在随着更多有企业的产品经理职位对于数据分析能力方面有更多要求，产品经理也随之需要学习数据分析的思维路线和数据分析的工具。数据分析的工具主要有：操作数据库的SQL语句、Excel、新进网红语言Python。Python语言一直被称颂为很好学的一门编程语言，本人在研读一本入门书籍后，的确可以上手写一些代码文件，这里使用Python做一做《扶摇皇后》小说的词云图，每一句代码上面即是对这句代码的注释...

01 前言数据——可以简单理解为人们动作行为的符号表示。信息技术的发展，使得计算机每时每刻记录着人们的数据，人们在计算机面前，早已经是“透明人”。万物皆在运动，对于数据来说，也是一直在变化的。我们对数据进行分析，就是希望可以从不断变化的数据中发现规律、发现趋势，提炼有价值的内容。好的数据是一座未被发掘的金矿，而好的数据分析报告，可以帮助经营管理者明确战略，不断优化和调整策略，也可以帮助...

最近很多人都在问我，如何能够成为一名数据分析师，我需要掌握哪些技能和工具？我的进阶路线是什么？将来是不是有发展潜力？ 我原来是运营能转数据么，我产品能转数据么，我技术，我视觉设计，我…能么？我…在我有限的职业生涯中，遇到过很多文科生转数据分析的例子，可以说屡见不鲜，那么你觉得你们能行么，那必须行啊！不光是文科生，我还见过许多不同职位，比如运营、产品、技术、市场、视觉设计师等等的小伙伴转成了...

毋庸置疑，大数据市场是一座待挖掘的金矿。随着数据使用量的增长，将有更多的人通过数据来寻求专业问题的答案。可视化数据分析工具的出现让人们可以通过将数据可视化来探讨问题、揭示洞见，用数据分享故事。甚至于不懂挖掘算法的人员，也能够为用户进行画像。BI（BusinessIntelligence）即商业智能，越来越多的智能软件供应商推出可视化数据分析工具，应对企业业务人员的大数据分析需求。然而...

搭建数据分析体系的常见错误（1）罗列指标，没有重点很多文章一讲数据分析体系，就铺陈了大量指标。先看哪个，后看哪个，根本没说明。光把几百个指标理解一遍都要半天，业务啥也不用干了，每天就在这瞅数好了。（2）陷入细节，没有目标很多同学习惯性列了指标，就开始按时间、渠道、区域、用户等级拆分，拆来拆去，标出一堆涨了跌了。问题是没个具体标准。每天纠结：1%的变化到底是不是问题？百分之几是问题？...

有同学问：领导总让做“有前瞻性”的分析，不要说那些“大家都知道的事”。可到底什么是前瞻性？有时候明明写了预计未来情况，可还是被批判为：没啥前瞻性，真不知道咋办了。先看看一个简单的例子如下，看图回答问题：6月的GMV是多少？有多少同学是脱口而出“400”？常见的问题，就从这里开始。没有前瞻性的分析，长这样错误一：复读机型看到上图数据，写出来的是：月均GMV7...

新年了，很多同学在做工作规划，有很多公司都提出要求，要“数据分析赋能业务/赋能销售/赋能运营”……到底啥玩意是赋能，咋个赋能法？？？往往领导又丢回一句“你要多想想啊”——让人着实无奈。今天我们系统解答一下。前方剧透警报：因为大量用了电视剧《亮剑》的梗，所以忘记的同学们可以去复习下（特别是打平安县城那段，第14集），反正也快放假了，权当消遣。赋能的直观含义“二营长，你他娘的意大利炮呢！”...

结构化分析的主要工具之一是逻辑树。这是麦肯锡公司的咨询顾问分析问题时最常使用的工具。逻辑树有三种类型，分别是：问题树、假设树、是否树。问题树也有翻译成议题树的。网上搜索逻辑树一般会默认是问题树，往往忽略了后两种。这三种逻辑树结构类似，但是有不同的使用前提，合理的使用它们，对于我们分析问题和制定解决方案能起到事半功倍的效果。01 问题树当对问题不了解 ，或者需要对问题进行全面的分解以...

我翻阅了一些数据分析师的招聘要求，几乎所有的招聘要求中，都会有这么一条，叫做“逻辑思维能力强”。但是又很少有人能说清楚到底什么叫做“逻辑思维能力强”。中国的教育在逻辑这一块上是非常欠缺的，即使是很多接受过高等教育的人，思路依然是非常没有条理的。日常工作中的数据分析，运用最多的逻辑方法就是逻辑推理，从一堆数据中推理出和业务有关的信息。今天就来说一下数据分析必备的第二种思维——逻辑推理思维。...

你按照结构化思维的方式解决问题，但是发现，当你解决了A问题，解决问题的做法带来了B问题。随后再去解决B问题，但最终又会带来C问题。你在各种各样的问题中间疲于奔命，事情似乎又没有好转的迹象。现实世界有多复杂？想象一下，假如你把硬币抛向空中，会发生什么？很简单：它会掉到地上。但如果不是扔硬币这么简单的事情，而是向非洲提供价值100万的救援物资呢？又会发生什么？如果我们用结构化思维来看待这个...

来，陈老师把那句没说出的买马匹替大家说了：做业务、做业务，连自己要做成啥样都不知道，还做个毛线啊！脑子都去哪里了！不知道早问啊，现在都搞完了，拉了一裤裆了，擦屁股想到老子了……咋整？我们今天详细整一整。不带脑子？不是蠢就是坏为什么会这样？其一就是：蠢。很多人干活就是不带脑子。确实有很多公司的运营、策划、产品经理，干活就找模板，想创意就抄竞品，其他啥都不会。你问他为什么干？他回答...

麻省理工学院一项研究发现，以数据驱动决策的企业，生产效率要比普通企业高4%，利润要高6%。无论运营推广怎样以小博大，文案美工如何画龙点睛；最后都离不开科学准确的数据统筹与分析；让后面的整体营销更加正确合理。一、公众号数据分析的必要性微信公众平台如今已经是第八个年头了，肯定有许多人已经是自诩为新媒体行业 “老人”。但当上司老板向你询问公众号运营情况时，你是否还停留在汇报：现在粉丝多少，平均阅...

在之前的文章里，我们聊了7种数据分析的方法，分别是对比分析法、多维度拆解法、漏斗观察法、分布分析法和用户留存分析法、用户画像分析法和归因查找法，这篇文章我们来聊聊常见的数据分析方法中的最后两个：路径挖掘分析法和单个行为序列分析法。首先呢，是路径挖掘分析法。一、路径挖掘分析法在漏斗分析法那篇文章里，我们已经知道了如何观测明确的用户路径，但对起点和终点我们是都有明确的业务场景，就需要通过路...

归因查找的作用是帮我们找出一件事件发生的主要原因是什么。往往我们的业务流程是有很多步的，比如从打开-浏览-下单-付款-付款成功，在这样的情况下，我们往往需要知道用户在完成整个事件前的步骤，对于他最后完成这个事件的影响因素是什么样的。思考一下：我们的业务中有一些非常明确的业务目标，像购买、留下资料、充值等行为。当我们知道这些行为事件前面的步骤它的贡献价值有多少之后，我们能够做什么呢？一、...

作为一枚产品汪，用户画像这个词你一定不陌生，那用户画像到底是什么呢？我们又该如何结合业务场景创建可用的用户画像呢？用户画像有什么作用呢？大家可以先思考一下上面三个问题~首先，我们来聊聊什么是用户画像。一、什么是用户画像？用户画像是通过对用户各类特征进行标识，通过标识给用户贴上各类标签，再通过标签把用户分为不同的群体，以便对不同的群体分别进行产品/运营运作。二、标签都有哪些？...

一、分布分析法1. 常见的群体划分有哪些？（1）按事件的频率举个栗子：某职业技能提升平台（下图）的某公开课程的页面，我们不止可以看PV，还可以把PV以用户浏览的次数进行查看，可以看看有多少人是看了1~3次的，有多少人看了3~5次的。分布分析方法不同的是：平时我们只看此页面一共浏览了多少次，这样再去平均。在这里我们看到的只是一个平均数，可能很多用户一天就能看几十次，也有部分用户只看了...

说到漏斗，肯定会有同学问，什么是漏斗呢？一、什么是漏斗观察法？漏斗是一连串向后影响的用户行为，也就是前一步对后一步有限制作用。它能够科学反映用户行为状态以及从起点到终点各阶段用户转化率情况的重要分析方法。举个栗子：下面是某陌生人社交产品从登录成功到收到消息的漏斗，从登录成功到选择喜欢到匹配成功，再到发送消息，最后到收到消息，这是一连串用户行为，从登录到收到消息构成了一个流程，同时上...

一、什么是多维度折解法说到多维度拆解法，那我们首先要理解两个关键词：维度和拆解，下面咱举个栗子：这马上过年了，相信大部分朋友已经在回家的路上了，有的甚至在家葛优躺好几天了。回到家了七大姑八大姨最喜欢问你什么呀？七大姑八大姨：听你妈说你还没对象呢，给你介绍一个吧，我这儿有个特别优秀的，第一，他个子高，第二，家庭条件很好，第三，长的特别的帅。那在这个例子里，拆解维度就是把优秀拆分成三个...

数据分析有哪些价值呢？像DAU/MAU这样的数据指标，直接去看就可以了，但是如果你的DAU昨天突然下跌了20%，你看到了这个结果，那它为什么下跌？下跌的原因是什么呢？如果你要找出下跌的原因就没有那么直接明了了。上面我们说到下跌，那什么样的数据能告诉你下跌的原因呢，如果你的工作中涉及到数据分析，你肯定会遇到类似的问题。举个栗子：你在互联网上有个菜铺，菜铺从浏览到消费的转化率一直很低，那到...

有同学问：“如何基于数据分析提出运营建议”，今天我们拿个简单的题目来举例。这个题目陈老师之前讲过，有印象的同学应该还记得。再举一次，是因为每到招聘季都有人把它搬出来，而且有关它的大部分讲解，都是错的。已知，下图是某个电商一周销售金额走势（具体数据都差不多，总之曲线长这样），问：数据反映什么问题，怎么提运营建议？很多同学一看这个数据，本能的回答就是：最后两天低了，要搞高问题就从这里开...

本文讲解了从零开始学习Python数据科学的全过程，涵盖各种工具和方法你将会学习到如何使用python做基本的数据分析你还可以了解机器学习算法的原理和使用说明先说一段题外话。我是一名数据工程师，在用SAS做分析超过5年后，决定走出舒适区，寻找其它有效的数据分析工具，很快我发现了Python！我非常喜欢编程，这是我真正喜欢做的事情。事实证明，编程并没有想象中的那么难。我在一周...

在本文中首先介绍SQL是什么，然后重点介绍怎么学SQL，同时又将学SQL分成一方面：学SQL的基础理论方面，另外一方面：学SQL的基础操作方面。在讲解产品经理具体操作方面，讲解了基本SELECT语句操作，基本索引操作和数据建模操作等详实案例，以飨读者！一、SQL是什么？SQL是一种特定目的编程语言，用于管理关系数据库管理系统，或在关系流数据管理系统中进行流处理。SQL基于关系代数和...

一、模型的定义模型与算法在某种程度上指的是一回事，就像日常生活中你问是先有鸡还是先有蛋。模型是使用数学概念和语言来对一个系统的描述。创建模型的过程叫做建模。二、模型的分类模型通常由关系与变量组成。关系可用算符描述，例如代数算符、函数、微分算符等。变量是关注的可量化的系统参数的抽象形式。算符可以与变量相结合发挥作用，也不可以不与变量结合。通常情况下，模型可被分为以下几类：线性与非...

有了世界观，我们可以开始搭建自己的知识大厦了。在搭建知识大厦之前，先需要建立知识的框架，然后才能高效的填充知识。所以今天我们先建立框架。数据分析的三大框架数据科学的框架分为三部分：底层技术框架/数据分析框架/工具选择框架，接下来依次给大家介绍：1. 底层技术框架底层技术框是数据科学的基础设施，我们有所了解就好，处理框架和处理引擎负责对数据系统中的数据进行计算。流处理系统：流处理...

最近很多人跟我讨论物联网和大数据，但他们大都还对这两个技术分类认识不是很清晰。在这里我结合我们的一些案例对这两个概念做一些阐述。物联网是一个完整的概念，不仅包括远端的传感器数据采集、传输、存储和展示，还包括对采集的传感器历史数据的分析，以及基于分析结果所产生的决策、反馈和控制动作。相对于传统的人的认知方式，物联网相当于增强了人的“五官“的识别能力，使人能够获取到原本很多无法直接获取的信息。而基...

Kevin Markham，数据科学讲师，2002 年，毕业于范德堡大学，计算机工程学士，2014 年，创建了 Data School，在线教授 Python 数据科学课程，他的课程主要包括 Pandas、Scikit-learn、Kaggle 竞赛数据科学、机器学习、自然语言处理等内容，迄今为止，浏览量在油管上已经超过 500 万次。Kevin 还是 PyCon 培训讲师，主...

明确定位与工作重心数据产品经理是让数据产生价值（决策、增长、收入）的设计者、实现者和推行者。如何理解这样的定位呢？首先，最基础的是要熟悉数据工具平台与产品业务，其次，要学会逐步建立产品完整的数据指标体系，最后，是能够通过数据分析解读驱动业务发展。具体拆解来看，主要包含：（1）数据层面源数据层：数据源的采集、埋点（客户端访问日志、服务端业务数据库表、sdk等） 数据加工层：...

1、第一阶段（一般岗位叫数据专员）基本学会excel（VBA最好学会；会做透视表；熟练用筛选、排序、公式），做好PPT。这样很多传统公司的数据专员已经可以做了2、第二阶段（数据专员~数据分析师）这一阶段要会SQL，懂业务，加上第一阶段的那些东西。大多数传统公司和互联网小运营、产品团队够用了。3、第三阶段（数据分析师）统计学熟练（回归、假设检验、时间序列、简单蒙特卡罗），可视化，...

前言kmeans是最简单的聚类算法之一，但是运用十分广泛。最近在工作中也经常遇到这个算法。kmeans一般在数据分析前期使用，选取适当的k，将数据分类后，然后分类研究不同聚类下数据的特点。本文记录学习kmeans算法相关的内容，包括算法原理，收敛性，效果评估聚，最后带上R语言的例子，作为备忘。 算法原理kmeans的计算方法如下：1 随机选取k个中心点2 遍历所有数据，...