redis的专栏

从1991年Tim Berners-Lee发明了万维网（World Wide Web）开始，到20年后2011年，互联网真正走向了一个新的里程碑，进入了“大数据时代”。经历了12、13两年热炒之后，人们逐渐冷静下来，更加聚焦于如何利用大数据挖掘潜在的商业价值，如何在企业中实实在在的应用大数据技术。伴随着大数据应用的讨论、创新，个性化技术成为了一个重要落地点。相比传统的线下会员管理、问卷调查、购物篮

跨行业数据挖掘标准流程（CRISP-DM ，cross-industry standard process for datamining） 此数据挖掘过程模型于1999年欧盟机构联合起草。通过近几年的发展,CRISP-DM模型在各种数据挖掘过程模型中占据领先位置,采用量达到近60%。本文简单的介绍了CRISP-DM，参考信息主要源自维基百科及其所注的链接。CRIS-DM模型如下： 主要过程

在行业设备大数据平台建设中，势必要用到大数据技术，而大数据技术中，机器学习与数据挖掘算法是重要的一环，我们通过这些算法与模型对设备的故障进行监控与预测，对设备技改需求进行预测，对设备采购需求进行预测以及创建各种模型与算法设备标签。下面我们对一些常用的算法与模型进行简要介绍。  在进行数据挖掘时，首先要进行商业理解，即我们需要达到什么目的，解决什么问题；其次需要进行数据理解，我们需要哪些数据

配置Spark环境   1） 下载spark：http://spark.apache.org/downloads.html   2） 进入spark-1.6.1-bin-hadoop2.4，为当前目录打开Python Spark Shell:[root@Master spark-1.6.1-bin-hadoop2.4]#./bin/pyspark读取文件，生成RDD格式

一、生成数据表1、首先导入pandas库，一般都会用到numpy库，所以我们先导入备用：1 import numpy as np2 import pandas as pd2、导入CSV或者xlsx文件：1 df = pd.DataFrame(pd.read_csv('name.csv',header=1))2. df = pd.DataFrame(pd.read_excel('nam...