
spark
洛克-李
希望往数据挖掘方向发展。学习更多,使自己越来越强大
展开
-
Spark-TimeSeries使用方法
1.spark里面的库是没有时间序列算法的,但是国外有人已经写好了相应的算法。其github网址是:https://github.com/sryza/spark-timeseries 但基本国内没有太多的资料,所以自己想写一个造福一下后来者。 2.github项目里面的Time-Series Data格式:(1)假如有如下的数据格式:其中timestamp很显然原创 2017-04-24 17:41:28 · 18165 阅读 · 19 评论 -
spark-BigDl:深度学习之神经网络编写
BigDl主要实现了各种深度学习神经网络算法,当然也可以构建简单的神经网络。 一、下载依赖包和初始化系统1.第一步是下载适合本地spark版本的https://github.com/intel-analytics/BigDL/wiki/Downloads2.把上述步骤的解压包在linux上解压后,在spark中初始化,运行其bin/bigdl.sh。运行命令为:原创 2017-06-21 14:32:40 · 2994 阅读 · 0 评论 -
spark-BigDl:深度学习之lenet5
一、lenet模型训练和测试(一)把linux 本地图片转换成sequenceFile,并上传到HDFS上存储。1.相关运行程序为:kingpoint.utils.ImageToSeqFile2.首先把数据上传到linux本地上。数据文件夹格式为:dlDataImage/图片类别/图片名称比如手写识别体,共有十个类别,则分为十个文件夹存储,每个文件夹内存放相应的图片(1)图片类原创 2017-06-21 14:57:54 · 799 阅读 · 0 评论