
数据流处理
IT_NEU_Lee
大数据开发 深度学习 机器学习 数据挖掘 Java开发 Python程序设计 软件测试开发
展开
-
StreamDM中sbt生成jar包的错误(sbt package命令)
为了处理数据流 ,我使用了华为公司的开源项目StreamDM,在GETTING START中准备运行一个例子 运行上述命令的过程出现错误 经过查找上述命令的目的是为了生成一个相关的jar包,运行命令后,报错sbt没有安装,那么现在就是安装sbt的问题了,经查找:sbt是类似ANT、MAVEN的构建工具,全称为Simple build tool,是Scala事实上的标准构建工具 网上很多教...原创 2018-04-09 11:08:43 · 893 阅读 · 1 评论 -
StreamDM中运行.spark.sh 中关于ArrayIndexOutOfBoundsException错误的解决
这篇博客是对于我的上一个博客的一个补充与问题的解决:原链接如下:https://blog.youkuaiyun.com/it_neu_lee/article/details/79878753运行StreamDM中的quick start中的下列命令后会出现数组越界问题:问题截图如下:经过查找,推断可能是因为StreamDM默认使用了SGDLearner算法,即调用了.spark.sh 后,会默认运行SGDLe...原创 2018-04-15 12:51:39 · 1520 阅读 · 2 评论 -
使用StreamDM的使用Hoffeding算法
./spark.sh "EvaluatePrequential -l trees.HoeffdingTree -s (FileReader -k 100 -d 60 -f ../data/hyperplanesampledata)" 1> ../result 2>../log 这里和SGDLearner中有不同的是调用Hoeffding时候需要在前面加trees 因为Hoeffd...原创 2018-04-15 13:27:26 · 571 阅读 · 0 评论 -
StreamDM的使用总汇
我在这里把所有的之前的关于StreamDM博客总归起来,构成一个完整的运行StreamDM的完整博客根据如下链接,可以完整的实现StreamDM中的Quick Start中的代码:https://blog.youkuaiyun.com/it_neu_lee/article/details/79863310https://blog.youkuaiyun.com/it_neu_lee/article/details/7987...原创 2018-04-15 13:32:46 · 443 阅读 · 1 评论 -
streamDM中关于运行实例的一些问题解决
这张图是从StreamDM官网上截取的Quick Start 里面的图 这个命令在实验的过程中可以直接跳过 运行后会报错 :一直报错 ArrayIndexOutOfBoundsException错误 目前未得到解决 下面是错误的截图但不影响后面程序的运行下面运行学习器这个是StreamDM提供的第二条命令 这条命令需要修改 因为没有mydata数据 SGDLearner可能不适...转载 2018-04-10 11:55:32 · 360 阅读 · 0 评论 -
StreamDM运行Bagging
bash ./spark.sh "EvaluatePrequential -l meta.Bagging -s (FileReader -k 100 -d 60 -f ../data/electNormNew.arff)" 1> ../result 2>../log注意这个Bagging在meta目录下 所以需要加上meta原创 2018-04-26 20:29:28 · 232 阅读 · 0 评论