叫我满叔叔-优快云博客

原创 Atlas2.1.0兼容CDH6.2.0部署

大数据元数据管理，cdh-atlas

2023-01-29 15:45:32 308

原创基于spark-ml,gbdt scala实现 libsvm训练集和普通训练集

spark-ml,gbdt scla实现普通训练集读取数据val conf = new SparkConf().setAppName("gbdt_ms").setMaster("local[*]")val spark = SparkSession.builder().config(conf).enableHiveSupport().getOrCreate()//读取原始数据val parsedRDD =spark.read.textFile("D:\\gbdt\\testSet.txt")

2020-06-17 09:23:27 715

原创 Idea Maven打包后不能读取resources下的配置文件

问题描述正常情况下，在idea中new FileInputStream("src/main/resources/table.xml")或者new File("src/main/resources/table.xml")程序可以执行，没有任何问题。如果打包后运行java -jar xx.java会报错找不到资源文件要取编译后的路径，而不是你看到的src/main/resources的路径。如下：URL url = MyTest.class.getClassLoader().

2020-06-07 18:08:47 6045

原创 Maven 打包的几种方式，最近遇到坑，总结一下

直接打包，不打包依赖包直接打包，不打包依赖包，仅打包出项目中的代码到JAR包中。在POM中添加如下plugin即可，随后执行maven install将依赖JAR包输出到lib目录方式将项目中的JAR包的依赖包输出到指定的目录下,修改outputDirectory配置，如下面的${project.build.directory}/lib。如想将打包好的JAR包可以通过命令直接运行，如java -jar xx.jar，还需要制定manifest配置的classpathPrefix与上.

2020-06-07 14:48:40 1046

原创 Sparksql 2.x读取hive数表 IDEA scala程序

maven 依赖<dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.11.0</version></dependency><dependency> <groupId>org.apache.spark<

2020-05-14 00:10:19 449

原创 IDEA maven搭建java-scala混合项目，简单快速

创建项目File->New->Project选择Java的版本，只要是1.8以上的就OK然后下一步：下一步Finish 完成对scala目录source一下Modules->选择scala目录->点击SourcesApply->ok选择Libraries添加scala SDK可以选择系统装的scala,也可以选择maven仓库的，但是要注意和自己的spark版本要一致，不然会有冲突...

2020-05-12 22:46:33 835

基于spark-ml,scala实现gbdt 算法，附带libsvm训练集和普通训练集实现

基于spark-ml,scala实现gbdt 算法，附带libsvm训练集和普通训练集实现，GBDT (Gradient Boosting Decision Tree) 梯度提升迭代决策树。GBDT 也是 Boosting 算法的一种，但是和 AdaBoost 算法不同（AdaBoost 算法上一篇文章已经介绍）；区别如下：AdaBoost 算法是利用前一轮的弱学习器的误差来更新样本权重值，然后一轮一轮的迭代；GBDT 也是迭代，但是 GBDT 要求弱学习器必须是 CART 模型，而且 GBDT 在模型训练的时候，是要求模型预测的样本损失尽可能的小。

2020-06-16

java 实现深度学习逻辑demo

java 实现深度学习逻辑demo，一个输入层，一个输出层，单隐层。代码注释详细，神经网络各层节点，神经网络各节点误差，各层节点权重，各层节点权重动量，动量系数，学习系数

2020-06-02

NaiveBayes-java实现朴素贝叶斯算法，多分类附带训练集

2020-06-02

java实现聚类算法，Kmeans

K-means聚类算法是一种迭代求解的聚类分析算法，其步骤是随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是没有（或最小数目）对象被重新分配给不同的聚类，没有（或最小数目）聚类中心再发生变化，误差平方和局部最小。

2020-06-02

java实现协同过滤算法，并附带测试集

基于java实现协同过滤算法，并附带测试集，假设用户喜欢跟他过去喜欢的物品相似的物品，历史上相似的物品在未来也相似，给定用户u，找到他过去喜欢的物品的集合R(u). ，把和R(u)相似的物品推荐给u.

2020-06-02

java 实现逻辑回归，附带训练集，详解回归算法-LR

java 实现逻辑回归，附带训练集，详解回归算法-LR，二分类问题，回归问题，监督学习，因变量y和自变量x的关系，最小化误差平方和

2020-01-07

hadoop 2.2.2 已编译源码

java 关联hadoop源码查看底层实现，mapReduce实现 HDFS实现

2018-03-21

struts页面跳转不成功

2017-04-16

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

原创 Atlas2.1.0兼容CDH6.2.0部署

原创 基于spark-ml,gbdt scala实现 libsvm训练集和普通训练集

原创 Idea Maven打包后不能读取resources下的配置文件

原创 Maven 打包的几种方式，最近遇到坑，总结一下

原创 Sparksql 2.x读取hive数表 IDEA scala程序

原创 IDEA maven搭建java-scala混合项目，简单快速

基于spark-ml,scala实现gbdt 算法，附带libsvm训练集和普通训练集实现

java 实现深度学习逻辑demo

NaiveBayes-java实现朴素贝叶斯算法，多分类附带训练集

java实现聚类算法，Kmeans

java实现协同过滤算法，并附带测试集

java 实现逻辑回归，附带训练集，详解回归算法-LR

hadoop 2.2.2 已编译源码

struts页面跳转不成功

原创基于spark-ml,gbdt scala实现 libsvm训练集和普通训练集