manbufenglin的专栏

public static void run(String[] args) { SparkSession sparkSession = null; Dataset<RowDataRecord> dsTemp = null; try { sparkSession = SparkSession .builder() .appName("JavaN.

在进行hive sql查询map字段值时报错:NoViableAltException(314@[225:12: ( KW_OVER ws= window_specification )?]) 仔细分析报错原因后再检查sql发现，sql中使用了关键字values,修改字段别名vals或使用上撇号引起来即可解决。hive (sparktest)> select name,size(family) size,family['father'] father,family['sister'] .

今天搭建Hbase集群过程中，在页面http://hadoop01:16010/zk.jsp发现zk 通讯统计节（Quorum Server Statistics）存在提示stat is not executed because it is not in the whitelist.解决思路：[root@hadoop01 bigdata]# echo conf|nc hadoop01 2181conf is not executed because it is not in the whit..

Hbase与JDK兼容问题：Hadoop 与 Hbase 版本兼容问题：打对号的 兼容。http://hbase.apache.org/book.html#replication Hadoop Pre-2.6.1 and JDK 1.8 Kerberos When using pre-2.6.1 Hadoop versions and JDK 1.8 in a Kerberos environment, HBase server can fail and ...

需求： 项目采用springboot开发，用于实现历史数据的统计分析及算法计算，通过spark-yarn运行跑出结果。环境：JDK：1.8操作系统：centos 7.6大数据架构：Hadoop -Yarn-HA；spark 、hive 集群模型项目预期效果：./spark-submit --master yarn-client --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_..

spark在进行两个dataFrame join时，关联条件为多列时，我们可以这样做：JAVA：Dataset<Row> resultTemp = user_prefer_ds4 //字段列进行关联时,左连接，关联字段（userId==myUserId && itemId==myItemId） ....

现在记录其中一种实现方式：Map<String, String> item_id2title_map = item_conf_df.select("movieId", "title").collectAsList().stream() .collect(Collectors.toMap(row -> row.get(0).toString()...

XGBoost参数在运行XGboost之前，必须设置三种类型成熟：general parameters，booster parameters和task parameters：General parameters：参数控制在提升（boosting）过程中使用哪种booster，常用的booster有树模型（tree）和线性模型（linear model）。 Booster paramete...

本文介绍springboot下 spark2 操作es6.1、环境springboot 2.1.3.RELEASEes: elasticsearch 6.4.3spark : 2.4.3scala: 2.11.12本人MAC本相关环境变量配置如下：JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_152.jdk...

一份Centos7.6 搭建elasticsearch6.4.3 docker脚本：1、docker脚本docker run -itd --name bigdataES \ --restart=always \ --net=host \ -e "discovery.type=single-node" \ -p 9202:9200 \ -p 9300:9300 \ --ul...

[root@c167 conf]# hivewhich: no hbase in (/bin:/usr/bin:/usr/local/rvm/gems/ruby-2.3.8/bin:/usr/local/rvm/gems/ruby-2.3.8@global/bin:/usr/local/rvm/rubies/ruby-2.3.8/bin:/usr/local/sbin:/usr/local/b...