菜鸟VS大神的博客

创建拉链表 1.1、拉链表中一般应该包括：创建时间、操作时间、有效开始日期、有效结束日期四个字段。拉链表用来反映业务变化过程，用来解决hive中数据不能更新的问题。 drop table if exists dwd_order_info_his; create external table dwd_order_info_his( `id` string COMMENT '订单编号', `total_amount` decimal(10,2) COMMENT '订单金额', `o

一、行转列 1.1、行转列需要用到的函数 CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串。 例如： concat( aa, ‘:’, bb) 就相当于把aa列和bb列用冒号连接起来了，aa:bb。 CONCAT_WS(separator, str1, str2,…)：CONCAT_WS() 代表 CONCAT With Separator ，是CONCAT()的特殊形式。第一个参数是其它参数的分隔符。分隔符的位置放在要连接的两

package com.dt.spark.cores.java.HiveDataMode; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache....

今天练习程序发现一直报java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT错误，查下百度说是依赖包冲突，改后没见到效果，最终发现是程序中没有依赖Hive,却在程序中初始化时配置了，因此删除Hive配置就可以了。 ...

参考自：https://www.cnblogs.com/lingluo2017/p/8711073.html contos7集群： 192.168.124.104 master 192.168.124.105 slave1 192.168.124.106 slave2 1.安装wget: yum -y install wget 2.安装mysql: [root@localho...

（一)机器学习分类描述： 监督式学习： * * 在监督式学习下，输入数据被称为“训练数据”，每组训练数据有一个明确的标识或结果， * 如对防垃圾邮件系统中“垃圾邮件”“非垃圾邮件”，对手写数字识别中的“1“，”2“，”3“，”4“等。在建立预测模型的时候， * 监督式学习建立一个学习过程，将预测结果与“训练数据”的实际结果进行比较，不断的调整预测模型， * 直到模型的预测结果达到一个预期的准确...