hxtog的博客

文章目录编译Spark2.4.7并集成hive3.1.2和hadoop3.3.0先上本机运行情况准备工作编译Spark配置Spark配置spark-env.sh配置spark-default.conf启动Spark集成Hive3.1.2修改hive-site.xml复制jar包到hive目录lib文件夹删除spark下orc-core-1.5.5-nohive.jar文件启动Hive on Spark总结 编译Spark2.4.7并集成hive3.1.2和hadoop3.3.0 搭建过程参考网上各种教程,

说明 记一次安装kafka记录, 内容参考: https://www.cnblogs.com/zhaoshizi/p/12154518.html 什么是kafka Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 ------ 来源百度百科 下载kafka2.7.0 下载页面 https://kafka.apache.org/downloads bash

文章目录搭建Hive3.1.2 on Spark2.4.7单机环境先上本机运行情况准备工作安装Spark配置Spark配置spark-env.sh配置spark-default.conf启动Spark集成Hive3.1.2修改hive-site.xml复制jar包到hive安装lib文件夹下删除spark下orc-core-1.5.5-nohive.jar文件启动hive on spark总结 搭建Hive3.1.2 on Spark2.4.7单机环境 搭建过程参考网上各种教程, 现在汇总下具体步骤内容。

大数据学习之路之基于Ubuntu20.04.1 LTS安装 Hadoop3.2.1 大数据学习之路之基于Ubuntu20.04.1 LTS安装 Hadoop3.2.1说明。 环境准备 电脑(虚拟机): Ubuntu20.04.1 LTS, 已安装open-jdk(1.8) Hadoop安装文件: hadoop-3.2.1.tar.gz 下载地址 软件准备 安装ssh-server :~$ sudo apt install openssh-server 检查ssh是否安装成功 :~$ ssh loc

1. Hive UDF编程 继承GenericUDTF类 实现三个方法(initialize, process, 和 close) 结果写入forward方法 2. 需实现的三个方法说明 initialize 方法说明: 用于校验输入参数类型, 指定输出结果类型. 运行: 在单节点运行周期中内执行一次, 且是在最开始执行. 两个initialize比较: StructObjectInspector initialize(StructObjectInspector argOIs) publi

1. Hive UDF编程 继承GenericUDF类 实现三个方法(initialize, evaluate, 和getDisplayString) Description注解 2. 需实现的三个方法说明 initialize 方法说明: 用于校验输入参数类型, 指定输出结果类型. 运行: 在单节点运行周期中内执行一次, 且是在最开始执行. evaluate 方法说明: 处理输入内容生成输出结果. 运行: 在单节点运行周期中内执行多次, 执行次数与数据行数相等. getDisplayStr