- 博客(6)
- 收藏
- 关注
RSS订阅原创 Hive学习笔记【全】
Hive学习之路文章目录Hive学习之路一、Hive简介1、Hive是什么二、使用步骤1.引入库2.读入数据总结一、Hive简介1、Hive是什么Hive由Facebook实现并开源，提供HQL（Hive SQL）查询功能，是一个基于Hadoop的数据仓库基础工具，使不熟悉 MapReduce 的用户能够利用 HQL 处理和计算 HDFS 上的结构化的数据。Hive只适用于离线的批量数据计算。【本质】Hive依赖于HDFS存储数据，处理的底层数据存储在HDFS，将结构化数据映射为一张数据
2022-04-04 17:32:12
1149
原创 Hadoop常见错误【持续更新】
Hadoop常见错误【持续更新】一、搭建分布式问题二、mapreduce问题【错误1】....Error file: prelaunch.err.【错误2】.....job.splitmetainfo not exists....【错误3】打包jar时出现WARNNING一、搭建分布式问题二、mapreduce问题【错误1】…Error file: prelaunch.err.【解决】$vim yarn-site.xml#添加如下"""#务必所有规划为resourcemanager都添加该配
2021-05-10 23:18:07
518
原创 Linux常见错误解决【持续更新】
Linux常见错误解决【持续更新】【问题1】、VMWare虚拟机提示：另一个程序已锁定文件的一部分，打不开磁盘…模块"Disk"启动失败的解决办法。【原因】这是因为虚拟机在运行的时候，会锁定文件，防止被修改，而如果系统突然崩溃了，虚拟机就来不急把已经锁定的文件解锁，所以你在启动的时候，就会提示无法锁定文件。【解决】找到你安装这台虚拟机的位置（如果你不记得安装位置在哪，可根据报错提示的路径找到安装位置），进入安装虚拟机位置后 在搜索栏搜索 *.lck ，把搜索到以 .lck结尾的文件全部删除。V
2021-05-02 15:40:22
235
原创 hadoop配置文件及分布式搭建
Hadoop分布式搭建一、配置文件说明1、所有配置文件文件名格式描述hadoop-env.shBash脚本脚本中要用到的环境变量，以运行Hadoopmapred-env.shBash脚本脚本中要用到的环境变量，以运行MapReduce（覆盖hadoop-env.sh中设置的变量）yarn-env.shBash脚本脚本中要用到的环境变量，以运行YARN（覆盖hadoop-env.sh中设置的变量）core-site.xmlHadoop配置XMLHa
2021-04-30 17:40:57
561
原创 Hadoop源码编译及常见报错【持续更新】
Hadoop源码编译常见报错【持续更新，若有其他解决问题，也可留言，会持续修改】以下列配置为例：只针对于linux安装版本：hadoop3.2.2虚拟机：CentOS-8仔细阅读源码安装说明-BUILDING.txt（务必安装完全），各个版本的hadoop源码文档略有不同，大致思路是一致的，请根据自己的源码文档进行安装!!!一、requirementRequirements:* Unix System* JDK 1.8* Maven 3.3 or later* ProtocolBu
2021-04-29 14:37:04
2021
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人