小谷的博客

hdfs一次一直处于安全模式检查与修复查找问题思考排查处理进入cm界面发现两个服务出现了异常查找问题二话不说，重启本地的服务哈，如果是线上的请跳过…反馈结果：问题依旧查看相关信息吧我们知道hive依赖hdfs，所以hive的问题有可能是hdfs导致两条信息HDFS Canary这个要读写hdfs验证hdfs的可用性。NameNode 当前处于 safe mode。所以是第二个问题导致的前面的验证不通过。所以我们需要排查一下namenode的sofemode命令行查询一下h

解决spark-shell启动，hdfs权限问题环境问题尝试创建创建文件夹环境cdh6.3.2问题在启动spark-shell的时候，出现 /user/spark/driverLogs does not exist. Please create this dir in order to persist driver logs错误虽然后面正常启动了，但是心中还是觉得创建一下这个日志路径比较好尝试创建hadoop dfs -mkdir -p /user/spark/driverLogs可

dbeaver连接hive首先搭建好hive环境，启动hive的metastore和hiveserver2启动服务本地连接测试服务可用性说明服务可用设置连接驱动，移除到之前默认的（很大可能性下载失败），添加hive-jdbc-1.2.2-standalone.jar和hadoop-common-2.9.0.jar包点击测试连接...

windows下安装hadoop背景环境搭建安装jdk安装Hadoop安装window下编译必须库文件启动Hadoop集群初始化namenode启动HadoopwebUI验证运行wc来进行测试遇见问题背景原本使用虚拟机搭建集群，后来因为某些原因，不能使用虚拟机。然后想在一台配置还行的云主机上搭建一下。结果遇见了小坑，希望能给小伙伴搭建的时候提供一些想法。环境windows 2019hadoop 2.9.0jdk 1.8搭建安装jdk必须依赖jdk,如果已经安装好以及配置好环境变量请跳过

大数据面试之Spark SQL1.Spark SQL1.1 Spark SQL连接MySql1.2 Spark读取Hive数据1.3 DataFrame 和 RDD 之间的转换？1.4 Spark读取HBase数据1.5 Spark写入HBase数据说明，感谢亮哥长期对我的帮助，此处多篇文章均为亮哥带我整理。以及参考诸多博主的文章。如果侵权，请及时指出，我会立马停止该行为；如有不足之处，还请大佬不吝指教，以期共同进步。1.Spark SQL1.1 Spark SQL连接MySqlval conf =

大数据面试之Spark1.Spark1.0 Spark架构1.1 Spark的Shuffle过程？与Hadoop的Shuffle过程对比1.2 Spark中reduceBykey和groupBykey的区别1.3 Spark中和repartition相似的算子？优缺点1.4 Spark的调优1.5 Spark中数据倾斜处理1.6 Spark的多种提交方式？python提交方式？1.7 Spark广播变量和累加器的使用1.8 Spark 3.X 新特性说明，感谢亮哥长期对我的帮助，此处多篇文章均为亮哥带我整

大数据面试之Hive1.Hive1.1 Hive的架构模型？1.2 Hive配置、启动和访问？1.3 hive中存放的是什么？1.5 Hive建表语句1.6 Hive内部表，外部表的区别1.7 Hive如何导入数据？1.8 Hive如何导出数据？1.9 Hive的数据倾斜1.10 Hive分区、分桶如何实现？优缺点1.11 请说明hive中Sort By、Order By、Cluster By，Distribute By各代表什么意思说明，感谢亮哥长期对我的帮助，此处多篇文章均为亮哥带我整理。以及参考诸多

大数据面试之Yarn1.Yarn1.1 Yarn 是什么？1.2 YARN的基本架构1.3 MapReduce on YARN1.4 Yarn工作流程1.5 Spark on YARN说明，感谢亮哥长期对我的帮助，此处多篇文章均为亮哥带我整理。以及参考诸多博主的文章。如果侵权，请及时指出，我会立马停止该行为；如有不足之处，还请大佬不吝指教，以期共同进步。1.Yarn1.1 Yarn 是什么？YARN是Hadoop2.0版本新引入的资源管理系统，直接从MR1演化而来。 核心思想：将MP1中JobT

大数据面试之Hadoop1.Hadoop1.1 架构模型1.1.1 1.x的版本架构模型1.1.2 2.x的版本架构模型1.2 有哪些角色？每个角色的功能？1.3 Hadoop的shuffle过程1.4 Hadoop调优1.5 combiner和partition的作用1.6 Hadoop 3.X 新特性说明，感谢亮哥长期对我的帮助，此处多篇文章均为亮哥带我整理。以及参考诸多博主的文章。如果侵权，请及时指出，我会立马停止该行为；如有不足之处，还请大佬不吝指教，以期共同进步。1.Hadoop1.1 架构

Hadoop之HDFS1.Hdfs1.1 Hdfs的数据上传和读取过程1.1.1 hdfs写文件的步骤1.1.2 hdfs读文件的步骤1.2 JAVA如何读取HDFS1.3 HDFS上NameNode的fsimage和edits文件说明，感谢亮哥长期对我的帮助，此处多篇文章均为亮哥带我整理。以及参考诸多博主的文章。如果侵权，请及时指出，我会立马停止该行为；如有不足之处，还请大佬不吝指教，以期共同进步。1.Hdfs1.1 Hdfs的数据上传和读取过程1.1.1 hdfs写文件的步骤(1) 与name

Flume采集本地文件到hdfs介绍配置文件启动agent遇见的问题介绍Flume是一个数据采集工具，可以很方便的将多种数据采集到Hadoop生态系统中。安装十分便捷只需要下载解压到要采集的机器即可，重点是需要对flume的三大组件（source，channel，sink）的配置。注：盗张官方的图????官方链接：Flume官方说明配置文件内容如下：#定义三大组件的名称,myagent...

Hive分区表alter字段类型字段解析没有改变问题描述三种方式处理过程问题描述今天在创建hive分区表的时候，有一个字段类型创建错误，本来应该是string，但是一不小心创建了int类型，然后经过alter修改修改字段类型后，查询的时候，发现字段仍然不能正常显示。下面，对问题的处理过程进行一个详细的描述和介绍。三种方式表或者分区删除重新创建(数据无价，注意数据)在alter中指定分区...

Hive完整建表语句完整建表语句完整建表语句CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later) [(col_name data_type [COMMENT col_comment]...

hive安装配置介绍Hadoop环境mysql环境准备安装hivehive配置hive-site.xml配置mysql驱动复制环境变量添加启动hive遇见问题介绍hive是在Hadoop中非常重要的角色。hive在1.2.0之前可以将编写的SQL翻译为MapReduce程序，在2.0版本后将程序翻译为Spark程序。安装前提Hadoop环境（hive不存储实际的业务数据，数据存储在HDFS...

MapReduce之WC说明Mapperreducejob运行结果说明wc作为hadoop中经典的程序，是入门必须理解的程序之一。话不多说，直接见源码Mapperpackage com.gugu.mr.wc;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import ...

Hadoop安装序操作系统环境准备时钟同步（root账户）配置主机名关闭防火墙（所有节点）修改网络（所有节点）修改固定IP配置JDK免秘钥登录Hadoop环境配置（先配置好一个，然后将配置好的包拷贝到其他节点）序  一直在学习hadoop，但是一直认为自己太渣，所以没有记录博客，但是最近在学习过程中有一些问题还是需要记录一下。所以不管写的是不是合格，就just do it。...