ly_5683的博客

问题描述： 在使用idea调试spark时报错： 原因分析： 在代码中开启了lzo压缩，而在windows本地环境中找不到lzo压缩的配置。 def main(args: Array[String]): Unit = { // 设置执行用户 System.setProperty("HADOOP_USER_NAME", "hive") val conf: SparkConf = new SparkConf() // 使用kryo序列化 ....

1.groupBy 函数签名 def groupBy[K](f: T => K)(implicit kt: ClassTag[K]): RDD[(K, Iterable[T])] 函数说明 将数据根据指定的规则进行分组, 分区默认不变，但是数据会被打乱重新组合，我们将这样的操作称之为shuffle。极限情况下，数据可能被分在同一个分区中 一个组的数据在一个分区中，但是并不是说一个分区中只有一个组 val conf: SparkConf = new SparkConf() .setAppNa

使用API对HDFS上的文件或文件夹权限操作 package com.hondali.permission; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.fs.permission.FsAction; import org.apache.hadoop.fs.permission.FsPermission; import java.io.IOExce

1、获取指定目录下的全部文件及文件夹 /** * 列出 {@param path} 下的文件和文件夹 * * @param fs 文件系统实例 * @param path 路径 * @return 返回一个目录列表 * @throws IOException 对于任何IO错误 */ public static List<String> listFileAndDir(FileSystem fs, Path p

1、下载sqoop wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 2、解压和重命名文件 mkdir /usr/local/sqoop tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/sqoop cd /usr/local/sqoop mv sqoop-1.4.7.bin__ha

一、查看Linux是否有系统自带的snappy库，如果有删除掉自带的snappy库 ① 查看Linux是否有系统自带的snappy库 ll /usr/lib64 | grep snappy ② 删除掉自带的snappy库 yum -y remove snappy 二、安装snappy本地库 ① 下载snappy： wget https://src.fedoraproject.org/repo/pkgs/snappy/snappy-1.1.4.tar.gz/sha512/873f655713611f4

关系运算符 名称 语法 描述 = A=B 等值比较：如果表达式A与表达式B相等，则为TRUE；否则为FALSE <> A <> B 不等值比较：如果表达式A为NULL，或者表达式B为 NULL，返回NULL；如果表达式A与表达式B不相等，则 为TRUE；否则为FALSE < A < B 小于比较：如果表达式A为NULL，或者表达式B为 NULL，返回NULL；如果表达式A小于表达式B，则为 TRUE；否则为FALSE <= A <=

Apache Ambari 2.7.4 + HDP3.1.4 安装版本信息机器配置一、在三台服务器分别修改hosts二、在三台服务器分别修改hostname（需要重启才能生效）三、配置免密四、安装JDK五、HDP下载地址六、安装依赖七、关闭防火墙八、关闭SELinux九、同步时间十、解压安装包到/var/www/html目录下，准备制作本地源十一、开启httpd服务十二、制作本地源十三、检查站点是否做好十四、安装mysql十五、下载mysql驱动包十六、配置本地源repo十七、在hadoop33节点安装am

Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException: 10582 at com.thoughtworks.paranamer.BytecodeReadingParanamer$ClassReader.accept(BytecodeReadingParanamer.java:563) at com.thoughtworks.paranamer.BytecodeReadingParanamer$ClassReader....

目录 一、动态添加节点 1.前提准备 2.系统配置 3.hadoop动态添加节点 二、动态删除节点 1.动态删除DataNode节点与NodeManager节点 2.动态删除DataNode节点与NodeManager节点的另一种方式 一、动态添加节点 1.前提准备 假设之前有三台服务器来安装Hadoop 192.168.0.102 hadoop102 192.168.0.103 hadoop103 192.168.0.104 hadoop104 现在增加一台机器 192...

Hadoop3.1.3下成功安装后，进行MapReduce操作出现错误： 错误: 找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster 解决办法： ① 在命令行下输入如下命令，并将返回的地址复制。 $ hadoop classpath /usr/local/hadoop/hadoop-3.1.3/etc/hadoop:/usr/local/hadoop/hadoop-3.1.3//share/hadoop/common/lib/*:/usr/loc

hadoop配置完成后，格式化时报错，错误信息如下： 2020-05-14 10:48:55,410 ERROR namenode.NameNode: Failed to start namenode. java.lang.IllegalArgumentException: No class configured for qournal at org.apache.hadoop.hdfs.server.namenode.FSEditLog.getJournalClass(FSEditLog.java:

Hadoop 压缩支持检查命令： hadoop checknative

假设以三台服务器来安装Hadoop IP hostname 192.168.0.102 hadoop102 192.168.0.103 hadoop103 192.168.0.104 hadoop104 组件版本 组件 版本 Java 1.8 zookeeper 3....