<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[ly_5683的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/ly_5683</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; ly_5683]]></copyright><item><title><![CDATA[idea调试Spark程序时报错：Could not load native gpl library]]></title><link>https://blog.youkuaiyun.com/ly_5683/article/details/122011852</link><guid>https://blog.youkuaiyun.com/ly_5683/article/details/122011852</guid><author>ly_5683</author><pubDate>Sat, 18 Dec 2021 14:44:00 +0800</pubDate><description><![CDATA[问题描述：

在使用idea调试spark时报错：




原因分析：

在代码中开启了lzo压缩，而在windows本地环境中找不到lzo压缩的配置。


def main(args: Array[String]): Unit = {
    // 设置执行用户
    System.setProperty("HADOOP_USER_NAME", "hive")

    val conf: SparkConf = new SparkConf()
      // 使用kryo序列化
      ....]]></description><category></category></item><item><title><![CDATA[Spark的12种WordCount]]></title><link>https://blog.youkuaiyun.com/ly_5683/article/details/108600232</link><guid>https://blog.youkuaiyun.com/ly_5683/article/details/108600232</guid><author>ly_5683</author><pubDate>Tue, 15 Sep 2020 15:56:04 +0800</pubDate><description><![CDATA[1.groupBy

函数签名

def groupBy[K](f: T =&gt; K)(implicit kt: ClassTag[K]): RDD[(K, Iterable[T])]


函数说明

将数据根据指定的规则进行分组, 分区默认不变，但是数据会被打乱重新组合，我们将这样的操作称之为shuffle。极限情况下，数据可能被分在同一个分区中
一个组的数据在一个分区中，但是并不是说一个分区中只有一个组
val conf: SparkConf = new SparkConf()
	.setAppNa]]></description><category></category></item><item><title><![CDATA[对HDFS上的文件或文件夹权限操作]]></title><link>https://blog.youkuaiyun.com/ly_5683/article/details/107336797</link><guid>https://blog.youkuaiyun.com/ly_5683/article/details/107336797</guid><author>ly_5683</author><pubDate>Tue, 14 Jul 2020 14:43:16 +0800</pubDate><description><![CDATA[使用API对HDFS上的文件或文件夹权限操作
package com.hondali.permission;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.fs.permission.FsAction;
import org.apache.hadoop.fs.permission.FsPermission;

import java.io.IOExce]]></description><category></category></item><item><title><![CDATA[Hadoop之hdfs 的api操作]]></title><link>https://blog.youkuaiyun.com/ly_5683/article/details/107324955</link><guid>https://blog.youkuaiyun.com/ly_5683/article/details/107324955</guid><author>ly_5683</author><pubDate>Mon, 13 Jul 2020 21:21:05 +0800</pubDate><description><![CDATA[1、获取指定目录下的全部文件及文件夹
    /**
     * 列出 {@param path} 下的文件和文件夹
     *
     * @param fs   文件系统实例
     * @param path 路径
     * @return 返回一个目录列表
     * @throws IOException 对于任何IO错误
     */
    public static List&lt;String&gt; listFileAndDir(FileSystem fs, Path p]]></description><category></category></item><item><title><![CDATA[解决windows10中文家庭版远程连接时出现身份验证错误]]></title><link>https://blog.youkuaiyun.com/ly_5683/article/details/107206663</link><guid>https://blog.youkuaiyun.com/ly_5683/article/details/107206663</guid><author>ly_5683</author><pubDate>Wed, 08 Jul 2020 15:36:19 +0800</pubDate><description><![CDATA[错误提示：

解决办法：

Win + R，输入 regedit ，点击确定，打开注册表编辑器；

找到路径：HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System\CredSSP\Parameters
注：由于家庭版没有后两项，这里需要手动建立，右键左侧目录System，选择“新建——项”，输入文件夹名

在Parameters 里 新建 DWORD（32位），名称为："AllowEncryptionOrac]]></description><category></category></item><item><title><![CDATA[CentOS7安装sqoop-1.4.7]]></title><link>https://blog.youkuaiyun.com/ly_5683/article/details/107009811</link><guid>https://blog.youkuaiyun.com/ly_5683/article/details/107009811</guid><author>ly_5683</author><pubDate>Sun, 28 Jun 2020 23:02:35 +0800</pubDate><description><![CDATA[1、下载sqoop


wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

2、解压和重命名文件


mkdir /usr/local/sqoop
tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/sqoop
cd /usr/local/sqoop
mv sqoop-1.4.7.bin__ha]]></description><category></category></item><item><title><![CDATA[Hadoop3.1.3 + Hbase2.1.7 设置Snappy压缩算法]]></title><link>https://blog.youkuaiyun.com/ly_5683/article/details/106985506</link><guid>https://blog.youkuaiyun.com/ly_5683/article/details/106985506</guid><author>ly_5683</author><pubDate>Sat, 27 Jun 2020 20:10:46 +0800</pubDate><description><![CDATA[一、查看Linux是否有系统自带的snappy库，如果有删除掉自带的snappy库
① 查看Linux是否有系统自带的snappy库
ll /usr/lib64 | grep snappy


② 删除掉自带的snappy库
yum -y remove snappy 

二、安装snappy本地库
① 下载snappy：
wget https://src.fedoraproject.org/repo/pkgs/snappy/snappy-1.1.4.tar.gz/sha512/873f655713611f4]]></description><category></category></item><item><title><![CDATA[Hive内置函数]]></title><link>https://blog.youkuaiyun.com/ly_5683/article/details/106837448</link><guid>https://blog.youkuaiyun.com/ly_5683/article/details/106837448</guid><author>ly_5683</author><pubDate>Thu, 18 Jun 2020 16:20:19 +0800</pubDate><description><![CDATA[关系运算符




名称
语法
描述




=
A=B
等值比较：如果表达式A与表达式B相等，则为TRUE；否则为FALSE


&lt;&gt;
A &lt;&gt; B
不等值比较：如果表达式A为NULL，或者表达式B为 NULL，返回NULL；如果表达式A与表达式B不相等，则 为TRUE；否则为FALSE


&lt;
A &lt; B
小于比较：如果表达式A为NULL，或者表达式B为 NULL，返回NULL；如果表达式A小于表达式B，则为 TRUE；否则为FALSE


&lt;=
A &lt;=]]></description><category></category></item><item><title><![CDATA[Apache Ambari 2.7.4 + HDP3.1.4 安装]]></title><link>https://blog.youkuaiyun.com/ly_5683/article/details/106636548</link><guid>https://blog.youkuaiyun.com/ly_5683/article/details/106636548</guid><author>ly_5683</author><pubDate>Tue, 09 Jun 2020 10:59:25 +0800</pubDate><description><![CDATA[Apache Ambari 2.7.4 + HDP3.1.4 安装版本信息机器配置一、在三台服务器分别修改hosts二、在三台服务器分别修改hostname（需要重启才能生效）三、配置免密四、安装JDK五、HDP下载地址六、安装依赖七、关闭防火墙八、关闭SELinux九、同步时间十、解压安装包到/var/www/html目录下，准备制作本地源十一、开启httpd服务十二、制作本地源十三、检查站点是否做好十四、安装mysql十五、下载mysql驱动包十六、配置本地源repo十七、在hadoop33节点安装am]]></description><category></category></item><item><title><![CDATA[spark报数据越界异常:10582]]></title><link>https://blog.youkuaiyun.com/ly_5683/article/details/106192015</link><guid>https://blog.youkuaiyun.com/ly_5683/article/details/106192015</guid><author>ly_5683</author><pubDate>Mon, 18 May 2020 14:24:50 +0800</pubDate><description><![CDATA[Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException: 10582
	at com.thoughtworks.paranamer.BytecodeReadingParanamer$ClassReader.accept(BytecodeReadingParanamer.java:563)
	at com.thoughtworks.paranamer.BytecodeReadingParanamer$ClassReader....]]></description><category></category></item><item><title><![CDATA[hadoop动态添加和动态删除节点]]></title><link>https://blog.youkuaiyun.com/ly_5683/article/details/106144912</link><guid>https://blog.youkuaiyun.com/ly_5683/article/details/106144912</guid><author>ly_5683</author><pubDate>Fri, 15 May 2020 17:19:18 +0800</pubDate><description><![CDATA[目录

一、动态添加节点

1.前提准备

2.系统配置

3.hadoop动态添加节点

二、动态删除节点

1.动态删除DataNode节点与NodeManager节点

2.动态删除DataNode节点与NodeManager节点的另一种方式

一、动态添加节点

1.前提准备

假设之前有三台服务器来安装Hadoop


192.168.0.102 hadoop102
192.168.0.103 hadoop103
192.168.0.104 hadoop104

现在增加一台机器


192...]]></description><category></category></item><item><title><![CDATA[CentOS7安装mysql后无法启动服务，提示Unit not found]]></title><link>https://blog.youkuaiyun.com/ly_5683/article/details/106125723</link><guid>https://blog.youkuaiyun.com/ly_5683/article/details/106125723</guid><author>ly_5683</author><pubDate>Thu, 14 May 2020 18:15:48 +0800</pubDate><description><![CDATA[1、最近在centos7上面的MySQL挂掉后，无法启动，报如下错误：


Failed to start mysql.server.service: Unit not found.

2、解决办法一：使用MariaDB代替mysql数据库（MariaDB数据库管理系统是MySQL的一个分支，主要由开源社区在维护，采用GPL授权许可。开发这个分支的原因之一是：甲骨文公司收购了MySQL后，有将MySQL闭源的潜在风险，因此社区采用分支的方式来避开这个风险。）


yum install mariadb...]]></description><category></category></item><item><title><![CDATA[linux的su命令鉴定故障]]></title><link>https://blog.youkuaiyun.com/ly_5683/article/details/106123627</link><guid>https://blog.youkuaiyun.com/ly_5683/article/details/106123627</guid><author>ly_5683</author><pubDate>Thu, 14 May 2020 16:58:51 +0800</pubDate><description><![CDATA[前几天不知道服务器什么原因出现了使用普通用户进入root的时候，使用''su -''，出现鉴定故障

解决办法：

从普通用户进入root用户：


sudo su root

修改root的密码：


passwd root

或者

在普通用户直接使用命令：


sudo passwd root


...]]></description><category></category></item><item><title><![CDATA[hadoop3.1.3下MapReduce操作出现错误: 找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster 问题解决方法]]></title><link>https://blog.youkuaiyun.com/ly_5683/article/details/106123335</link><guid>https://blog.youkuaiyun.com/ly_5683/article/details/106123335</guid><author>ly_5683</author><pubDate>Thu, 14 May 2020 16:50:29 +0800</pubDate><description><![CDATA[Hadoop3.1.3下成功安装后，进行MapReduce操作出现错误：
错误: 找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster
解决办法：
① 在命令行下输入如下命令，并将返回的地址复制。
$ hadoop classpath
/usr/local/hadoop/hadoop-3.1.3/etc/hadoop:/usr/local/hadoop/hadoop-3.1.3//share/hadoop/common/lib/*:/usr/loc]]></description><category></category></item><item><title><![CDATA[Hadoop 格式化时报错 java.lang.IllegalArgumentException: No class configured for qournal]]></title><link>https://blog.youkuaiyun.com/ly_5683/article/details/106122333</link><guid>https://blog.youkuaiyun.com/ly_5683/article/details/106122333</guid><author>ly_5683</author><pubDate>Thu, 14 May 2020 16:19:27 +0800</pubDate><description><![CDATA[hadoop配置完成后，格式化时报错，错误信息如下：

2020-05-14 10:48:55,410 ERROR namenode.NameNode: Failed to start namenode.

java.lang.IllegalArgumentException: No class configured for qournal

at org.apache.hadoop.hdfs.server.namenode.FSEditLog.getJournalClass(FSEditLog.java:]]></description><category></category></item><item><title><![CDATA[Hadoop 压缩支持检查命令]]></title><link>https://blog.youkuaiyun.com/ly_5683/article/details/106122088</link><guid>https://blog.youkuaiyun.com/ly_5683/article/details/106122088</guid><author>ly_5683</author><pubDate>Thu, 14 May 2020 16:08:12 +0800</pubDate><description><![CDATA[Hadoop 压缩支持检查命令：

hadoop checknative


]]></description><category></category></item><item><title><![CDATA[AnyDesk on macOS 遇见连接不上的问题]]></title><link>https://blog.youkuaiyun.com/ly_5683/article/details/104774085</link><guid>https://blog.youkuaiyun.com/ly_5683/article/details/104774085</guid><author>ly_5683</author><pubDate>Tue, 10 Mar 2020 14:50:37 +0800</pubDate><description><![CDATA[今天办公时需要远程连接一台mac，使用的远程工具就是AnyDesk，连了好久就是连不上，我这边一直出现连接结束的问题：
官方文档：https://support.anydesk.com/AnyDesk_on_macOS

mac这边显示（macOS Catalina的要求）

从macOS Catalina开始，AnyDesk需要控制和记录的权限。在AnyDesk的主窗口AnyDesk- ID/A...]]></description><category></category></item><item><title><![CDATA[Windows 安装软件时遇见 1152: Error extracting files to the temporary location]]></title><link>https://blog.youkuaiyun.com/ly_5683/article/details/104031554</link><guid>https://blog.youkuaiyun.com/ly_5683/article/details/104031554</guid><author>ly_5683</author><pubDate>Sat, 18 Jan 2020 17:03:25 +0800</pubDate><description><![CDATA[今天在安装软件时遇到了 1152: Error extracting files to the temporary location 的错误。百度上没有太多相关的方法，解决问题后整理一下解决问题的方法。希望对遇到相同问题的朋友有所帮助。

如果从以前失败的安装中提取出一些“坏的”临时文件，则通常会发生将文件提取到临时位置的错误。清理那个文件夹，然后再试一次才是正确的方法。这意味着如果你将一个文件一...]]></description><category></category></item><item><title><![CDATA[CentOS7下yum的卸载与安装]]></title><link>https://blog.youkuaiyun.com/ly_5683/article/details/103877627</link><guid>https://blog.youkuaiyun.com/ly_5683/article/details/103877627</guid><author>ly_5683</author><pubDate>Tue, 07 Jan 2020 17:01:27 +0800</pubDate><description><![CDATA[卸载
查询原有的yum
[root@localhost~]# rpm -qa |grep yum
yum-plugin-fastestmirror-1.1.31-45.el7.noarch
yum-metadata-parser-1.1.4-10.el7.x86_64
yum-3.4.3-158.el7.centos.noarch

卸载原有的yum
[root@localhost ~]# rpm...]]></description><category></category></item><item><title><![CDATA[Hadoop HA 分布式安装]]></title><link>https://blog.youkuaiyun.com/ly_5683/article/details/103811814</link><guid>https://blog.youkuaiyun.com/ly_5683/article/details/103811814</guid><author>ly_5683</author><pubDate>Thu, 02 Jan 2020 22:47:09 +0800</pubDate><description><![CDATA[假设以三台服务器来安装Hadoop

IP
			hostname
		192.168.0.102
			
			hadoop102
			
		192.168.0.103
			hadoop103
		192.168.0.104
			
			hadoop104
			
		









组件版本

组件
			版本
		Java
			1.8
		zookeeper
			3....]]></description><category></category></item></channel></rss>