在hadoop和sqoop和hive中集成LZO步骤

目录

1.在hadoop中集成步骤

 1.将lzo的jar包添加到hadoop平台的以下目录中：

2.修改hadoop的核心配置文件，如果是集群则需要修改每一台服务器中的配置

  1.关闭hadoop平台：

2. 打开核心配置文件

3.在里面添加以下内容：

4.  重启hadoop平台

2.在hive中集成LZO

1.打开hive的配置文件

2.  添加以下内容

3.sqoop中集成LZO

1. 直接将lzojar包添加到sqoop安装目录下面的lib文件夹中。

---

1.在hadoop中集成步骤

 1.将lzo的jar包添加到hadoop平台的以下目录中：

注意：如果使用的是hadoop 分布式集群，则需要在每一台服务器中添加该jar包

/root/bigdata/hadoop-2.7.7/share/hadoop/common/

2.修改hadoop的核心配置文件，如果是集群则需要修改每一台服务器中的配置

  1.关闭hadoop平台：

[root@master1 ~]# stop-all.sh

2. 打开核心配置文件

[root@master1 ~]# vi bigdata/hadoop-2.7.7/etc/hadoop/core-site.xml

3.在里面添加以下内容：

（注意添加的位置：在configuration里面）

<property>

<name>io.compression.codecs</name>

<value>

org.apache.hadoop.io.compress.GzipCodec,

org.apache.hadoop.io.compress.DefaultCodec,

org.apache.hadoop.io.compress.BZip2Codec,

org.apache.hadoop.io.compress.SnappyCodec,

com.hadoop.compression.lzo.LzoCodec,

com.hadoop.compression.lzo.LzopCodec

</value>

</property>

<property>

<name>io.compression.codec.lzo.class</name>

<value>com.hadoop.compression.lzo.LzoCodec</value>

</property>

4.  重启hadoop平台

[root@master1 ~]# start-all.sh

2.在hive中集成LZO

1.打开hive的配置文件

[root@master1 ~]# vi bigdata/hive2.3.3/conf/hive-site.xml

2.  添加以下内容

（注意添加的位置：在configuration里面）

<!-- 设置hive语句执行输出文件是否开启压缩,具体的压缩算法和压缩格式取决于hadoop中设置的相关参数 -->

<!-- 默认值:false -->

<property>

<name>hive.exec.compress.output</name>

<value>true</value>

<description>

This controls whether the final outputs of a query (to a local/HDFS file or a Hive table) is compressed.

The compression codec and other options are determined from Hadoop config variables mapred.output.compress*

</description>

</property>

<!-- 控制多个MR Job的中间结果文件是否启用压缩,具体的压缩算法和压缩格式取决于hadoop中设置的相关参数 -->

<!-- 默认值:false -->

<property>

<name>hive.exec.compress.intermediate</name>

<value>true</value>

<description>

This controls whether intermediate files produced by Hive between multiple map-reduce jobs are compressed.

The compression codec and other options are determined from Hadoop config variables mapred.output.compress*

</description>

</property>

3.sqoop中集成LZO

1. 直接将lzojar包添加到sqoop安装目录下面的lib文件夹中。

/root/bigdata/sqoop1.4.7/lib/