在EMR中使用snappy压缩的时候快速查看压缩前文本的内容

最新推荐文章于 2025-05-12 03:19:40 发布

weixin_34124939

最新推荐文章于 2025-05-12 03:19:40 发布

阅读量586

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：https://yq.aliyun.com/articles/293555

本文介绍如何在阿里云EMR项目中有效使用Snappy格式的日志文件。通过两个简单配置，可以轻松实现对Snappy文件的查看与MapReduce作业处理，如同操作gzip文件一样便捷。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在EMR的项目中，按理阿里云目前提供的解决方案，大多数的同学可能都是使用的logtail做的日志收集，然后通过logshipper投递到oss中存储。这么配置以后，存储在oss里面的文件都是snappy格式了，但是怎么使用估计大部分同学是一脸懵逼的。

有两个小的配置，可以方便的和使用gzip一样使用snappy文件。

1 hadoop fs -text的命令直接查看。如果是直接使用的话，你看到的都是二进制，直接把shell搞死。需要用下面的格式查看

hadoop fs -Dio.compression.codec.snappy.native=true -text oss://xxx/xx.snappy

2使用MR脚本的时候，需要配置下，这个可能大部分同学都会，因为之前使用gzip的时候，也需要添加类似的配置项才能跑起来

hadoop ....... -jobconf io.compression.codec.snappy.native=true

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_34124939

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

hadoop 压缩-snappy

tonyhuang_google_com的专栏

02-11

6347

---1. snappy 下载安装Apache hadoop-1.2.1后，在运行wordcount 时报警告 WARN snappy.LoadSnappy: Snappy native library not loaded。想要给Hadoop集群增加snappy压缩支持。环境： cenos6.6 64bit minimal 1. 给OS安装 g++: centos：

自然语言处理基础：文本分类TextRNN

最新发布

天涯雨的博客

07-11

1025

自然语言处理基础：文本分类TextRNN

参与评论您还未登录，请先登录后发表或查看评论

Hadoop查看snappy压缩文件

zengxingyuluo的博客

12-10

2694

hadoop fs -D io.compression.codec.snappy.native=true -text /data/test/part-00000.snappy |head -10

hdfs或hive的snappy.parquet文件查看

wuchongyong的博客

08-17

3300

parquet 文件打开

Python读取snappy后缀文件

小白白的博客

11-17

5498

（作者：陈玓玏）需要读取个hbase表调用的日志文件，是snappy后缀的。 snappy是压缩文件，如果要读取其中内容，我们需要先进行解压操作。 #不是这个包 pip3.6 install snappy --user #是这个包 pip3.6 install python-snappy --user 安装好之后，python3.6进入python，读文件的时候最好加上’rb‘，否则可能报编码问题 import snappy compressed = open('logs.snappy','rb').r

MapReduce在自然语言处理中的应用：探索文本数据的奥秘

[MapReduce在自然语言处理中的应用：探索文本数据的奥秘](https://img-blog.csdnimg.cn/20200326212712936.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4...

Tableau连接Hadoop：大数据分析的完美解决方案

AI天才研究院

05-12

889

在企业数字化转型中，Hadoop已成为存储和处理海量非结构化/半结构化数据的核心平台（如日志、交易记录、用户行为数据）。但Hadoop的技术门槛（需掌握MapReduce/Spark编程）限制了业务人员直接分析数据的能力。Tableau作为全球领先的商业智能（BI）工具，以“所见即所得”的可视化交互降低分析门槛，但需与Hadoop集成才能访问其存储的PB级数据。本文聚焦Tableau与Hadoop的连接技术，覆盖Hive/Impala/Spark SQL等主流数据源，解决从环境配置到可视化分析的全链路问题。

EMR StarRocks 极速数据湖分析原理解析

weixin_45906054的博客

03-09

816

作者阿里云 EMR 开源大数据 OLAP 团队StarRocks 社区数据湖分析团队StarRocks 是一个强大的数据分析系统，主要宗旨是为用户提供极速、统一并且易用的数据分析能力，以帮...

列式存储数据压缩秘籍：如何优化存储并提升查询性能

![列式存储数据压缩秘籍：如何优化存储并提升查询性能]...这种存储方式在分析型工作中表现出色，尤其是

0631-6.2-如何确认一个Parquet文件是否被压缩

张伟的专栏

05-07

452

1 环境准备测试环境： 1.CDH6.2 2.集群已开启Kerberos 3.Redhat7.4 1.准备一张文本表，数据文件约6GB。 create table if not exists hive_table_test ( s1 string, s2 string, s3 string, s4 string, s5 string, s6 string, s7 string, s8 string, s9 string, s10 string, s11 string ) ROW FORMAT ...

snappy压缩，解压算法

07-07

google snappy 快速压缩算法，c语言版本速度比zlib快10倍，内存占用大概多25%

Snappy你脱了马甲我照样认识你

m0_66491772的博客

01-20

1836

前言 Hive中对中间数据或最终数据都会做压缩处理，以提高吞吐量和性能。通常压缩比高的占用空间小，但解压缩慢，反之亦然，常用的压缩格式有：GZIP、BZIP2、Snappy 压缩方式压缩后大小压缩速度是否可分隔 GZIP 中中否 BZIP2 小慢是 Snappy 大快是 Snappy因为解压缩速度很快，并且可以进行分隔，是大数据存储中最常用的压缩方式。起因今天跑批处理的时候，读取HDFS

Snappy压缩库安装和使用之一

810364804

05-15

1360

近日需要在毕业设计中引入一个压缩库，要求压缩与解压缩速度快，但是压缩率可以不那么苛刻。查找资料发现Google的snappy库比较合适，而且该库开源，由C++写成。所以就拿来使用一下，下面权作记录。下面引出的任何涉及Google公司的源代码，版权归Google公司所有，我权作学习交流。文章安排如下，首先简要介绍Snappy，之后安装之，然后以实际例子介绍如何使用，接着bzip2和gzip做...

解压缩snappy格式数据

zhao_crystal的博客

02-02

690

解压缩snappy格式数据

Hive使用Snappy压缩，Parquet格式存储文件

x²＋(y－√³x²)²＝1的博客

01-26

4481

一、数据内容 95002,刘晨,女,19,IS 95017,王风娟,女,18,IS 95018,王一,女,19,IS 95013,冯伟,男,21,CS 95014,王小丽,女,19,CS 95019,邢小丽,女,19,IS 95020,赵钱,男,21,IS 二、查看 HDFS 是否支持 Snappy 格式在 shell 命令行执行： hadoop checknative 返回： 21/01/26 20:32:52 WARN bzip2.Bzip2Factory: Failed to load/init

HIVE Parquet格式+snappy压缩及ORC格式+snappy压缩文件的方式

qq_32445015的博客

09-22

5538

一.使用Parquet存储数据数据使用列存储之前是普通的行存储，下面是行存储的的文件大小，这个HDFS上的数据使用parquet列存储，可以将文件的大小减小化。下面具体讲parquet存储数据的代码以及加载数据的格式。数据库代码： create table if not exists db_yhd.track_log_parquet( id STRING, url STRING, referer STRING, keyword.

Snappy文本压缩（备忘）

飞行的码农

09-28

1217

直接上代码，感觉还是挺高效的。 package com.fenbi.commons.spider.services.utils; import com.fenbi.commons.core.log.GLog; import org.xerial.snappy.Snappy; import java.io.IOException; import java.nio.charset.Standa...

hive处理snappy压缩文件

weixin_33712987的博客

09-30

2715

为什么80%的码农都做不了架构师？>>> ...

快速掌握Terraform在AWS EMR上部署Anaconda与PySpark

【标题】:"terraform-emr-pyspark：使用Terraform在AWSEMR上使用Anaconda快速入门PySpark" 【描述】:"terraform-emr-pyspark：使用Terraform在AWSEMR上使用Anaconda快速入门PySpark" 【标签】:"emr aws ecommerce ...