lzo格式表执行sql报错

最新推荐文章于 2024-09-04 14:55:00 发布
转载 最新推荐文章于 2024-09-04 14:55:00 发布 · 276 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://yq.aliyun.com/articles/509938
文章标签：

#大数据

本文介绍了解决在Hadoop环境下使用DeprecatedLzoTextInputFormat出现的异常问题的方法。通过检查表索引并使用Hadoop-lzo.jar创建新的LZO索引，可以有效地修复该错误。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

异常：at com.hadoop.mapred.DeprecatedLzoTextInputFormat

 

解决方法：

由于某表索引问题报错，查看表路径：

desc formatted 表名;

创建索引

hadoop jar /usr/hdp/2.2.6.0-2800/hadoop/lib/Hadoop-lzo-0.6.0.2.2.6.0-2800.jar com.hadoop.compression.lzo.LzoIndexer 表路径

重新执行一遍sql即可解决。











本文转自 yntmdr 51CTO博客，原文链接：http://blog.51cto.com/yntmdr/2067985，如需转载请自行联系原作者
Hive 加载HDFS数据建表, 挂载分区遇到问题及解决方法
huntblack的博客
08-22 7594
1.创建临时表: CREATE EXTERNAL TABLE IF NOT EXISTS tmp.tmp_tb_jinritoutiao_log ( content string COMMENT 'json内容格式' ) COMMENT '今日头条视频内容' PARTITIONED BY (`day` string) STORED AS INPUTFORMAT 'com.hadoop....
Spark job failed due to task failures: native-lzo library not available
qq_43612872的博客
05-24 1077
问题的原因是spark默认没有配置lzo支持造成的。所以再写入lzo表时会报错，需要在让spark支持lzo格式（如果使用MR引擎无需设置）。 在配置栏里搜索spark-conf/spark-env.sh 的 Spark 服务高级配置代码段（安全阀） 找到你的lzo目录 如 /opt/cloudera/parcels/GPLEXTRAS/lib 复制以下内容粘贴到配置中 export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/cloudera/parcels/GPLEX
hadoop ClassNotFoundException解决办法
weixin_34268579的博客
04-24 434
2019独角兽企业重金招聘Python工程师标准>>> ...
Presto：Unable to create input format com.hadoop.mapred.DeprecatedLzoTextInputFormat错误解析
qq_32656561的博客
06-05 3050
我的hive中的ods层表是这样存储的： drop table if exists ods_ipqc_online_tmp; create external table ods_ipqc_online_tmp ( `MACH_ID` string COMMENT '机台id', `MACH_IP` decimal(16, 2) COMMENT '机台ip', `IPQC_ONLINEID` string COMMENT 'IPQC在线ID', `CRE
数仓相关
weixin_42796403的博客
01-04 525
数仓小思考 1.为什么使用关系型存储用户业务数据 RDMS(关系型数据库)是基于OLTP(online transaction process在线事务处理)设计，重事务和在线处理 2.用户行为数据和用户业务数据的区别 用户行为数据侧重于记录事件，用户业务数据侧重记录完整的事实 3.为什么采用json存储用户行为数据 用户行为数据低价值密度，记录周期长，结构复杂 json格式比xml少了标志类信息，占用空间小。比csv等文本文件多了结构信息，方便管理。 4.为什么采用sqoop采集业务数据
Apache Griffin调试各种报错总结
weixin_43160819的博客
06-28 2603
1、数据库报错 Table ‘quartz.DATACONNECTOR’ doesn’t exist 2021-01-18 14:54:54.135 ERROR 122541 --- [http-nio-8081-exec-8] o.a.c.c.C.[.[.[.[dispatcherServlet] [175] : Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Re
No LZO codec found, cannot run.解决方案参考。
GOD-LEI的博客
12-29 1399
问题：使用hive on spark，创建lzo存储格式的表格，查询数据的时候，报错：No LZO codec found, cannot run。 解决和排错过程： 1.百度No LZO codec found, cannot run，搜索结果分为以下三种原因： 1). hadoop-lzo.jar包的兼容性问题 首先确定我的框架版本： （1）.官方下载的lzo-master是一个maven项目，解压之后，修改pom文件中 <hadoop.current.version>2.6.0</
从数据存储结构优化Spark SQL性能
芜湖
08-15 421
HDFS存储 Parquet存储 ORC存储 压缩算法导致的OOM
Trino升级之后查询报错：Unable to create input format org.apache.hadoop.mapred.TextInputFormat
京河小蚁的博客
09-04 357
trino版本由407升级到419，客户端提交作业到trino，部分sql报下面的错误，在web ui上提示 EXTERNAL ERROR HIVE_UNSUPPORTED_FORMAT。通过错误提示和老版本对比，确认缺少依赖包导致，缺少一个jar包：hadoop-lzo-0.4.21-SNAPSHOT.jar。将该包拷贝到对应目录下之后再次提交sql，执行成功。
解决invalid LOC header (bad signature)问题
11-27
invalid LOC header (bad signature)问题解决，快速查找与删除有问题的jar包
hive修改inputformat
03-27 2563
TINPUTFORMAT “com.hadoop.mapred.DeprecatedLzoTextInputFormat”OUTPUTFORMAT “org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat”; ALTER TABLE foo PARTITION (pt=’2013-06-04′) SET FILEFORMATINPUTFORMAT “com.hadoop.mapred.DeprecatedLzoTextInputFormat”O
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeExcepti
zkyxgs518的博客
12-06 531
这个问题出现的原因有很多种我这里只能够分享出解决我问题的一个思路： 1、首先要检查mysql数据库服务有没有启动，因为对hive进行的所有操作都要存储到mysql数据库的 ，英文关于hive的元数据存储在mysql数据库中，如果mysql数据库服务没有启动 hive就不能正常工作的 2、检查hive-site.xml 文件里面的配置信息（要注意自己数据库的密码） <configura...
presto 查询hive facebook.presto.spi.PrestoException: ....hadoop.mapred.TextInputFormat
06-15 1186
om.facebook.presto.spi.PrestoException: Unable to create input format org.apache.hadoop.mapred.TextInputFormat at com.facebook.presto.hive.HiveUtil.getInputFormat(HiveUtil.java:331) at com.facebook.presto.hive.StoragePartitionLoader.loadPartition(Storage
hive建表时的几个参数
白元霞的博客
02-15 1899
1、ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' 以’|'结尾的行格式分隔字段 2、field.delim'='|' field.delim是表的两个列字段之间的文件中的字段分隔符 3、'serialization.format'='|' serialization.format是文件序列化时表中两个列字段之间的文件中的字段分隔符 4、'serialization.null.format'='' null值处理为空字符 ...
HIve 建表, 导入HDFS路径文件; 遇到问题及解决策略
huntblack的博客
12-06 3512
现有hdfs路径hadoop fs -du -h /user/portal/ODM/RECOMMEND/abc; 路径下有每天分区 139.1 M /user/portal/ODM/RECOMMEND/readAgentInfo/abc 744.4 K /user/portal/ODM/RECOMMEND/readAgentInfo/abc.2018-12-04 1.1 M /user/...
使用hive 对lzo数据分析时的报错
Royce Wang专栏
03-03 1万+
之前建立map作业 将文本文件通过combineInputFormat 合并 小文件并压缩为lzo文件 ，作业设置： conf.setInt("mapred.min.split.size", 1);         conf.setLong("mapred.max.split.size", 600000000); // 600MB,使得每个压缩后文件120MB左右     
Hadoop2.2.0+hive使用LZO压缩那些事
张兆坤
12-27 1万+
废话不多说，我在apache Hadoop2.2.0测试集群上配置支持使用LZO进行压缩的时候，遇到很多坑，不过最后到搞定了，这里把具体过程记录下来，以供参考。 环境： Centos6.4 64位 Hadoop2.2.0 Sun JDK1.7.0_45 hive-0.12.0 准备工作： yum -y install  lzo-devel  zlib-devel  gcc aut
关于 Hive 报 SemanticException 错误的问题
热门推荐
一只特立独行的猪
11-25 2万+
问题描述： hive 创建表时出错 hive> create table student(sid int,sname string); FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org...
hive没有warehouse文件
最新发布
03-26
需确保导入过程中无报错，并验证目标表数据完整性[^3]。 #### 3. **元数据修复** - **同步元数据**：若文件存在但元数据丢失，执行 `MSCK REPAIR TABLE table_name` 修复分区信息。 - **重建表结构**：若表元...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值