load data inpath出错原因及解决方法

Hive基础知识(十):Hive导入数据的五种方式 1)语法(1)load data:表示加载数据(2)local:表示从本地加载数据到 hive 表;否则从 HDFS 加载数据到 hive 表(3)inpath:表示加载数据的路径(4)overwrite:表示覆盖表中已有数据,否则表示追加(5)into table:表示加载到哪张表(6)student:表示具体的表(7)partition:表示上传到指定分区2)实操案例(0)创建一张表(1)加载本地文件到 hive(2)加载 HDFS 文件到 hive 中上传文件到 HDFS。 阅读详情

load data inpath出错原因及解决方法

hive> load data inpath "hdfs://Master.hdp:9000/person.txt" into table Person1;                        
FAILED: SemanticException [Error 10028]: Line 1:17 Path is not legal '"hdfs://Master.hdp:9000/person.txt"': Move from: hdfs://Master.hdp:9000/person.txt to: hdfs://192.168.153.202:9000/user/hive/warehouse/dbmaster1.db/person1 is not valid. Please check that values for params "default.fs.name" and "hive.metastore.warehouse.dir" do not conflict.

 

通常报这个错是因为程序会check两个路径的schema是否一致,这里的schema就是namenode名称,也是namenode的操作系统的机器名,这里一个是配置的是IP:192.168.153.202,另外一个用的是别名,所以报错。
SQOOP先把数据导入到hdfs某一路径,这一路径是有hadoop里面的core-site.xml里面的default.fs.name配置决定的,然后再在hive的元数据库里面建表,然后用hive的load 文件到hive的方法把数据导入到hive,存储路径是hive的内部表的路径,由hive-site.xml的hive.metastore.warehouse.dir决定。
 
解决方法:1.
修改hive-site.xml文件:
hive.metastore.warehouse.dir修改为hdfs://192.168.153.202:9000/user/hive/warehouse
2.不使用别名,配置文件里面配的是IP名就写IP名。

 

一文彻底了解Hive 基本概念 Hive是基于hadoop的一个数据仓库工具,是一种编程接口,处理结构化数据,将结构化的数据文件映射成表,并提供类SQL查询功能。 本质:将HQL转化为MR程序。 优缺点: 优点:采用类SQL语法,易上手;避免写MR程序,减少学习成本;吞吐量大;支持用户自定义函数 缺点:表达能力有限(受限于MR编程模型);调优困难,粒度较粗 Hive架构原理 Hive安装及配置 Hive的安装很简单,解压安装包即可。 Hive需要修改的配置: hive-env.sh文件 export HADOOP_HOME= 阅读详情

相关推荐

hive load data inpath ‘‘ overwrite into 坑

load data inpath 'dataDir/dim_url.csv' overwrite into table dim_url partition(day='2021-03') 注意: 1,以前都是加载本地数据,写法: load data local inpath '' ... 2,如果加载hdfs上的数据,要去掉local 上传hdfs:hdfs dfs -put /dataDir/dim_urlAnalysisType.csv /user/root/dataDir 报错: ..

hello_java_lcl的博客 2903

load data inpath的实践

有个需求,需要在hive表里面追加数据,数据是历史数据,是业务方给的一个csv文件, 思路,考虑使用load data inpath,把历史数据导入到hive表里面 步骤: 1、利用已经搭建好的大数据平台,把csv文件上传到HDFS, 我是直接利用大数据平台提供的页面上传功能, 如果没有这个条件的,可以使用命令行:hadoop fs -put xxx.csv /export, 指定一个目录,目录名为export 2、创建一个表,表里面的字段名称和字段顺序,跟csv文件保持一致,例如这个表名叫 inf

pc_cool的博客 5078

Hive的数据加载与导出

普通表的加载 1.load方式 load data [local] inpath [源文件路径] into table 目标表名; 从HDFS上加载数据,本质上是移动文件所在的路径 load data inpath '/user/student.txt' into table student; 从本地加载数据,本质上是复制本地的文件到HDFS上 load data loca...

黄饱饱 404

Hive初识(一)

LOAD DATA语句一般来说,在SQL创建表后,我们就可以使用INSERT语句插入数据。但在Hive中,可以使用LOAD DATA语句来插入数据。LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION(partcol1=val1,partco2=val2...)]LOCAL是标识符指定本地路径...

MaynyWoody的博客 1037

将本地文本文件上传到HDFS上,然后导入hive/impala对应表中

1.本地文本文件上传前的准备 将文本保存为"uft-8"格式,并用"|"进行字段间的分割(个人习惯,可以选用其它符号,但要避免和编程语言产生冲突)。 2.将文本文件通过Xshell上传到HDFS上 (1)首先要新建(Alt+N)一个连接,主要填写主机IP,其他根据自己的需要填写。确定之后,打开(Alt+O)刚刚建立的连接,输入用户名和密码,这样就连上了你的服务器了。 (2)新建文件传输(C

www_sg_com的博客 1万+

Hive on Tez 报错: DAG 执行失败,原因是 VERTEX_FAILURE

在错误信息中,我们可以看到有关 failedVertices 和 killedVertices 的信息,这些信息可以帮助我们定位到具体出错的顶点和执行过程。通过检查日志、检查资源、优化查询、更新软件版本和调整配置参数,我们可以解决这些错误并提高应用程序的性能和稳定性。更新软件版本:检查所使用的 Hive、Tez 和相关软件的版本,并确保使用的是最新的稳定版本。希望本文所提供的解决方法和示例代码能够帮助您解决 DAG VERTEX_FAILURE 错误,并顺利进行 Hive on Tez 的数据处理任务。

DevProPlus的博客 1490

数据加载的妙招解析

大数据中怎么来加载数据呢?数据加载应该注意哪些问题呢?关系型数据库和Impala、Hive加载数据有哪些区别呢?

dashuju2016的博客 1002

Java开发者必看:用JDBC连接Hive的完整实践指南

在Java与大数据生态的交汇处,JDBC作为访问数据库的标准接口,其核心原理同样适用于Hive数据仓库。通过HiveServer2服务,JDBC能将SQL请求翻译为分布式计算任务,让Java应用像操作传统数据库一样读写Hive表。这种连接方式在离线数据初始化、业务系统取数、临时查询等场景中极具实用价值。本文从连接原理出发,涵盖驱动选型、基础Demo、批量写入、分区裁剪、高可用与Kerberos认证等关键环节,并针对驱动冲突、连接超时、ResultSet列名等高频问题给出排查建议,帮助后端与数据开发人员快速构

weixin_30835649的博客 384

Hive数据流转实战:从文件加载到结果导出的完整DML指南

本文详细介绍了Hive数据流转的完整DML操作指南,从文件加载到结果导出的全流程实战技巧。涵盖数据加载的常见问题、高级查询技巧、数据写入模式选择以及结果导出的多种方案,帮助大数据开发者高效处理Hive数据流转任务,提升数据处理效率。

weixin_29055137的博客 142

Ubuntu22.04下RTX2080显卡驱动、CUDA、cuDNN保姆级避坑安装指南(实测有效)

本文提供Ubuntu22.04下RTX2080显卡驱动、CUDA和cuDNN的详细安装指南,涵盖前期准备、驱动安装、CUDA版本选择、cuDNN配置及常见问题解决。通过实测有效的步骤和优化建议,帮助用户快速搭建稳定的深度学习环境,避免常见陷阱。

weixin_42540248的博客 285

STM32-DAC定时器触发三角波生成【频率与幅度精准控制】

本文详细介绍了STM32 DAC定时器触发三角波生成的原理与实现方法,涵盖硬件配置、频率与幅度精准控制技巧及代码实现。通过定时器触发DAC模块,可灵活调节三角波的频率和幅度,适用于信号发生器等高精度应用场景。

weixin_29161785的博客 453

文件属主不同导致hive加载本地数据失败

hvie加载load本地数据失败分析记录 hive load本地数据由于用户问题找不到文件 1. 问题背景 使用cloudera-cdh5平台下的hive命令行 登录centos的普通用户为xhwl,在~目录下创建了一个文件:waning_case_info hive中数据库与表均已创建:masi_warning_case.warning_type_info $ sudo su 进入r...

zlsdmx的博客 3557

C#读取CAD文件(dwg/dxf)并处理

项目要求识别CAD图纸(图纸内容与现实事物比例是1:1)中的内容,并提取出一些关键信息。这里的CAD图纸是指CAD文件,包含多种格式,dwg/dxf/dwf/stl/pdf等等。识别其中内容,主要指文件中的图元信息(也叫实体Entity),指线段、圆弧、矩形等图形元素。得到图元基础信息(比如长度、坐标、粗细)后,进一步做处理(如得到交点、得到线段间间隔、圆弧与线段切点等)。听起来有点难,因为作为软件工程师,对CAD相关事物并不了解,它是未知的;

三千幻想乡 1万+

为什么hive启动出错_如何使用docker快速搭建hive环境

写在前面想练练Hive SQL,但是没有hive shell环境。现在只有一台空的CentOS 7机子,一想要弄jdk、hadoop、mysql、hive就头疼。于是在网上找了找,发现用docker部署hive会快很多,在此记录一下部署过程。以下过程每一步在文末都附有参考文档,出错的朋友可以去看对应的参考文档。步骤安装docker安装git,配置github。因为用的是github上大佬写好的do...

weixin_39714164的博客 288

保姆级教程:手把手教你用RKISP TURN为RV1106生成和配置IQfile(附AIQ版本匹配避坑指南)

本文提供RV1106 ISP调试的完整指南,详细讲解如何使用RKISP TURN工具生成和配置IQfile,包括环境搭建、参数调试、设备树配置及常见问题解决方案。特别强调AIQ版本匹配的重要性,帮助开发者避免常见陷阱,提升图像信号处理效率。

weixin_42520796的博客 492

逆向工程的艺术:如何绕过PDD的长连接机制实现高效抓包

本文深入解析了如何通过逆向工程技术绕过拼多多(PDD)的长连接机制实现高效抓包。详细介绍了动态调试方案、关键函数Hook技巧及流量解密重组方法,帮助开发者在非Root环境下捕获并解析PDD的加密数据。结合Python工具链,实现稳定数据采集,适用于电商数据分析和反爬策略研究。

weixin_29058331的博客 674

【日常工作总结】HIve数据导入问题

     最近在BDP平台上向Hive表中导入数据时,频频出错,踩过很多坑之后,才发现,原来是是表格式的问题,表格式为OCR,不支持传统文件导入,只支持表与表之间的导入。借此机会总结一下hive导入数据的内容。数据导入的几种方式:一.从本地文件系统中导入数据hive> LOAD DATA LOCAL INPATH "/home/hadoopUser/data/test1.txt" into ...

生命奇迹泉的专栏 1325

GNSS-RTK/INS紧组合里,那个‘杆臂改正’到底怎么算?一个公式讲清INS与天线位置的关系

本文深入解析GNSS-RTK/INS紧组合导航系统中的杆臂改正(Lever Arm Correction)原理与实现方法。详细介绍了杆臂效应的物理本质、数学建模及误差扰动分析,揭示了IMU与GNSS天线位置关系的核心公式,并提供了工程实现中的常见误区与验证方法。通过Python代码示例和紧组合量测模型处理流程,帮助开发者准确理解并应用这一关键技术。

weixin_33137081的博客 357

Hive

Hive数据仓库 可以将sql变成mapreduce任务 HIVE:HQL和MySQL语句相差不多 1.Hive不支持行级插入操作、更新操作和删除操作,同时它也不支持事务。 2.Hive中数据库的概念本质上仅仅是表的一个目录或者命名空间。如果用户没有显式指定数据库,就会默认使用默认库default。 3.默认创建的是托管表,在load时不检查数据是否符合格式,因为load是移动操作,将数据从

JackLi31742的博客 798

一文整理深度学习【深度学习linux的docker+pytorch+cuda+nvidia-docker+vscode配置】

docker+pytorch+cuda+nvidia-docker+vscode

Edward的博客 1335

华为MetaERP Oracle EBS OM(订单管理)模块详解作为ERP财务解决方案架构师,理解OM模块的业务全景和数据模型至关重要。OM是EBS分销链路的核心引擎,贯穿“订单到收款“(Orde

Oracle EBS OM模块是管理销售订单全生命周期的核心模块,涵盖客户管理、订单执行、发运开票、定价及信用控制等功能。其标准流程包括订单录入、预订、发放、发运确认和自动开票等环节,核心数据表涉及订单、客户、发运和定价等业务对象。OM模块与库存、应收、发运等模块深度集成,架构师需重点设计订单类型、信用控制策略和自动开票接口等关键环节,确保业务流程高效流转。

金牌架构师 361

Hive配置中的一些错误

一、NameNode处于安全模式 Exception in thread "main" org.apache.hadoop.ipc.RemoteException( org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot delete /tmp/hadoop- yarn/staging/hadoop/.stagin...

y2337229529的博客 1734

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

Hive系列之docker-compose部署升级总结

刚刚我们修改了Hive为bde2020/hive:3.1.2-postgresql-metastore,仓库中并没有,我们就要考虑修改Dockerfile自行构建镜像了。对于升级而言,我们最先考虑的是docker hub中有的较新的版本,然后我们需要简单了解下hadoop2与hadoop3的区别,首先明确的是端口号有所改变,如下图所示。查看日志,可以发现,url非法了哎,这是因为docker在默认创建网络的时候,会给添加_default后缀导致url非法。再次尝试构建镜像了,并启动,发现如下错误。

算法小生 2711

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

上一篇: 在使用Sqoop将数据从Hive导入MySQL过程中,出现一下错误
下一篇: FAILED: SemanticException [Error 10028]: Line 1:17 Path is not legal ''hdfs://192.168.0.131:9000/hiv
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值