hive 1.2.0 load data local数据报错

最新推荐文章于 2025-02-28 11:20:30 发布
原创 最新推荐文章于 2025-02-28 11:20:30 发布 · 999 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #load data #No route to host

本文记录了一次Hadoop集群中出现的数据写入错误问题及解决过程。问题表现为在尝试写入数据时，遇到了NoRouteToHostException异常。经过排查发现是由于从节点的防火墙未关闭导致，通过关闭防火墙并重启集群后，数据加载恢复正常。

出错日志如下：

15/08/06 18:48:19 INFO hdfs.DFSClient: Exception in createBlockOutputStream
java.net.NoRouteToHostException: No route to host
        at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
        at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:739)
        at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
        at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)
        at org.apache.hadoop.hdfs.DFSOutputStream.createSocketForPipeline(DFSOutputStream.java:1508)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1284)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1237)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:449)
15/08/06 18:48:19 INFO hdfs.DFSClient: Abandoning BP-162492217-192.186.200.100-1438588543153:blk_1073741905_1081



name_node和data_node的进程都正常

问题原因是：

    slave节点的防火墙没关调，

   chkconfig iptables off 

关调防火墙重启集群load data正常了。。







hive把本地的数据文件load导入到表
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
04-27 2万+
以下实例都是从本地导入： hive> load data local inpath 'sales_info.txt' overwrite into table sales_info partition(dt='2019-04-26'); 导入后本地的原数据文件依然存在，相当于复制过去；如果是从hdfs导入，则原数据文件不存在，相当于剪切过去。 实例1： 建表语句（不带分区字段，用逗号...
hive 1.2 和 hive-3.1 公用一套元数据和元数据迁移和升级的流程方案
houzhizhen的专栏
06-28 1039
本方案包含 hive-1.2 集群，新建的 hive-3.1集群（上面存储的表和库信息可以删除，升级之后和 hive-1.2 公用一个元数据库）。hive-1.2 集群使用的 mysql 数据库迁移到新的地址。升级 hive 1.2 元数据库到 3.1。升级之后，hive-1.2 集群和 hive-3.1 集群共同使用同一个 mysql。一个集群可以看到并操作另一个集群存储在 BOS 上的数据。以下是操作步骤：停止方法：使用命令 或者通过 ambari 操作。 停止 hive metastore 后，集群所
mysql load data sql_mysql:执行LOAD DATA LOCAL 报错
weixin_34508497的博客
01-19 291
mysql:执行LOADDATALOCAL报错。我使用navicatformysql连接mysql服务器执行local可以正常执行。showVARIABLESlike'%local%infile%'结果如下：+---------------+-------+|Variable_name|Value|+---------------+-------+|local_...
Hive（八）Hive的Shell操作与压缩存储
weixin_42073629的博客
09-23 531
一、Hive的命令行 1、Hive支持的一些命令 Command Description quitUse quit or exit to leave the interactive shell. set key=valueUse this to set value of particular configuration variable. One thing to note here is that if you misspell the variable name, cli will not..
PySpark-Recipes : 写数据到Hive(local data)
机器会学习的博客
10-11 1714
把本地数据导入到Hive from pyspark.sql import SparkSession spark = SparkSession.builder.appName('write_data').getOrCreate() import pyspark.sql.functions as F from pyspark.sql.types import * # Row, StructTyp...
Hive导入和导出数据
SunnyRivers
04-28 1094
Hive导入数据 （1）从本地文件导入 load data local inpath 'test.txt' into table test; （2）从HDFS导入 load data inpath '/data/test.txt' into table test; （3）从Hive表导入 insert into table test partition (date) select id, n...
Hive离线数据仓库
将懒惰进行到底
11-22 4764
Hive是基于Hadoop的数据仓库工具，提供了一系列的工具，可以用来进行数据提取、转化、加载，是一种可以存储、查询和分析存储在Hadoop中的大规模数据机制。它可以将结构化的数据文件映射成一张表，并提供完成的sql查询功能，可以将sql语句转换成MapReduce任务进行运行。 Hive本质上是基于Hadoop的一种分布式计算框架，底层仍然是MR，本质上是离线大数据分析工具。 数据仓库 VS ...
Atlas编译安装以及Hive元数据导入
m0_37135879的博客
02-02 3168
一.解压 二.修改pom文件 645 <npm-for-v2.version>3.10.8</npm-for-v2.version> 652 <hadoop.version>2.9.2</hadoop.version> 三.创建文件夹,手动放入solr,hbase(不然maven下载时间较长) /opt/lagou/servers/apache-atlas-sources-1.2.0/distro [root@Linux1
Hive系列 (五)：Hive数据类型
Eric Ray的博客
08-24 2133
hive数据类型详解，简单数据类型及复杂数据类型array, map, struct, union 等
Hive3.x数仓开发
七七的博客
06-10 2319
文章目录一、数仓仓库概念二、数据仓库分层架构ODS\DW\DA(ADS)ETL\ELT三、Hive 概述 一、数仓仓库概念 二、数据仓库分层架构 ODS\DW\DA(ADS) ETL\ELT 三、Hive 概述 Metastore配置方式 Hive部署 <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </pr
Hive基础知识（十）：Hive导入数据的五种方式
zuodingquan666的博客
01-12 4687
1）语法（1）load data:表示加载数据（2）local:表示从本地加载数据到 hive 表；否则从 HDFS 加载数据到 hive 表（3）inpath:表示加载数据的路径（4）overwrite:表示覆盖表中已有数据，否则表示追加（5）into table:表示加载到哪张表（6）student:表示具体的表（7）partition:表示上传到指定分区2）实操案例（0）创建一张表（1）加载本地文件到 hive（2）加载 HDFS 文件到 hive 中上传文件到 HDFS。
HIVE数据加载
最新发布
小枫的博客
02-28 675
hive的数据加载
Hive数据表导入导出操作
super_mochi1
07-30 2042
hive针对数据表导入导出操作
Hive执行load data [local] inpath 'path' [overwrite ] into table table_name报Invalid path问题
热门推荐
hao495430759的专栏
05-31 6万+
今天使用Hive客户端 beeline 执行数据导入，怪异的报错：beeline&gt;load data local inpath '/home/hhuang/2018-05-01_14.txt' overwrite into table data_idea_id_hourly partition ( dt = '2018-05-27',hour = '14' );Error: Error w...
hive分区、数据加载、数据导出、数据类型
weixin_52923290的博客
04-12 2830
一、hive分区 1、特点： 分区表与其他表不同点在于，分区字段的值为表目录下的子目录格式 ,为: 分区字段=值 2.建表语句 create database learn2; CREATE TABLE IF NOT EXISTS learn2.partition_student( id STRING COMMENT "学生ID", name STRING COMMENT "学生姓名", age int COMMENT "年龄", gender STRING COMMENT "性别"...
菜鸟进阶(Hive的深入应用，分区和分桶）
doubimen的博客
06-20 661
导入数据： 1、load data local inpath '/root/tes.txt' into table test.usr; 将本地的数据导入到hive中 2、load data inpath 'hdfs://node01:9000/user/tes.txt' into table test.te; 从hdfs集群导入数据 ...
Hive SQL语法解读
baiyunl的专栏
03-15 719
一、 创建表     在官方的wiki里，example是这样的： CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name   [(col_name data_type [COMMENT col_comment], ...)]   [COMMENT table_comment]   [PARTITIONED BY (col_name dat...
MySQL导入数据报错：mysql 使用 load data local infile导入数据Loading local data is disabled(Error 3948)和Error 2068
热爱编程、热爱生活、热爱探索
04-30 2372
在学习黑马的MySQL进阶课程时，由于为了测试SQL的性能指标，需要导入一个数据量特别大的表，表中有１０００ｗ条件记录（大约2.2GB的数据），此时老师已经将这1000w条记录拆分成5张表了，我需要使用。该参数的作用是控制导入权限，也就是说MySQL默认是禁止直接从外部导入数据的，相对应的参数还有。：要确保路径正确，同时需要导入五次，我有五张表：tb_sku1、tb_sku2、tb_sku3、tb_sku4、tb_sku5。指令将这五张表导入数据库，结果执行指令的过程中Navicate报了了。
ZooKeeper 安装、配置
FranklySun的专栏
05-16 2万+
<br />如题本文介绍的是ZooKeeper 的安装和配置过程，此过程非常简单，关键是如何应用（将放在下节及相关节中介绍）。<br /> <br />单机安装、配置：<br /> <br />安装非常简单，只要获取到 Zookeeper 的压缩包并解压到某个目录如：/home/frank/ZooKeeperInstall/zookeeper-3.3.3下。<br /> <br />配置文件存放在/conf/目录下，将zoo_sample.cfd文件名称改为zoo.cfg,  缺省的配置内容如下：<br /
hive load data local
03-16
Hive 可以使用 "LOAD DATA LOCAL" 命令将本地文件导入到 Hive 表中。 语法: ``` LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] ``` ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值