Impala-shell命令参数

  • 外部命令

所谓的外部命令指的是不需要进入到impala-shell交互命令行当中即可执行的命令参数。impala-shell后面执行的时候可以带很多参数。你可以在启动 impala-shell 时设置,用于修改命令执行环境。

 

比如几个常见的:

impala-shell:进入shell窗口

impala-shell –h:查看帮助手册

impala-shell –r:刷新impala元数据,与建立连接后执行 REFRESH 语句效果相同

impala-shell –f :文件路径: 执行指的的sql查询文件。

impala-shell –i:指定连接运行 impalad 守护进程的主机。默认端口是 21000。你可以连接到集群中运行 impalad 的任意主机。

impala-shell –o:保存执行结果到文件当中去。

 

 

  • 内部命令

所谓内部命令是指,进入impala-shell命令行之后可以执行的语法。

 

help:查看帮助手册

 

connect hostname:连接到指定的机器impalad上去执行

 

refresh dbname.tablename:增量刷新,刷新某一张表的元数据,主要用于刷新hive当中数据表里面的数据改变的情况

 

invalidate  metadata:全量刷新,性能消耗较大,主要用于hive当中新建数据库或者数据库表的时候来进行刷新。

 

quit/exit:从Impala shell中弹出

 

explain:用于查看sql语句的执行计划。

explain的值可以设置成0,1,2,3等几个值,其中3级别是最高的,可以打印出最全的信息

set explain_level=3;

 

profile:执行sql语句之后执行,打印出更加详细的执行步骤,主要用于查询结果的查看,集群的调优等

 

注意:如果在hive窗口中插入数据或者新建的数据库或者数据库表,那么在impala当中是不可直接查询,需要执行invalidate metadata以通知元数据的更新;

在impala-shell当中插入的数据,在impala当中是可以直接查询到的,不需要刷新数据库,其中使用的就是catalog这个服务的功能实现的,catalog是impala1.2版本之后增加的模块功能,主要作用就是同步impala之间的元数据。

更新操作通知Catalog,Catalog通过广播的方式通知其它的Impalad进程。默认情况下Catalog是异步加载元数据的,因此查询可能需要等待元数据加载完成之后才能进行(第一次加载)。

### 使用 Impala-Shell 导出数据到文件的方法 Impala 提供了多种方式将查询结果导出到本地文件。以下是通过 `impala-shell` 实现这一功能的具体方法。 #### 方法一:使用重定向操作符 可以在运行查询时,利用 Linux 的标准输出重定向操作符 (`>`) 将查询结果保存至指定文件。 ```bash echo "SELECT * FROM my_table;" | impala-shell -q --output_delimiter='\t' > output_file.txt ``` 此命令会执行查询并将结果存储在 `output_file.txt` 文件中,字段之间默认以制表符分隔[^1]。 #### 方法二:设置 `impala-shell` 输出选项 可以通过配置 `impalo-shell` 参数实现更灵活的结果导出。例如: ```bash impala-shell -i <hostname>:<port> -q 'SELECT * FROM my_table;' --delimited --output_file=output.csv ``` 该命令中的参数解释如下: - `-i`: 指定 Impala 守护进程所在的主机名和端口号。 - `-q`: 执行单条 SQL 查询语句。 - `--delimited`: 设置输出为逗号分隔的 CSV 格式。 - `--output_file`: 指定输出文件路径[^2]。 #### 方法三:手动处理查询结果 如果需要进一步自定义导出逻辑,可以先将查询结果显示在终端,再将其写入文件。例如: ```sql USE my_database; SET DELIMITER=','; SELECT column1, column2 FROM my_table LIMIT 100; ``` 随后,在终端中复制粘贴结果并保存为文件。这种方法适合小型数据集或调试场景[^3]。 --- ### 示例代码 以下是一个完整的示例,展示如何通过 `impala-shell` 导出数据到文件: ```bash # 假设目标表为 my_table,位于 my_database 中 impala-shell -i localhost:21000 -q 'SELECT * FROM my_database.my_table;' \ --delimited --output_file=/path/to/output.csv ``` 上述命令将会把 `my_table` 表的内容导出为 `/path/to/output.csv` 文件,其中每列由逗号分隔[^1]。 --- ### 注意事项 1. **权限管理**: 确保当前用户具有访问目标表以及写入输出文件所需的权限。 2. **大数据量处理**: 对于大规模数据集,建议结合 HDFS 或其他分布式工具完成导出任务,以免占用过多内存资源。 3. **字符编码**: 默认情况下,导出文件可能采用 UTF-8 编码。如有特殊需求,请提前验证兼容性。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值