PowerSnow ZZ-优快云博客

原创 sqoop推数方式(csv,parquet)

1，可能遇到的问题,parquet推数，需要.metadata的情况,这种情况是你把parquet格式的文件上传到对应的表目录下面，然后推数的时候报错，.metadata文件不存在，这种情况下需要添加两个参数，并且删除--export-dir参数。csv推数只需要将csv文件上传到hdfs中，然后通过--export-dir指定hdfs位置即可，注意推送字段和表名为目标数据库中的字段和表名，csv文件中的顺序不变，需要csv文件中数据顺序与指定字段保持一致。--hcatalog-table 表名 \。

2024-12-18 11:08:48 279

原创 sql简单梳理

1)create用于创建新的数据库对象,如表,视图,索引等2)alter用于修改现有数据库对象的结构,比如添加，删除或修改列3)drop用于删除现有的数据库对象,如表，视图或索引4)truncate用于快速删除表中所有记录，但是不删除表本身，且通常不能恢复5)rename用于重命名现有的数据库对象6)comment用于为数据库对象添加注释或者描述。

2024-09-26 22:05:25 1339

原创 shell-基础语法

linux shell是一种命令行解释器,它允许用户通过命令行界面与操作系统进行交互shell提供了基本的命令执行,变量,条件判断,循环,函数,处理逻辑操作等语法,使得用户可以通过编写脚本自动化执行一系列命令.执行.sh文件的常用方法2)sh a.sh4)bash < a.sh 或者 sh < a.sh5)赋予可执行权限直接运行 chmod +x a.sh。

2024-09-26 10:31:12 1528

原创 shell基础整理

2，文件相关shell命令。3，vi/vim文件编辑器。4，find 查找相关命令。5，文件权限相关命令。1，目录相关基础知识。

2024-09-12 20:31:29 495

原创问题记录-sqoop(mysql-＞hive)乱码问题,导入时卡住或者报错等相关问题

下面进入正题，目前从这个抽数和存储的过程来看，涉及到字符集的有两部分，一个是源数据存储的mysql数据库的字符集，一个是hive数据库的字符集(存储在mysql的metastore中)，hive数据库的字符集默认是latin1,而我的hive数据库的建表语句的文件的字符集是utf-8,在建表语句中会出现某个字段的描述信息，表的描述信息，这些信息一般是中文的，然后在建表之后，查询出来的结果就是乱码了。为了解决这个问题，在hive元数据的数据库中相关描述信息的字段要设置为utf-8字符集，具体操作。

2024-09-12 19:42:40 512

原创问题记录-hiveserver2启动了但是端口号10000并没有

归根结底是因为存储到datenode节点的某个文件块损坏了，导致hdfs的namenode节点触发了安全模式，然后安全模式下不能创建目录，导致启动hiveserver2启动不成功，然后一直尝试重新启动，每次尝试都会生成一个session id,然后安全模式不关，hiveserver2启动不了，然后远程客户端连接拒绝，因为连端口号也没有。3.进入hive CLI 本地客户端，然后发现报错不能创建一个目录，最后两行的大致意思是blocks没有达到总数据块的阈值，所以namenode主节点进入到了安全模式。

2024-09-06 22:10:31 2900 4