- 博客(10)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 序列化和反序列化（SerDe in Hadoop Hive）
1、序列化与反序列化的作用序列化是对象转化为字节序列的过程；反序列化是字节码恢复为对象（存在于内存中）的过程；对象的序列化主要有两种用途：对象的持久化，即把对象转换成字节序列后保存到文件中；对象数据的网络传送。2、SerDe本质编码的工具。3、Hadoop SerDeMapreduce过程中会大量创建对象，并且在内存和磁盘之间读写数据，需要序列化（对象转化为字节序列）存放于磁盘中，一般的编码方式会占用大量的内存，为了减小开销，hadoop的序列化简化了编码的过程，使得高效、.
2022-01-17 02:52:56
1188
原创 Hive -- HiveServer2服务启动
<连接事项>1、首先要检查Hive是否能启动。然后启动hiveServer2：2、开启metastore服务3、netstat -nltp 检查9083端口和10000端口是否开启若成功开启进入beeline后使用命令：成功连接hive客户端。<metastore作用>客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道M.
2022-01-16 02:56:38
10422
原创 Hadoop -- 配置文件
core-site.xml<configuration><property> <name>fs.defaultFS</name> <value>hdfs://hd1:9000</value></property><property> <name>hadoop.tmp.dir</name> <value>/opt/apps/hadoop...
2022-01-15 19:22:48
890
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人