
大数据
文章平均质量分 85
小C真的很菜
斯巴拉西
展开
-
HIVE应用文档
当用户的数据文件格式不能被当前 Hive 所识别的时候,可以自定义文件格式。用户可以通过实现inputformat和outputformat来自定义输入输出格式,参考代码:.\hive-0.8.1\src\contrib\src\java\org\apache\hadoop\hive\contrib\fileformat\base64test1文件为base64编码后的内容,decode后数据为:hello,hiveOKOKhello,hive。原创 2023-11-15 15:25:17 · 233 阅读 · 1 评论 -
正则表达式及程序应用
java+python+hive+trino的正则表达式使用原创 2022-06-15 10:44:06 · 1308 阅读 · 0 评论 -
数据分析平台接入大数据平台报错
连不上服务器问题排查原创 2022-01-19 15:42:09 · 1795 阅读 · 1 评论 -
大数据学习笔记(正在更新)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、HDFS1.基本系统架构2.读写进程2.1写入2.2读取2.2读取性能提升3.HDFS架构关键设计3.1HDFS高可用性(HA)3.2元数据持久化3.3HDFS联邦3.4数据副本机制3.5储存策略3.5.1分级存储3.5.2标签存储3.5.3节点组存储3.5colocation同分布3.6数据完整性保障和其他关键设计要点说明3.6.1重建失效数据盘的副本数据3.6.2集群数据均衡3.6.3元数据可靠性保证3.6.4统一的文件原创 2021-03-22 16:32:10 · 813 阅读 · 1 评论