- 博客(3)
- 收藏
- 关注
RSS订阅原创 大数据SQL优化原理与实践系列之原理篇（二）
本系列文章为阅读学习《大数据SQL优化原理与实践》陈鹤 杨国栋◎著 一书的学习笔记。在阅读整篇之后，进行提炼和个人思考，欢迎讨论。此书共分为4篇，包括10章。认知篇（第1章）主要面向初学者阐述为什么大数据计算或存储引擎发展至今，最终都会选择以SQL作为统一查询语言的原因及利弊，大数据SQL从业者目前面临的主要问题是什么，以及调优的两个根本目标。
2025-01-11 13:46:02
1067
原创 大数据SQL优化原理与实践系列之认知篇（一）
在大数据发展历程中，我们经历了从开源组件的百花齐放到场景化查漏补缺、一体化集成平台的建设，再到理论体系和数据治理的深化。当前阶段强调的是精益管理和降本增效，如湖仓一体架构的提出以及MPP数据库在查询性能上的优化，都是为了适应更高效的市场需求。对于SQL语言而言，其声明式特性极大地简化了数据操作，使得SQL成为大数据处理不可或缺的一部分。然而，编写高效SQL语句仍需深刻理解优化器原理（CBO、RBO），这对从业者提出了更高要求。
2025-01-09 16:02:30
619
原创 以ROOT用户配置Hadoop集群并启动出错的解决办法。
环境：centos 8Hadoop-3.2.2Jdk-16.0.1 我在配置hadoop集群过程中，发现以root用户配置的hadoop集群初始化hdfs后启动会报错，错误如下：解决办法：1.需要在sbin目录下的start-dfs.sh，stop-dfs.sh文件添加一些字段。start-dfs.sh：HDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_N...
2021-07-08 11:08:28
4516
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人