- 博客(7)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 【浅谈 Apache Doris FE 处理查询 SQL 源码解析】
在使用 Apache Doris 时，我们可以通过 Apache Doris FE Web 页面或者 Mysql 协议执行 SQL 语句，但是对于 Apache Doris 背后如何对 SQL 进行处理，我们无从所知。本文章内容主要讲解 Apache Doris 查询 SQL 在 FE 节点处理原理。Doris 查询语句和市面主流的数据库处理阶段都差不多，需要经过 Parse,Analyze,Optimize,Plan,Schedule,Execute 等阶段。 ...
2022-06-13 11:52:41
875
原创 Doris FE源码解读系列之源码编译踩坑。
Doris FE源码解读系列之源码编译踩坑一、前言最近在学习Doris FE源码，按照Doris官网开发者手册下载源码时，出现了很多问题，比如Jar包无法加载、编译项目报错、Thrift 插件无法引用等等，导致卡壳时间太久，所以总结如下经验分享给大家，避免大家在同样问题花大量时间去解决。Apache Doris官方文档：https://doris.apache.org/zh-CN/developer-guide/fe-idea-dev.html#_4-%E8%AE%BE%E7%BD%AE%E7%8E
2022-04-23 17:26:21
2536
1
原创 Mac 使用IDEA编译Doris 1.0 代码，安装成功Thrift，编译报错thrift did not exit cleanly. Review output for more informat
今天在编译Doris 源码的时候出现thrift did not exit cleanly. Review output for more information.报错，出现这个原因主要是thirdparty的加载路径是错误的。下面我拿fe-common 作为例子，看pom文件的这个路径上文件是否存在，这个路径必须和thirdparty的路径一直。提醒：DORIS_THIRDPARTY 需要在base_profile文件或者maven配置中写明，否则无法加载thrift...
2022-04-20 17:20:41
4323
原创 面试题：Spark数据倾斜解决方案
在面试大数据开发岗位中，Spark是必须具备的技能之一。最近在复习Spark时，感觉spark发生数据倾斜场景有很多，但是在面试时，说太多了感觉太废话了。如何在面试中思维清晰的回答数据倾斜问题呢？下面是个人总结的观点，有问题麻烦各位技术大佬指导。数据倾斜原理：在进行shuffle的时候，必须将各个节点上相同的key拉取到某个节点上的一个task来进行处理，比如按照key进行 聚合或join等操作。此时如果某个key对应的数据量特别大的话，就会发生数据倾斜。比如大部分key对应10条数据，但是个别ke
2021-10-29 10:18:52
917
1
原创 腾讯财经股票免费接口
一、以贵州茅台为例，要获取最新行情，访问数据接口：http://qt.gtimg.cn/q=sh600519即返回数据：1v_sh600519="1~贵州茅台~600519~358.74~361.29~361.88~27705~12252~15453~358.75~8~358.74~4~358.72~7~358.71~6~358.70~5~358.77~3~358.78~2~358.79~16~3...
2018-05-30 11:38:15
10301
spring完整jar包
2018-05-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人