- 博客(122)
- 收藏
- 关注
RSS订阅原创 vue技巧（十）全局配置使用（打包后可修改配置文件）
vue js或json全局配置使用，打包后保持配置文件不变，支持打包后修改配置文件内容
2024-06-13 17:08:26
2464
2
原创 代理模式简单demo（java）
代理模式本质上的目的是为了增强现有代码的功能，其分为静态代理和动态代理两种。静态代理，代理类需要运行前编写代码实现。动态代理，代理类在运行中生成，常用的动态代理实现方式有jdk和cglib。
2023-12-02 15:54:19
1708
原创 HiveMetaStore: Not authorized to make the get_current_notificationEventId call.
HiveMetaStore: Not authorized to make the get_current_notificationEventId call.You can try to disable metastore.metastore.event.db.notification.api.authMetaException: User work is not allowed to perform this API call.
2023-06-04 09:08:36
1430
原创 spark sql（七）源码解析 - sparksql什么时候将时间类型转换成整型或者长整型，又是什么时候将整型或长整型转为时间类型？
sparksql什么时候将时间类型转换成整型或者长整型，又是什么时候将整型或长整型转为时间类型？
2023-04-02 13:48:26
771
原创 spark sql（六）sparksql自定义数据源
sparksql通过DataSourceRegister查找规则实现自定义hbase数据源
2023-03-19 00:49:28
2163
原创 spark sql（五）sparksql支持查询哪些数据源，查询hive与查询mysql的区别
sparksql支持查询的数据源类型，以及查询mysql和查询hive的源码过程简析
2023-03-04 11:10:44
3780
1
原创 spark sql（二）sql解析流程扩展
spark sql大体在四个阶段提供了扩展能力，分别是未解析的逻辑计划、解析后的逻辑计划、优化后的逻辑计划、物理计划。在这四个阶段后面我们都可以引入自己的处理逻辑。
2023-03-04 11:09:27
1155
原创 spark sql（一）源码分析sql解析流程
spark sql解析sql主要基于Catalyst框架，它将复杂的sql解析分为很多的阶段，如未解析的逻辑计划、解析后的逻辑计划、优化后的计划、物理计划等阶段，且每个阶段都有专门的工具类进行处理。
2023-03-04 11:08:49
1842
1
原创 hdfs（二）高可用单NameNode从standby恢复为active
将高可用hdfs ha降为单namenode可行。如果两个namenode有一个不能用了，紧急情况下就可以通过修改配置的方式将hdfs降低为单namenode的集群继续进行工作。
2023-01-22 18:50:45
2636
1
原创 hdfs（一）高可用单NameNode从standby恢复为active
hdfs ha集群中，通过新增namenode节点解决单namenode损坏导致集群处于standby状态问题
2023-01-22 16:45:40
2178
原创 hive（二）表 desc 描述元信息获取（java hive jdbc）
java hive jdbc一次性获取hive表数据在hdfs中的location位置、或者获取hive的文件存储格式、使用的压缩算法，甚至是表中的字段类型、字段注释、字段约束、表中是否有数据、数据大小、文件数等信息。
2022-12-09 21:44:51
5110
1
原创 spark源码（七）RDD cache、persist、checkpoint功能区别和源码解析
RDD cache、persist、checkpoint功能区别和源码解析
2022-07-17 21:10:56
1126
3
原创 druid + presto报错：java.sql.SQLFeatureNotSupportedException: Batches not supported
druid + presto报错：java.sql.SQLFeatureNotSupportedException: Batches not supported
2022-07-16 07:20:21
1196
原创 spark源码（六）spark如何通过BlockManager控制数据的读写
BlockManager三大读写模块：MemoryStore：负责内存数据的读写；DiskStore：负责磁盘数据的读写；BlockTransferService：负责远程数据的读写
2022-07-11 22:36:06
1532
原创 spark源码（零）阅读总纲
系统了解spark任务的提交，driver、application的调度与注册，资源的分配，executor的创建，job到stage再到task的切分过程，hdfs文件数据的读写操作，RDD本身的map reduce操作，持久化、check point的高可靠性容错性的实现等。............
2022-06-25 11:03:20
713
原创 spark源码（五）DAGScheduler TaskScheduler如何配合提交任务，application、job、stage、taskset、task对应关系是什么？
DAGScheduler TaskScheduler如何配合提交任务，各个阶段如何划分？一个application可能有多个job提交，因为每个行为算子都调用runjob方法，即都对应一次job任务提交一个job可能有多个stage，划分依据主要是RDD是不是出现了shuffle，即每个宽依赖都会导致新stage的生成。一个stage对应一个taskset，且为stage中每个分区创建一个task任务。askset包含一组task，每个task执行逻辑相同，主要是面向stage不同的分区...
2022-06-25 10:58:49
623
原创 spark源码（四）executor在worker上的创建过程，executor本质是什么，是线程池吗？
executor在worker上的创建过程，executor执行task的本质是提交任务到缓冲线程池
2022-06-19 20:29:39
790
原创 spark源码（三）spark 如何进行driver、executor任务的调度，以及executor向driver的注册
spark 如何进行driver、executor任务的调度，以及executor向driver的注册
2022-06-19 10:20:48
1438
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人