- 博客(5)
- 收藏
- 关注
RSS订阅原创 Java包装类==问题分析
举例：Integer x = new Integer(4);JDK1.5以后，简化了定义方式。，可以直接写成：Integer x = 128;//自动装箱。通过valueOf，但注意 127>x>-128时装箱时候，指定一个数组进行缓存装箱对象。自动装箱：程序在应该使用对象的地方，使用了基本数据类型的数据，编译器把该数据自动包装成包装类的对象。x = x + 5;//自动拆箱。通过intValue方法拆箱，让值进行相加，再进行装箱给X对象。自动拆箱：程序在应该使用基本数据类型的地
2021-12-10 11:37:01
409
原创 spark源码分析-Standalone Cluster模式源码分析，driver，executor开启，如何idea 运行spark应用
史上最全面的spark源码分析，独一无二的分析，让你彻底明白spark 如何开启driver，以及什么时候会开启executor。本文使用spark3.0.1提供计算π 的案例进行演示 ，运行调度Standalone Cluster模式。演示步骤如下：启动master，ip:169.254.150.140启动worker:传参 spark://169.254.150.140:7077环境变量设置：调试的时候会报错java.lang.IllegalStateException: Cannot fin
2021-02-17 14:47:31
2945
6
原创 spark源码分析，master如何开启，master和worker是怎么通信
master的开启，开启了master，会在本机开启master netty服务端，用来接收远程或者本地客户端发送数据，再对master服务进行绑定。开启流程如:https://blog.youkuaiyun.com/LinkStars/article/details/112982187spark源码学习 -worker启动消息通信，inbox，outbox创建netty 服务端发送消息:master消息接收会存放到master 的inbox中，master 的inbox会不断轮询进行process，master
2021-01-31 12:34:36
1028
6
原创 spark源码学习 -worker启动消息通信，inbox，outbox创建
注意：建议各位看如下代码，一定要导入一份源码到自己本地电脑中哦，可以导入进行调试。流程代码我删除许多，保留重点。本章主要介绍的是，worker 开启，并与master通信流程，以及inbox收件箱outbox发件箱的创建。认真学习你可以收获许多哦，举例使用该inbox,outbox处理模式，可以嵌入到聊天程序当中哦，处理高并发请求。废话不多说，进入主题。park业务操作和数据传输相隔里，数据传输就交给netty，netty不涉及业务，提高netty服务器的响应时间，提高代码的复用性，降低耦合性。wor
2021-01-22 18:02:54
4766
10
原创 Cognos 优化-大数据量的报表
大数据量的报表如何优化？第一步：数据能持久化的尽量持久化，比如关联的维度表。第二步：优化sql,优化数据存储不要有数据倾斜。优化sql，一定要把Cognos自动生成的sql拷贝出来，查看能优化的地方。数据倾斜方面看各数据库的部署，是否是多节点负载均衡。第三步：报表sql并行化处理，针对大数据量报表展示（举例100万数据量，展现字段接近上百，有大量开窗函数处理汇总，未处理前1分30秒），对sql拆分，处理方案查询字段，汇总字段，性能可以提升到 只查询汇总的字段的时间。那sql是如何拆分呢？请看如下前
2021-01-20 23:46:48
958
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人