自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(665)
  • 资源 (18)
  • 收藏
  • 关注

原创 华为数字化转型-平台篇

4.1 1 一把手担责4.2 2 战略引领4.3 3 重构业务4.4 4 转人磨芯4.5 5 眼高手低- 数字化转型一定要从高处着眼,目标要远大,要系统性地描绘出数字化转型愿景和架构蓝图,形成变革全局视图,确保企业上下一盘棋。但在具体开展时,企业一定要从解决自身的现实问题入手,识别业务运作的高能耗点、管理低效点以及客户体验缺失环节,找准转型突破口进行重点推进而非面面俱到,赢得信心,从而让更多人愿意参与进来,并带动其他转型工作有序开展。

2025-04-01 08:20:51 939

原创 华为数字化转型-方法篇

IT产品团队由于包含了业务、数据、IT人员,更适合引入服务化架构,使得IT系统由做“功能”变为做“服务”,将一个复杂的IT系统拆分为一个个相对解耦的应用服务,使其能够基于业务场景的变化进行快速优化和迭代,从而更加灵活地响应业务变化。在规划工作中,规划团队首先需要解读企业业务战略和商业模式的变化,识别出企业的“新定位、新业务、新模式”,再思考通过什么样的变革来支撑业务战略目标的达成,进而通过一系列变革项目来改变业务运作模式,支撑业务发展和商业成功。(2)业务能力:业务能力是服务化变革的入手点。

2025-03-30 20:44:52 679

原创 华为数字化转型-认知篇

模式,以清晰的业务战略作为数字化转型规划的输入,通过愿景来描绘未来5~10年数字化转型将取得的成就,进而设计架构蓝图,对愿景进行系统性的、分层分级的梳理和诠释,最后规划出变革项目,承接数字化转型举措,并为每一个项目确定优先级。客户需求的差异化和企业间分工的精细化,让单一企业的产品越来越难以满足客户的“痛点”需求。我们认为,只有认识到数字化带来的企业内生产关系的变化,设计好未来的企业运营模式,重新定义“总部”“区域”和“一线项目组”的关系,才能让数字化成为缩短决策链条、提升运营效率的推进器。

2025-03-30 20:30:32 545

原创 kv server code 分析

最后使用函数getDirectRequest调用store.LoadLastMsg然后使用mset.outq.send将消息发送到消费者的inbox。核心处理函数是processDirectGetLastBySubjectRequest,下图显示了调用堆栈和跟踪。kv流的访问有所不同,将通过功能subscribeToDirect设置为直接访问。

2025-03-09 21:15:30 254

原创 nats kv client code分析

update需要设置expectedRevision,其动作可以描述为:如果键存在并且其最新版本(expectedRevision)与预期匹配,则将其设置为键的值。使用 subject “DIRECT.GET.KV_profiles.$KV.profiles.sue.color”通过指令:DIRECT.GET. 告诉服务端调用 $JS.API.DIRECT.GET.KV.profile"就是一个流,如果有人写错了代码,可以删除它。使用filter订阅的要注意,以下代码是有问题,不能包括"sue"

2025-03-09 21:10:14 768

原创 nats jetstream server code 分析

jetstream导入两个对象:stream and consumer,在stream 之上构造jetstreamapi。在nats代码中,以下是一些常见的缩写。

2025-03-09 20:56:04 927

原创 nats jetstream 测试和客户端分析

当一个消息保存到store后,一个全局的seq 被返回并送给客户端,实现了message的可最终和最少一次发送。当一个客户端发送了stream message,processJetStreamMsg 负责处理消息。当创建stream的时候,最重要的 option 是 retentionPolicy。msg先写入缓存,然后再写入磁盘,所以如果不是在集群模式下,可能会丢失。最后,写入磁盘的函数是flushPendingMsgsLocked。可以使用如下模式设置timeout。最后返回消息给客户端是如下函数。

2025-03-09 20:37:58 818

原创 nats queue subscription 服务端代码分析

同时当一个服务被订阅的事后,$SRV 相关tpoic也被订阅,但只要service是使用队列订阅, 以下是通过增加测试代码的输出。首先可以看到下面的调用stack信息,可以看到调用了sublist.go 的insert 函数。如果在订阅使用了队列中,则放入qsubs map对象中,否则将放入psubs map对象中。如果是queue模式,解析接收到的message并发送给消费者是调用如下函数。如果打开debug模式和添加一些调试低码,跟踪消息处理可以得到如下结果,其中。非队列模式是如下代码。

2025-03-07 22:15:50 162

原创 nats service frame 代码分析

现在我们可以使用 req 来 ping 了,注意,下面的 $SRV.PING.minmax 不能被符号 ’ 或 " 包含。我们可以使用队列组“q”,所有服务提供者都会在队列中,以避免多个实例响应相同的请求并提供高可用性。service endpoint 订阅是通过 qGroup 参数来订阅,可以参考下面的代码。会得到如下输出,可以清楚的看到订阅了哪个subject以及是否通过队列订阅。注意,这里是 SRV ping,不是健康连接中使用的 ping/pong。然后让我们看看服务构建函数。

2025-03-05 21:18:05 402

原创 nats request 和reply 客户端模式代码分析

理论上,你可以使用两个消费者来回复同一个请求,两个请求都会发送给请求者,但只有一个响应会被分派到 Future.get 函数,我们使用 Future 来支持某些场景,例如从不同来源获取营销建议,但只向我们的客户显示一个。当每个返回的信息达到客户端的时候,deliverReply function 被dispatcher调用,通过token +remove 来保证每次request 只有第一个到达的reply会触发future调用。

2025-03-05 21:06:14 188

原创 nsc account 及user管理

从安全角度,推荐使用sign 模式进行nats account及用户管理此外通过nsc 管理用户和权限,可以统一实现全局管控,包括subject管控,避免随意增减subject。

2025-02-14 19:38:05 1136

原创 nats 消息系统架构

nats focus 在realtime ,但缺少了iot,另外nats的核心是快速,在core里面其实没有提供al least once, exactly once模式。Subject Mapping:通过消息mapping,实现原始subject按policy 转发到一个或者多个subject下,用于灰度分流,细分访问控制等场景。nats的serviceframe = request/reply+queue +指定$SRV subject。nats server/lead的核心对象。

2025-02-14 08:07:19 537

原创 Doris 2.1 Optimization Technology Principle Statistics

Doris 2.1 Optimization Technology Principle Statistics, very important for CBO

2025-01-25 16:04:23 39

原创 Doris 2.1 Optimization Technology Principle 学习笔记

Queries Acceleration Optimization Technology Principle

2025-01-25 15:54:39 135

原创 Queries Acceleration -Tuning- Common Tuning Parameters 学习笔记

2.1 Whether to enable the new optimizer 2.2 Default Value-true 2.3 For scenarios such as low-version upgrades, initially set to false; after upgrading, it can be set to true3.1 Whether to enable DML support for the new optimizer 3.2 Default Value-true

2025-01-24 18:16:45 156

原创 Queries Acceleration -Tuning- Tuning Execution 学习笔记

Doris runtime waittime , skey and parallelism adjustment

2025-01-24 18:13:27 134

原创 Timeout or no response waiting for NATS JetStream server

当使用jetStream 出现"Timeout or no response waiting for NATS JetStream server" 错误的时候要注意后面的“no response”,尤其是开发测试,要去check server 是否启动了 jet stream。

2025-01-24 08:34:19 371

原创 Doris 2.1 Queries Acceleration -Tuning Plan学习笔记

Doris 优化步骤

2025-01-20 18:27:41 188

原创 doris 2.1 Queries Acceleration-Hints 学习笔记

2.3 UnUsed 和 SyntaxError:Both indicate that the hint is not effective. SyntaxError indicates that there is a syntax error in using the hint or the syntax is not supported, and additional information about the unsupported reason will be provided.

2025-01-20 18:18:28 114

原创 Doris 2.1 Queries Acceleration Colocation Join学习笔记

类似把相关表cluster 放在一起。

2025-01-20 18:14:19 70

原创 mark 一下conductor github

Netflix 关闭conductor 后,后续https://orkes.io/content/ 继续在维护,github地址如下。最新release为3.21.11。

2025-01-12 19:54:26 87

原创 Doris 2.1 Queries Acceleration- High-Concurrency Point Query 学习

Doris 2.1 Queries Acceleration- High-Concurrency Point Query 学习。

2025-01-11 22:28:00 144

原创 Doris 2.1 Queries Acceleration- SQL Cache学习笔记

【代码】Doris 2.1 Queries Acceleration- SQL Cache学习笔记。

2025-01-11 22:04:28 182

原创 Doris 2.1 Queries Acceleration -Materialize View 学习笔记

Doris 2.1 Queries Acceleration -Materialize View 学习笔记。

2025-01-10 22:44:28 189

原创 Doris 学习 Queries Acceleration -Performance Tuning Overview学习笔记

Doris 学习 Queries Acceleration -Performance Tuning Overview学习笔记。

2025-01-10 22:26:46 158

原创 利用apache tika进行文件类型侦测

利用org.apache.tika.Tika最好使用stream模式,如果使用文件模型,默认是通过后缀来侦测的:因此可以通过修改后缀来跳过侦测,而stream更准确。

2025-01-09 08:56:17 609

原创 openresty log记录response

nginx配置示意如下。

2025-01-07 21:52:58 660

原创 doris 2.1 Data Queries Common Table Expression & UDF 学习笔记

doris 2.1 Data Queries Common Table Expression & UDF 学习笔记。

2025-01-06 08:31:27 75

原创 Doris 2.1 -Data Queries Window Function 学习笔记

5.2.1 The LAG() method is used to calculate the value of the current line several lines ahead-函数能够提供对当前行之前给定偏移处的行的访问.5.1.1 LAG 和 LEAD 函数适用于值之间的比较。两个函数无需进行自连接,皆可以同时访问表中的多个行,从而可以提高查询处理的速度。5.3 而 LEAD 函数则提供对当前行之后给定偏移处的行的访问。

2025-01-06 08:26:18 202

原创 doris 2.1 temporay partition 测试及总结

主要的场景就是用于分区替换注意导入和查看都需要加上temporary partition注意只能使用 SHOW TEMPORARY PARTITIONS 查看是否有临时分区,使用partition函数看不到注意replace后临时分区不再存在。

2025-01-05 13:43:08 49

原创 doris 2.1 Data Queries-Multi-Dimensional Analytics 学习

d_date为null,第一位值为1,i_category==null的时候,第二位值值1。3.3.2 用二进制表达的grouping,每个column占一位。

2025-01-05 10:50:52 190

原创 Doris 2.1 -Data Queries-Subquery 学习笔记

【代码】Doris 2.1 -Data Queries-Subquery 学习笔记。

2025-01-05 10:45:17 82

原创 Doris 2.1 Data Queries-Join 学习笔记

1.1 INNER JOIN: Comparing each row of the left table with all rows of the right table based on the JOIN condition, returning matching rows from both tables. For more details, refer to the syntax definition for JOIN queries in SELECT.1.2 LEFT JOIN: Buildin

2025-01-03 21:25:50 427

原创 doris 2.1 -Updating Data 学习笔记

5.3.4 Doris 支持了 sequence 列,通过用户在导入时指定 sequence 列,相同 key 列下,按照 sequence 列的值。5.3.5 sequence 列目前只支持 Unique 模型。,较大值可以替换较小值,反之则无法替换。

2025-01-03 19:20:18 154

原创 Doris 2.1 Deleting Data 学习笔记

当swap=false时,table2的数据替换table1,然后table2被删除 -注意是。4.4 谨慎使用-表会被删除。– 创建一个大分区的临时分区。– 导入多个小分区的数据。

2025-01-02 08:41:13 421

原创 Doris 2.1-Data Manipulation-Export 学习笔记

Doris 2.1-Data Manipulation-Export 学习笔记。

2025-01-02 08:32:22 67

原创 Doris 2.1-Data Queries MySQL Compatibility

Doris 2.1-Data Queries MySQL Compatibility 学习笔记

2025-01-01 22:34:48 144

原创 doris 2.1 -Data Manipulation-Transaction

doris 2.1 -Data Manipulation-Transaction。doris 只能控制读一致性,并不能rollback

2025-01-01 22:22:50 349

原创 Doris使用注意点

自己学习过程中整理,非官方。

2024-12-28 20:17:13 118

原创 doris 2.1 -Data Manipulation-Loading Data

【代码】doris 2.1 -Data Manipulation-Loading Data。

2024-12-24 16:54:08 108

Semantic Software design -语义软件设计一书的资源

Semantic Software design -语义软件设计一书的资源,语义软件设计是一种软件架构设计理念,强调concept的设计、传播、实施

2023-11-12

TECHNOLOGY STRATEGY PATTERNS 一书的资源

TECHNOLOGY STRATEGY PATTERNS 一书的相关模板

2023-11-12

starburst.io 关于datamesh的演进稿

starburst.io 关于datamesh的演进稿,非常适宜于了解data mesh 及如何使用data mesh解决大数据问题。 属于架构和方向类材料,非具体技术方案

2023-03-11

keda 安装测试资源包

从green field 安装k8s 1.23 及keda 2.7.1 测试用资源,修正了官方的一些小BUG,具体用法参考: https://radishgz.blog.youkuaiyun.com/article/details/125158063

2022-06-07

LINUX tcp 优化资料,

重点包括 1、windows scaling factor 计算 2、mtu 侦测 3、性能参数列表

2022-05-09

cloudera 对kafka 安全、配置、优化和管理的建议 pdf

cloudera 对kafka 安全、配置、优化和管理的建议

2022-03-12

kafka 3.1 broker 属性清单

自己整理的kafka 3.1 broker 属性清单

2022-03-11

aws well arhcitecture ml lens

aws well arhcitecture ml lens

2022-02-05

aws well architect 系列,英文版本

aws well architect 系列,英文版本,包括 analytics-lens.pdf management-and-governance-lens.pdf wellarchitected-financial-services-industry-lens.pdf wellarchitected-framework.pdf wellarchitected-high-performance-computing-lens.pdf wellarchitected-iot-lens-checklist.pdf

2022-01-26

PIP-31_ Transactional Streaming.docx

pulsar 消息事务控制设计文档

2021-11-10

hadoop 安全设置guide

A practitioner’s guide to securing your Hadoop cluster Presentation.pptx

2021-08-27

dolphinscheduler 1.3.6 编译镜像

dolphinscheduler 1.3.6 编译镜像,用于编译dolphinscheduler

2021-07-28

dolphinscheduler parameter and date compute test.json

dolphinscheduler 日期转换及参数测试流程

2021-07-16

error boundaries and suspense.rar

react error boundaries and suspense 测试代码,对应blog:https://blog.youkuaiyun.com/weixin_40455124/article/details/116222462

2021-04-28

clojure cheatsheet-usletter-color.pdf

clojure 关键字sheet ,用于快速查看clojure语法及内置form、macro等

2021-03-09

Clojure Handbook (by jamesqiu).pdf

一个clojure hand book

2021-03-08

可靠性计算公式大全.doc

可靠性计算公式大全,用于计算系统可用/可靠性

2021-01-11

example-graphql-tools.rar

基于kickstart 的官方example ,自己测试graphql 的一些功能的代码,测试是具有kickstart spring boot 7.1.0 github代码测试的,单独部署需要修改gradle文件

2020-09-08

localjmx_httpserver-0.11.0-jar-with-dependencies.jar

jmxagent :一个prometheus exporter ,监控node上所有java 进程,0.11 版本jar

2020-05-01

cncf-execrise@20200404.tar

cncf 学习yaml,基于https://edu.aliyun.com/roadmap/cloudnative?spm=5176.8764728.631162.112.29b420beKg5Yge

2020-04-05

ali CNCF学习笔记.rar

全套CNCF 学习笔记,主要内容来自https://edu.aliyun.com/roadmap/cloudnative?spm=5176.8764728.631162.112.29b420beKg5Yge 及官方文档等

2020-04-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除