- 博客(132)
- 收藏
- 关注
原创 制造业数字化和业财一体化方面的专业名词
本文系统梳理了制造业数字化与供应链管理领域的核心术语体系,分为五大板块:1)制造业数字化(MES/ERP/APS等生产管理系统);2)业财一体化(财务共享中心、成本核算等);3)供应链数字化(SCM、JIT等);4)工业互联网(IoT、数字孪生等);5)数据平台(数据中台、BI分析等)。重点阐释了各系统的功能定位与应用场景,如MES连接生产现场与ERP,APS优化排产,业财一体化实现业务财务数据自动流转等,全面呈现了制造业数字化转型的关键技术架构与核心管理概念。
2026-06-02 14:52:28
239
原创 emqx5.8.8集群搭建
本文档详细介绍了在Ubuntu系统上部署EMQX5.x三节点生产集群的完整流程。主要内容包括:环境规划(推荐8C16G配置)、hostname设置与验证、EMQX安装与集群配置(采用static集群模式)、系统调优(文件句柄和内核参数优化)、防火墙设置、集群状态验证方法,以及生产环境关键配置(关闭匿名访问、连接数优化等)。文档特别强调了hostname解析和Erlang节点通信的重要性,提供了Nginx负载均衡配置方案,并推荐了Prometheus+Grafana监控体系。
2026-05-28 11:56:59
517
原创 OkHttpClient的最佳实践优化方案
本文介绍了OkHttpClient的最佳实践优化方案。首先指出不应在每次请求时实例化新Client对象,建议使用单例模式共享Client实例以避免资源浪费。其次讲解了ConnectionPool的优化配置,默认5个连接池可调整为20个以提升性能。最后建议根据业务场景调整Dispatcher参数,如将默认并发数从64提升到128,单域名并发从5提升到12。这些优化能显著提高HTTP请求性能,特别是在高并发场景下。
2026-05-06 19:22:55
59
原创 关于监控emqx上消息波动的问题
文章摘要: 针对物联网设备消息处理中出现的流量波动和消息丢弃问题,发现原net.dreamlu框架线程池配置不合理(固定2线程)。升级至org.dromara.mica-mqtt 2.5.12版本后,通过优化线程池配置(如mqtt-executor-size调至8)、支持动态参数调整(如心跳策略、session保留等),显著改善了消息处理性能,减少了流量波动和消息丢失。建议进一步优化线程池设计,将核心线程数与最大线程数解耦,采用弹性配置以适应业务流量波动,提升系统吞吐量。
2026-04-25 14:37:39
90
原创 《零基础入门Spark》学习笔记 Day 18
SparkMLlib框架下的推荐系统算法主要包括协同过滤和频繁项集两种方法。协同过滤分为用户协同过滤(User-CF)和物品协同过滤(Item-CF),通过分析用户行为数据挖掘相似性进行推荐。频繁项集算法(如Apriori和FP-Growth)则通过挖掘数据中的频繁共现模式来发现关联规则,其中Apriori采用逐层搜索策略,FP-Growth通过构建前缀树提高效率。两种方法分别适用于不同的推荐场景,协同过滤更侧重个性化推荐,而频繁项集更擅长发现潜在关联规则。
2026-04-24 22:58:29
54
原创 飞书机器人发文本消息
摘要:本文介绍了两种发送飞书文本消息的方法。第一种使用飞书官方SDK,需要导入依赖并构造JSON消息内容,通过CreateMessageReq构建请求体,调用SDK发送消息并处理响应结果。第二种通过Webhook方式,获取群聊机器人Webhook地址后,构建包含文本内容的JSON payload,使用HTTP POST请求发送消息。两种方法都提供了错误处理和日志记录功能,第一种方法更适合集成开发,第二种方法更简单直接。关键点包括消息内容构造、请求体构建和错误处理机制。
2026-04-21 14:47:57
375
原创 《零基础入门Spark》学习笔记 Day 17
GBDT与K-means算法核心思想及应用对比 GBDT(梯度提升决策树)通过迭代构建依赖关系的决策树,每棵树拟合前一棵树的残差,具有强大的拟合能力但需防止过拟合。通过设置树深度和数量参数来控制模型复杂度。而K-means是一种无监督聚类算法,基于欧氏距离迭代优化质心位置,实现"物以类聚"的效果。两者分别代表了监督学习和无监督学习的典型方法:GBDT适用于预测任务,需防止过拟合;K-means则擅长数据分组,结果可用于人群划分或作为特征输入监督模型。
2026-04-21 10:39:22
111
原创 《零基础入门Spark》学习笔记 Day 16
本文介绍了两种重要的机器学习方法:决策树和随机森林。决策树通过树形结构进行决策,其节点分为特征节点和分类叶子节点,样本纯度决定特征选择和模型收敛。随机森林通过构建多个决策树(采用Bootstrap采样和随机特征选择)并整合预测结果来提高准确性和鲁棒性。其优点包括抗过拟合、处理高维数据、鲁棒性强和可并行化;缺点为解释性差、训练时间长和对噪声敏感。这两种方法各具特点,适用于不同场景的机器学习任务。
2026-04-15 22:54:18
164
原创 emqx的Keep alive
MQTT协议中KeepAlive默认值通常为60秒,客户端可设置为0来禁用心跳。EMQX服务端提供保护机制,允许配置最大KeepAlive值和1.5倍宽限期。建议在实时性和资源消耗间平衡设置,区分应用层MQTT Keep-Alive和传输层TCP Keep-Alive。设备异常在线时,缩短KeepAlive时间最有效。
2026-04-14 17:36:53
335
原创 《kafka核心源码解读》学习笔记 Day 02
本文分析了Kafka日志加载日志段的核心机制。日志作为日志段的容器,主要通过LogAppendInfo、LogLog源码、RollParams等核心组件实现管理功能。日志段文件包含.log、.index等基础文件,以及.snapshot、.deleted等特殊用途文件。日志初始化流程包括创建分区路径、初始化LeaderEpoch缓存、加载日志段对象等关键步骤。其中LeaderEpoch检查点文件和缓存对象的生成尤为重要,用于确保数据一致性。
2026-04-11 14:11:57
271
原创 《零基础入门Spark》学习笔记 Day 15
本文介绍了特征工程中的离散化处理方法和Embedding技术。离散化通过Bucketizer将连续数值划分为离散区间,提升特征区分度,需设置输入输出列及分割区间。Embedding部分阐述了多种向量化方法,包括热独编码、PCA降维、Word2Vec等,旨在将数据映射为特征向量。最后提到SparkMLlib提供的向量计算工具,如VectorAssembler和VectorSlicer等,用于构建和优化特征向量。这些技术共同服务于机器学习模型的训练过程。
2026-04-11 10:38:57
51
原创 《零基础入门Spark》学习笔记 Day 14
摘要:特征工程是机器学习的关键环节,通过数据转换提升模型性能。主要方法包括:预处理(如StringIndexer将字符串转为数值索引)、特征选择(如ChiSqSelector基于统计方法筛选重要特征)、归一化(MinMaxScaler统一特征值域提升训练效率)。这些技术可有效提高数据质量、增强特征相关性并降低计算复杂度。
2026-04-10 14:22:52
161
原创 《零基础入门Spark》学习笔记 Day 13
摘要:Spark Structured Streaming通过readStream API创建DataFrame进行流数据处理,主要包含Source、Processing和Sink三个核心概念。示例演示了WordCount计算流程:从socket源获取数据,经拆分、展平、分组计数后,使用writeStream输出到控制台,支持Complete/Append/Update三种输出模式。其中Complete模式输出全部处理结果,Append输出最新作业结果,Update输出有变化的结果。处理流程通过start
2026-04-08 22:56:15
384
原创 《零基础入门Spark》学习笔记 Day 12
摘要:GBDT和随机森林的数据处理流程相似,都经过StringIndexer、VectorAssembler和VectorIndexer转化为训练样本。Spark MLlib的Pipeline包含Transformer(如StringIndexer)和Estimator(如模型算法)两类组件,支持并行计算和长距离依赖处理。Estimator简化了模型训练流程,内置分布式训练支持。Pipeline通过组合多个Transformer和Estimator提升开发效率,确保训练测试数据一致性,支持代码复用
2026-04-07 10:52:35
205
1
原创 《kafka核心源码解读》学习笔记 Day 01
Kafka日志段实现解析:日志段是Kafka存储消息的基本单元,由消息日志文件(.log)和三个索引文件(.index、.timeindex、txnindex)组成。每个日志段通过FileRecords保存消息,使用lazyOffsetIndex、lazyTimeIndex和txnIndex管理索引。
2026-04-03 08:51:31
296
原创 业财一体化的核心设计模式
摘要:业财一体化通过数据共享、流程优化和实时监控,实现业务与财务深度融合。核心包括:1)建立统一数据平台,实施ETL整合;2)重组业务流程,嵌入财务环节;3)利用大数据实时分析,设定KPI监测;4)促进跨部门协作与文化融合;5)应用智能工具支持决策;6)战略对齐确保财务业务协同;7)构建风险管理体系。最终提升企业运营效率和决策水平。
2026-04-02 20:00:49
121
原创 《零基础入门Spark》学习笔记 Day 11
摘要:Spark MLlib是Apache Spark的机器学习库,提供分类、回归、聚类等算法实现。机器学习通过训练数据自动优化模型参数,分为监督学习(如SVM)、无监督学习(如K-means)和强化学习三大类。使用流程包括数据探索(特征选择)、模型训练(如LinearRegression类)和效果评估(分类/回归/聚类指标)。Spark MLlib通过DataFrame处理数据,支持从数据提取到模型比较的完整机器学习流程。
2026-04-01 20:10:39
258
原创 《零基础入门Spark》学习笔记 Day 10
Hive与Spark的集成主要有两种模式:Spark with Hive和Hive on Spark。前者以Spark为执行引擎,利用Hive的元数据服务;后者将Hive查询转换为Spark的DAG任务执行。Hive的核心架构包含用户接口和Driver组件,通过可插拔方式整合元数据库、存储系统和计算引擎。查询执行流程包括解析、优化和执行三个阶段,支持MapReduce、Tez和Spark三种计算引擎。
2026-04-01 08:59:03
497
原创 《零基础入门Spark》学习笔记 Day 09
摘要:数据关联优化中Join操作主要有HashJoin、SortMergeJoin和NestedLoopJoin三种实现机制。HashJoin效率最高但内存需求大,SortMergeJoin稳定性更好且无内存限制,NestedLoopJoin支持等值和不等值关联。SparkSQL支持ShuffleJoin和BroadcastJoin两种分发模式,BroadcastJoin通常性能更优,但要求广播表能完全放入内存。开发者可根据数据规模、内存情况等选择适合的Join策略,SparkSQL会优先选择满足条件的Br
2026-03-31 09:04:33
247
原创 《零基础入门Spark》学习笔记 Day 08
本文介绍了数据关联的不同分类方式及其实现机制。从关联形式看,可分为内关联、外关联(左/右/全外关联)和半关联(左/右半关联)。从实现机制看,主要包括嵌套循环关联(NLJ)、排序归并联(SMJ)和哈希关联(HJ)三种方式。NLJ通过主动扫描驱动表实现关联;SMJ采用先排序后归并的方式;HJ则分为构建哈希表和探测查询两个阶段。不同的关联形式和实现机制适用于不同的计算场景,执行效率差异显著。文章详细阐述了各种关联类型的特点和实现原理。
2026-03-30 13:05:20
95
原创 《零基础入门Spark》学习笔记 Day 07
摘要:SparkSQL提供SQL和DataFrame算子两种数据处理方式,支持临时表创建和跨会话访问。其采用ANTLR语法解析器,兼容多种数据仓库查询语句。DataFrame算子分为六大类:RDD同源类、探索类、清洗类、转换类、分析类和持久化类,涵盖数据转换、聚合、预处理等操作。SparkSQL内置丰富函数,学习成本低,适合数据检索与分析场景,且具有延迟计算特性,仅在执行Action算子时触发计算。(150字)
2026-03-29 23:08:24
456
原创 screw-core生成数据库表结构文档简单例子
Screw-core是一款轻量级数据库文档生成工具,具有多数据库支持(MySQL、Oracle等)、多格式输出(HTML/Word/Markdown)和高度可定制化特点。使用步骤包括:1)添加Maven依赖(screw-core、数据库驱动和HikariCP);2)配置数据源和生成参数,可设置输出目录、文件类型和忽略表等选项;3)通过DocumentationExecute执行生成。该工具简化了数据库文档生成流程,支持自定义模板和灵活配置,只需简单Java代码即可快速生成专业数据库设计文档。
2026-03-27 18:03:38
300
原创 《零基础入门Spark》学习笔记 Day 06
摘要:本文详细介绍了在Spark中创建DataFrame的多种方法。主要包括:1)从Driver端数据结构创建DataFrame的注意事项;2)从文件系统(CSV/JSON/Parquet)读取数据的方法和优化选项;3)从关系型数据库(如MySQL)读取数据的四种方式及性能优化技巧;4)数据写入操作的最佳实践。文章提供了完整的代码示例和关键参数说明,特别强调了大规模数据处理时的优化策略,如分区读取、批量写入和内存管理等。
2026-03-27 14:32:37
472
原创 《零基础入门Spark》学习笔记 Day 05
摘要:DataFrame是具有Schema的结构化数据集,相比RDD能更高效地存储和访问数据。SparkSQL通过Catalyst优化器和Tungsten引擎提升性能:Catalyst负责逻辑优化(如谓词下推、列裁剪)和物理优化;Tungsten优化数据结构(使用紧凑的UnsafeRow)和代码执行(通过全阶段代码生成WSCG将多个算子合并)。这些优化显著提高了Spark的数据处理效率。
2026-03-27 08:51:34
79
原创 《零基础入门Spark》学习笔记 Day 04
摘要:Spark存储系统负责管理内存和磁盘中的数据,包括Shuffle中间文件、RDD缓存和广播变量。核心组件BlockManager通过MemoryStore(基于LinkedHashMap结构)管理内存数据块元数据,DiskStore借助DiskBlockManager实现磁盘数据访问。Shuffle中间文件包含数据和索引文件,类似Kafka设计;RDD缓存提升计算效率;广播变量减少数据分发开销。整个系统通过分层管理机制高效完成数据存取。
2026-03-26 13:38:56
257
原创 财务基础术语
本文系统介绍了企业财务管理的核心概念:资产(流动资产/非流动资产)、负债(流动负债/非流动负债)和所有者权益构成资产负债表;收入、费用和利润形成利润表;现金流分为经营、投资和筹资活动。关键指标包括毛利率、净利率,核算方法涉及折旧摊销。三大报表(资产负债表、利润表、现金流量表)完整呈现企业财务状况、经营成果和现金流动,为财务分析提供基础框架。(149字)
2026-03-25 13:46:01
65
原创 _update_by_query简单使用
"source": "ctx._source.remark= '测试'"是要更新的字段和内容。query是限制查询条件。
2024-02-20 15:12:59
586
原创 StarRocks简单使用
从clickhouse迁移到StarRocks,研究讨论后,决定使用flink进行kafka同步到StarRocks。StarRocks可以选择固定分区和动态分区,考虑到数据增长,故选按天进行动态分区。4、写同步数据的flink sql,配置source和sink。4、使用mybatis的多数据源框架,配置多数据源进行查询。因数据都是日志类数据,帮选择了Duplicate。连接StarRocks可视化工具:SQLyog。在查询的方法前配置注解。
2023-03-29 10:11:48
2704
2
原创 《零基础入门Spark》学习笔记 Day 03
本文介绍了Spark中的广播变量和累加器两种共享变量。广播变量用于向所有工作节点分发大型只读数据,通过broadcast函数创建,能有效节省网络和内存开销,但注意不能直接广播RDD。累加器主要用于全局计数,支持Long、Double和集合类型,在Driver端定义初始值,在Executor端更新,最终在Driver端获取结果。两种变量都需注意其定义和使用的范围限制。
2023-01-18 16:22:44
397
原创 《零基础入门Spark》学习笔记 Day 02
本文介绍了Spark RDD的两种核心算子类型:转换算子(Transformations)和执行算子(Actions)。转换算子包括数据转换(map/filter等)、聚合(groupByKey/reduceByKey等)、整合(union/join等)、整理(sample/distinct)和重分布(coalesce/repartition)五类操作,它们仅建立RDD依赖关系而不触发计算。
2023-01-17 23:21:37
264
原创 《零基础入门Spark》学习笔记 Day 01
Spark内存管理分为四个区域:预留内存(300MB)、用户内存(存储自定义数据结构)、执行内存(任务计算)和存储内存(数据缓存)。执行内存和存储内存可动态转换,遵循三条抢占规则:1)空闲内存可互相抢占;2)执行内存需求优先,存储内存需立即释放资源;3)存储内存回收需等待任务完成。执行内存具有最高优先级,确保计算任务优先获得资源。这种机制平衡了计算与缓存需求,优化了Spark作业性能。
2023-01-16 23:06:50
225
原创 golang语言中简单操作es几个例子
使用库(olivere/elastic/v7)操作es。1、初始化es操作客户端。2、使用must查询数据。4、查询后,根据字段排序。
2022-11-10 19:35:32
1944
原创 数据清洗-使用es的ingest
通常es产品里面,数据清洗的logstash,这里使用另外的ingest做简单的数据处理。还可以使用ScriptPrcessor,这种自由度更大,可以处理稍微复杂点数据。这里是根据逗号分隔数据,变成数组。
2022-07-24 10:11:37
817
原创 go 同步 kafka 数据程序
简单用go手了一个kafka同步到另外一个kafka程序package mainimport ( "logcopy/config" "logcopy/utils/kafka" "context" "encoding/json" "errors" "flag" "fmt" "io" "os" "os/signal" "syscall" "time" kafkago "github.com/segmentio/kafka.
2022-05-31 16:06:01
562
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅