- 博客(69)
- 资源 (10)
- 收藏
- 关注
RSS订阅
原创 DPDI(Dispatch PDI)kettle调度管理平台 --介入前后的对比剖析
DPDI定义DPDI(全称Dispatch PDI)是一款基于Kettle的强大在线任务调度平台，凭借其高效与灵活性，专为调度和监控Kettle客户端生成的ETL任务而设计，是您的智能ETL任务调度专家DPDI特性支持Windows,Mac和Linux环境,一键完成部署,轻松实现智能化操作。配备美观易用的UI，提供便捷的可视化操作体验。支持属地化部署，精准满足您的特定业务需求。由三倍镜成员团队共同研发，确保平台的创新性和专业性。提供个性化定制服务，灵活适应市场变化。
2025-04-24 23:00:40
1903
原创 DPDI online在线调度系统环境部署
DPDI Online是⼀款基于Kettle的强⼤在线任务调度平台，凭借其⾼效与灵活性，专为调度和监控Kettle客户端生成的ETL任务而设计，是一款智能ETL任务调度专家
2024-08-08 10:02:31
1330
原创 DPDI Online在线kettle调度工具
DPDI online是基于kettle构建的一个高效、灵活的在线任务调度平台，专门用来调度和监控由Kettle客户端创建的ETL任务，支持多服务器多kettle版本运行
2024-08-06 12:56:32
14943
原创 数据分析师成长之路-数据分析思维
《数据思维：年薪50万分析师的核心竞争力》摘要 优秀数据分析师的核心竞争力不在于工具熟练度，而在于数据思维能力。这种思维包含三个关键步骤：明确问题本质（What）、挖掘数据背后的业务真相（Why）、选择恰当分析方法（How）。真正有价值的数据分析是能用数据讲出影响决策的商业故事。培养数据思维需要保持好奇心、深入业务场景、持续追问数据意义。在数字化时代，这种透过数据看本质的能力，正成为职场最具价值的核心竞争力之一。
2025-12-09 13:11:15
359
原创 数据分析师成长之路--从SQL恐惧到数据掌控者的蜕变
数据分析师成长之路：从SQL基础到高阶应用 本文系统介绍了数据分析师从SQL入门到精通的完整学习路径。首先通过20个典型SQL示例，覆盖基础查询、条件筛选、数据聚合、表连接和日期处理等核心技能，并详细讲解MySQL8.0的SQL99标准语法特性。随后进阶到业务场景实战，包括用户留存分析、性能优化和自动化监控等高级应用。文章强调SQL不仅是取数工具，更是连接业务理解与分析思维的桥梁，建议初学者采用"先运行后理解"的方式快速上手，并通过建立查询库、定期回顾等方式持续提升。最后指出SQL只是数
2025-12-09 10:18:22
799
原创 数仓深度探索系列：智能制造中数仓应用
智能制造不是单一技术的突破，而是系统级的融合与重构。从CPS到PLM，从云计算到数字孪生，从工业软件到智能装备，每一个环节都在重新定义制造业的未来。对中国而言，这既是挑战，也是从“制造大国”迈向“制造强国”的历史性机遇。数据仓库作为智能制造系统的重要组成部分，通过数据整合、分析和管理，为企业提供强大的决策支持和运营优化能力。未来，随着技术的不断进步，智能制造和数据仓库的应用将更加广泛和深入，为制造业的转型升级提供强有力的支持。
2025-11-20 13:29:19
253
原创 数据仓库深度探索系列：数仓建设全流程解析
数据仓库建设全流程深度解析：从需求到架构的完整指南 本文系统介绍了数据仓库建设的全流程，涵盖前期调研、数据域划分、指标体系构建、总线矩阵设计、数据模型选择、数据治理及运维优化等关键环节。文章强调业务导向的设计思路，详细讲解了如何通过需求分析、业务调研和数据调研奠定建设基础，并提供了多种数据域划分方法。在技术层面，重点解析了维度建模、范式建模等主流方法的特点与适用场景，以及总线架构的核心设计原则。同时，文章还阐述了数据治理的理论框架和实践路径，强调数据资产化管理的重要性。最后指出，持续优化和创新是确保数据仓库
2025-11-20 13:22:20
1110
原创 从v0.0.4到v2.0.4：DPDI核心调度平台的稳定运行一周年纪实
摘要： DPDI核心调度平台从v0.0.4到v2.0.4历经一年多迭代，已稳定运行365天以上。通过深度重构，v2.0.4在大型国企数据中台实现99.99%调度准确率，完成1000+用户验证，通过安全漏洞扫描。关键升级包括优化Cron调度、自研引擎、RBAC权限管理和多平台预警功能。某国际物流企业案例显示任务效率提升50%，资源利用率提高40%。未来将聚焦新产品研发和定制化服务扩展，持续提升企业数据调度稳定性。
2025-11-07 10:19:59
777
原创 Kettle 插件大全：解锁数据处理新姿势，全面提升开发效率
这是一系列功能强大的Kettle插件，能显著增强数据处理能力。它们覆盖数据同步、转换、输出与运维，例如通过CDC插件实现多数据库实时同步，利用Doris插件进行高速数据写入，或借助Word模板插件批量生成文档。此外还包含解析身份证、简繁转换、对接消息队列与国产数据库等实用工具，能大幅提升开发效率。如需获取，请联系我们。
2025-09-15 13:46:57
770
原创 上海工作：梦想之城的奋斗与收获
摘要： 上海作为国际化大都市，汇聚众多企业与行业，为求职者提供广阔机遇，但竞争激烈，需持续提升能力。工作节奏快、压力大，加班和通勤成为常态，而高薪资常被生活成本抵消。尽管挑战重重，上海的成长空间和回报仍吸引追梦者。这座城市以机遇与压力并存的特点，激励人们为梦想奋斗。
2025-07-30 10:57:00
376
原创 数据仓库深度探索系列：架构选择与体系构建
本文系统介绍了数据仓库架构的类型与关键技术组件。主要内容包括：1）常见数仓架构类型（数据集市、Inmon企业工厂、Kimball、混合型等）及其适用场景；2）经典数仓架构的四大层次（数据源、存储、处理、应用）；3）关键技术组件（ETL工具、存储技术、建模与可视化工具）；4）架构选择方法论，强调需平衡需求满足、技术可持续性、稳定性等要素。文章指出，没有最优架构，企业需结合业务特点、数据规模和分析需求选择最适合的方案，并持续优化以适应技术发展。
2025-07-30 10:29:10
916
原创 Oracle转Mysql建表脚本
该SQL脚本实现了从Oracle数据库到MySQL数据库的建表语句转换。主要功能包括： 从Oracle系统表中提取表结构信息（user_tables、user_tab_columns等） 进行数据类型转换（如VARCHAR2转VARCHAR、NUMBER转decimal/bigint等） 生成完整的MySQL建表语句，包含表名转换（添加edi_前缀）、字段定义、非空约束和注释 特殊处理了文本类型、数值精度、时间戳等数据类型 最终输出按表名和列ID排序的建表脚本 转换后的表结构包含表名、字段定义、注释等完整信
2025-07-25 13:58:52
311
原创 数据仓库深度探索系列 | 开篇：开启数仓建设新征程
【数据仓库建设开启企业数字化转型新篇章】数据仓库作为现代企业数据管理的核心基础设施，正从单纯的存储工具演变为支持复杂决策的战略资产。三倍镜团队推出"数据仓库深度探索系列"，从架构设计、实施管理到应用案例全方位解析，帮助企业构建高效数据体系。数据仓库通过整合多源数据、提升数据质量、支持深度分析，为企业提供统一决策视图，助力业务优化与创新发展。随着技术演进，数据仓库已进入智能化阶段，融合大数据与AI技术，成为企业数据价值挖掘的关键引擎。本系列将为企业数字化转型提供专业指导，推动数据驱动决策能
2025-07-25 13:08:30
2001
原创 DPDI：Kettle任务调度与管理的高效解决方案
DPDI是一款专为Kettle设计的任务调度与管理平台，弥补了Kettle在任务调度、管理和监控方面的不足。该平台提供一键部署、优雅界面、灵活部署等特性，支持多版本Kettle任务调度，具备任务监控、资源管理、预警管理等核心功能。DPDI采用自主研发技术，支持邮箱、钉钉和企业微信预警通知，可对接多种数据库，实现多服务器多版本任务运行。平台支持属地化部署，永久免费使用，同时提供付费咨询和定制开发服务，帮助企业高效管理Kettle任务，降低数据业务启动成本。
2025-07-16 09:38:03
1278
原创 DPDI实操演练第004讲-1分钟快速调度Kettle本地任务
摘要：DPDI调度管理平台为Kettle提供了高效的任务调度解决方案。用户只需1分钟即可完成本地转换任务配置：下载安装DPDI和Kettle，启动服务后登录系统，在资源管理中指定Kettle任务路径，配置任务参数（调度方式、内存等），最后启动任务并实时监控执行状态。DPDI的智能调度和预警功能显著提升了Kettle的任务管理效率，适用于各类数据处理场景。（150字）
2025-06-25 13:21:46
415
原创 国产调度神器来袭！免费、高效、超智能，Dispatch PDI 让数据处理飞起来！
在挑选 Kettle 调度管理平台时，Dispatch PDI 绝对应该成为你的首选。它免费、安全、高效、智能、稳定，还有强大的兼容性，几乎满足了一个优秀调度管理平台所有的标准。对于想要在数据处理上更进一步的企业来说，Dispatch PDI 就是一把钥匙，能帮你打开高效数据处理的大门。别再犹豫了，赶紧去试试吧！
2025-06-22 21:00:00
505
原创 高手谈单的721法则-销售就是搞定人
高手谈单的 "721法则"摘要（149字） 谈判高手运用"721法则"提升成交率：20%精力用于专业展示，包括定制方案、匹配案例和客户见证；70%时间专注建立信任，通过生活/工作/爱好话题拉近距离，并针对不同客户类型采用差异化沟通策略；10%资源处理客户异议，运用专业话术消除顾虑。配套十个谈判秘诀，包括掌握主动权、谨慎回应、策略开局等技巧，强调以合作共赢为目标，通过真诚赞美和灵活策略达成交易。核心是通过精准需求洞察与情感共鸣实现高效成交。
2025-06-17 15:38:50
470
原创 国产免费软件Dispatch PDI来袭！--三倍镜带来的新话题
国产数据调度工具DispatchPDI稳定版V2.0.4上线，由三倍镜团队基于Kettle自主研发，永久免费且功能无限制。该软件针对Kettle在任务调度方面的不足，提供了更灵活、可视化的解决方案，已通过1000+用户验证及国企安全测试。用户可通过官网或微信公众号获取Windows/Linux/Mac版本安装包，支持MySQL数据库资源库。针对常见问题，团队建议合理配置并行任务内存、检查日志级别设置，并组建了微信交流群方便用户沟通。作为国产替代方案，DispatchPDI正助力企业数字化转型。
2025-06-12 15:16:37
496
原创 Dispatch PDI(DPDI)kettle调度管理平台稳定版本，正式登场！
DispatchPDI v2.0.4稳定版正式发布，通过国企级安全验证，已获1000+用户认可。该ETL在线调度管理平台以安全可靠著称，现推出首支产品介绍视频，诚邀用户评价，后续将发布更多操作教程
2025-06-10 23:05:37
272
原创 Dispatch PDI V2.04 发布预告
Dispatch PDI V2.04即将发布，带来全方位功能优化 6月7日，Dispatch PDI V2.04将正式推出，这是一次功能强化与性能提升的全面革新。新版本新增首页任务失败概览功能，实时监控ETL调度异常；系统管理支持灵活配置日志保留时长和编码设置，解决乱码问题。同时修复了Linux环境下进程终止漏洞，优化了变量校验、任务编辑保存等稳定性问题，并提升了临时文件管理和资源库导出效率。社区版仍将保持永久免费，功能无限制。这一版本承载团队诚意，助力用户高效完成数据调度任务。
2025-06-03 15:56:12
727
原创 数据治理全攻略：释放数据资产的巨大价值
国际数据管理协会（DAMA）定义数据治理为：“对数据资产管理行使权力和控制的活动集合。国际数据治理研究所（DGI）则称其为：“一个通过一系列与信息相关的过程来实现决策权和职责分工的系统，这些过程依据达成共识的模型执行，该模型明确了谁（Who）能基于什么信息，在什么时间（When）和情况（Where）下，用什么方法（How），采取什么行动（What）。笔者认为，所有旨在提高数据质量的技术、业务和管理活动均属于数据治理范畴。
2025-04-18 16:21:19
914
原创 DPDI版本升级说明
在此期间，三倍镜团队秉持高度责任感，主动与用户保持高频沟通，针对用户反馈的各类问题，我们秉持“问题不过夜”的原则，迅速响应并隔天紧急发布修复版本，先后发布了v2.0.1和v2.0.2，以确保用户能够获得稳定、高效的使用体验。通过这几天的用户反馈与持续优化，我们进一步完善了自研的定时调度功能模块，这不仅为当前产品的稳定运行提供了有力保障，更为我们未来拓展其他产品功能奠定了坚实基础，例如调度 DataX、Hop等ETL工具。这一步骤不仅能够提升您的使用体验，还能为您的数据管理提供更多的灵活性和稳定性。
2025-04-04 20:47:55
1026
原创 Dispatch PDI 社区版全新升级
Dispatch PDI是一款基于Kettle的强大在线任务调度平台，凭借其高效与灵活性，专为调度和监控Kettle客户端生成的ETL任务而设计。Dispatch PDI 具有以下特性：一键部署 支持Windows、Mac和Linux环境，一键完成部署，轻松实现智能化操作。自主研发 由三倍镜团队联合开发，拥有完整源代码知识产权，保障平台的创新性与专业性。优雅界面 配备美观易用的UI，提供便捷的可视化操作体验。灵活部署 支持属地化部署，精准满足您的特定业务需求。提供个性化定制服务，灵活适应市场变化。
2025-03-25 22:34:51
1003
原创 Dispatch PDI升级预告
全新视觉设计，优化界面布局，带来更直观、更流畅的操作体验，大幅提升用户交互效率。修复Cron调度方式重复调用问题，确保任务触发精准到秒，提升调度可靠性。新增系统管理菜单，涵盖用户及功能权限配置，实现精细化权限管理。支持路径配置，快速获取ETL任务，任务管理更加便捷高效。优化仓库管理中的文件及文件夹路径选择，操作更加便捷高效。支持本地文件调度，不依赖资源库，调度方式更加灵活自由。官网：http://triplemirror.com/提供系统版本、版权信息等，方便用户快速了解系统详情。
2025-03-17 17:24:22
426
原创 三倍镜团队给您拜年啦！愿您在新的一年里，数据如龙腾四海，调度如鱼跃龙门！
过去的一年，DPDI的成长离不开每一位用户的陪伴和支持。新的一年，我们将继续努力，为大家带来更好的产品和服务。我们相信，在新的一年里，DPDI会变得更加优秀，也会给大家带来更多的惊喜。愿大家在新的一年里家庭幸福美满，身体健康，万事如意。让我们携手共进，共创美好未来！三倍镜团队给您拜年啦！愿您在新的一年里，数据如龙腾四海，调度如鱼跃龙门！
2025-01-27 15:36:59
608
原创 实操演练第003讲-数据通途:客户端连接SQL Server的完美攻略
SQL Server Management Studio (SSMS) 是一种集成环境，用于管理从 SQL Server 到 Azure SQL 数据库的任何 SQL 基础结构。SSMS 提供用于配置、监视和管理 SQL Server 和数据库实例的工具。使用 SSMS 部署、监视和升级应用程序使用的数据层组件，以及生成查询和脚本。
2025-01-21 13:12:48
1499
原创 数据处理与任务调度的双引擎：ETL工具PDI与DPDI调度管理工具的全面剖析
Dispatch PDI是基于PDI构建的一个高效、灵活的在线任务调度（Dispatch）平台。它允许开发人员和数据工程师以简单的方式定义、管理和执行定时的数据处理任务，是大数据环境中的ETL流程自动化的好帮手Dispatch PDI是一款基于PDI的强大在线任务调度平台，凭借其高效与灵活性，专为调度和监控PDI客户端生成的ETL任务而设计DPDI Online 具有以下特性多服务器多版本支持：无缝整合不同服务器和Kettle版本，确保任务执行兼容性和一致性。
2025-01-10 16:14:31
1321
原创 DPDI实操演练第002讲-最强三件套之Dispatch PDI+PDI+PRD生成DPDI应用数据库数据字典
PDI也称为Kettle,PDI是利用Spoon设计器设计转换(Transformation)和作业(Job),转换主要是针对数据的各种处理,⼀个转换⾥可以包含多个步骤(Step),作业是处理流程,⼀个作业⾥包括多个作业项(Job Entry),⼀个作业项代表了⼀项⼯作,转换也是⼀个作业项。资源管理->连接配置、修改数据库URL（IP，端口，数据库Schema）->新增->选择数据库类型->填写数据库名称、数据库描述、数据库用户名、数据库密码->点击测试连接->测试连接成功点击确定完成数据库连接配置。
2024-10-31 15:50:09
1915
原创 DPDI实操演练第001讲--手工调度本地PDI任务生成日期维度数据
DPDI Online 您的智能ETL任务调度专家DPDI Online 是一款基于Kettle的强大在线任务调度平台，凭借其高效与灵活性，专为调度和监控Kettle客户端生成的ETL任务而设计DPDI Online 具有一下特性多服务器多版本支持：无缝整合不同服务器和Kettle版本，确保任务执行兼容性和一致性联合开发：由三倍镜成员团队共同研发，确保平台的创新性和专业性灵活部署：支持属地化部署，满足您的特定业务需求定制化开发：提供个性化定制服务，以适应不断变化的市场需求。
2024-10-24 16:56:36
1038
原创 Dispatch PDI发布新版本了
我们很高兴地宣布，Dispatch PDI的全新轻量级版本现已在官网上线！这款专为高效ETL任务调度和监控设计的平台，将为您的数据处理带来前所未有的便捷。轻量版不含Kettle客户端，如需Kettle客户端，请与我们联系，我们将提供百度网盘的下载链接。如在下载、部署或使用过程中遇到任何问题，欢迎随时联系三倍镜团队。加入三倍镜，让我们助您一臂之力，共同开启数字化转型的新篇章！我们承诺成为您坚实的后盾，确保您能够顺利使用新版本。关注官网的最新动态栏，了解本次更新的详细信息。使用手册和最佳实践也可在官网找到。
2024-10-22 11:54:32
333
原创 DPDI基础版安装部署说明
DPDI online部署包下载地址：Windows: http://files.pizzalord.site/api/public/dl/7Tnq6ScE/release/dpdi-community-win.zipLinux: http://files.pizzalord.site/api/public/dl/otCt9WuI/release/dpdi-community-linux.zipDPDI应用部署支持windows和Linux环境部署，采用运行脚本一键启动，结合web页面引导完成部署，部署方式
2024-09-10 17:15:20
1043
原创 DPDI Online在线kettle调度系统升级内容
DPDI online是基于Pentaho Data Integration构建的一个高效、灵活的在线任务调度（Dispatch）平台。它允许开发人员和数据工程师以简单的方式定义、管理和执行定时的数据处理任务，是大数据环境中的ETL流程自动化的好帮手
2024-08-15 17:32:27
256
原创 DPDI online在线kettle调度工具环境部署升级
DPDI Online 是一款基于Kettle的强大在线任务调度平台，凭借其高效与灵活性，专为调度和监控Kettle客户端生成的ETL任务而设计
2024-08-15 17:28:14
5215
2
原创 DPDI online
DPDI online是基于kettle构建的一个高效、灵活的在线任务调度平台，专门用来调度和监控由Kettle客户端创建的ETL任务，支持多服务器多kettle版本运行
2024-08-09 10:52:07
329
原创 DPDI online在线调度系统介绍
DPDI Online 是一款基于Kettle的强大在线任务调度平台，凭借其高效与灵活性，专为调度和监控Kettle客户端生成的ETL任务而设计
2024-08-08 10:21:51
13308
2
原创 再谈kettle两种循环之--调用http分页接口循环获取数据
总结：循环的设计可以解决循环1内存溢出的问题，该设计关键在于需要在job中勾选GET_HOUSE_DATA转换的两个勾以及设置参数传递（Options 下的Execute every input row和Parameters下的Copy results to parametes）循环job可参考，变量运用可参考，调用http分页接口循环获取数据可参考，生成连续记录可参考，MD5加密可参考。表输入：这里采用数据库连接，运用sql的方式生成http接口调用信息，框出来部分是循环变量替换的关键设置。
2024-06-26 16:08:31
4856
原创 kettle安装文件下载(含多版本)
kettle是一款基于java开发的洗数工具，可以通过图像化的操作界面，拖拉拽的操作方式，实现数据导入导出清洗等功能，还支持编写脚本进行数据处理，功能十分强大。本文主要记录一下kettle各版本下载路径。
2024-06-25 15:31:47
8234
原创 kettle实时增量同步mysql数据
*Debezium介绍官网地址：https://debezium.io/documentation/Debezium是一个开源项目，为捕获数据更改(Capture Data Change,CDC)提供了一个低延迟的流式处理平台，通过安装配置Debezium监控数据库，可以实时消费行级别row-level))的更改。作为一个分布式系统,Debezium也拥有良好的容错性Debezium支持数据源：MySQL,MongoDB,PostgreSQL,Oracle,SQL Server等。
2024-06-14 14:40:51
1610
1
原创 Linux部署调度工具xxl-job
所以大家在实施kettle作业调度功能的时候，通常采用以下几种方式：使用spoon程序来启动Job，使用crontab或计划任务，自主开发java程序来调用kettle的类库。 xxl-job是一个分布式的任务调度平台，其核心设计目标是：学习简单、开发迅速、轻量级、易扩展，现在已经开放源代码并接入多家公司的线上产品线，开箱即用。xxl是xxl-job的开发者大众点评的许雪里名称的拼音开头。读后有疑问请加QQ群！作者个人qq:420773639。如内容有错欢迎大家指正！3. 部署maven环境。
2024-06-04 15:50:59
2197
1
原创 mysql日期格式说明
V:周(01-53)星期日是一周的第一天，与%X使用。%v:周(01-53)星期一是一周的第一天，与%x使用。%r:时间，12-小时(hh:mm:s5AM或PM)%X:年，其中的星期日是周的第一天，4位，与%V使用。%x:年，其中的星期一是周的第一天，4位，与%V使用。%T:时间，24-小时(hh:mm:ss)%U:周(00-53)星期日是一周的第一天。%u:周(00-53)星期一是一周的第一天。%d:月的天，数值(00-31)%e:月的天，数值(0-31)%m:月，数值(00-12)
2024-04-15 17:14:38
687
kettle Debezium插件
2024-06-14
XXL-JOB资源文件
2024-06-04
kettle实现SQL关联查询
2024-04-03
kettle连接需要的jar包.rar
2019-10-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人