- 博客(134)
- 收藏
- 关注
RSS订阅
原创 【一 简明数据分析进阶路径介绍（文章导航）】
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总、理解和消化，以最大化地开发数据的功能，从而发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
2024-02-22 10:32:08
773
1
原创 COZE扣子-每日诗词有声阅读、插画推送
无论你是否有编程基础，都可以在扣子上快速搭建基于大模型的各类 AI 应用，并将 AI 应用发布到各个社交平台、通讯软件，也可以通过 API 或 SDK 将 AI 应用集成到你的业务系统中。智能体：智能体是基于对话的 AI 项目，它通过对话方式接收用户的输入，由大模型自动调用插件或工作流等方式执行用户指定的业务流程，并生成最终的回复。借助扣子提供的可视化设计与编排工具，你可以通过零代码或低代码的方式，快速搭建出基于大模型的各类 AI 项目，满足个性化需求、实现商业价值。传入诗词相关信息，让大模型生成提示词。
2025-03-31 14:58:34
381
原创 《Kettle保姆级教学-日志写入数据库（通过修改kettle.properties一劳永逸）》
第一步的方式只能对某个转换/作业生效，怎么做到所有的转换/作业都可以生效呢，这时候就需要修改kettle.properties文件。双击空白处，进入配置页面。可以看到日志已写入数据库。使用其他作业进行测试。
2025-02-26 16:32:35
227
原创 《Kettle保姆级教学-Carte集群搭建及启动使用》
Carte是轻量级的HTTP服务器（基于Jetty），后台运行，监听HTTP请求来运行一个作业。其也用于分布式和协调跨机器执行作业，也就是Kettle的集群。
2025-02-26 15:31:59
669
原创 《Kettle保姆级教学-性能调优，抽取速率提升800%》
通过优化Kettle的配置、调整转换步骤、优化SQL查询等，可以显著减少数据处理的时间，尤其是在处理大规模数据集时，性能提升的效果更加明显。还可以在现有的硬件资源下处理更多的数据，减少对额外硬件设备的需求，从而降低硬件成本。示例：堆8G（年轻代3G），Xss512k → (8-3)*1024/0.5 ≈ 10240线程。最大线程数 ≈ (Xmx - Xmn) / Xss。可显著提升批量操作和大数据查询效率。提交记录数量从1000提升至5000。
2025-02-19 16:14:52
1263
原创 Window环境安装PostgreSQL数据库
PostgreSQL是一种特性非常齐全的自由软件的对象-关系型数据库管理系统（ORDBMS），是以加州大学计算机系开发的POSTGRES，4.2版本为基础的对象关系型数据库管理系统。POSTGRES的许多领先概念只是在比较迟的时候才出现在商业网站数据库中。PostgreSQL支持大部分的SQL标准并且提供了很多其他现代特性，如复杂查询、外键、触发器、视图、事务完整性、多版本并发控制等。同样，PostgreSQL也可以用许多方法扩展，例如通过增加新的数据类型、函数、操作符、聚集函数、索引方法、过程语言等。
2025-02-18 10:34:54
229
原创 《Kettle实操案例三（数据库全量迁移）》
将mysql库的所有表迁移至PostgreSQL数据库中，但是一张张表进行导出导入十分繁琐，利用kettle可以实现批量迁移，需事先在目的库中创建表结构。转换-获取记录各个组件配置如下，在表输入和表输出组件中使用变量${tablename}，进行动态抽取。转换-获取记录的各个组件配置如下，获取常量tab_name，传入变量${tablename}选择子作业-数据抽取，勾选【执行每一个输入行】，实现对每张表都进行数据抽取。转换-获取表名各个组件配置如下，获取源库所有的表名并复制到结果。
2025-02-18 10:17:58
620
原创 《Grafana进阶教程-使用百度地图》
Business Charts Panel是Business Suite中的一个组件。业务图表面板允许您将Apache ECarts库创建的图表和图形集成到Grafana仪表板中。Apache ECharts是一个功能强大、通用的数据可视化库，提供了广泛的图表类型，包括统计功能。它是用纯JavaScript编写的，基于zrender，一个用于图表渲染的轻量级图形库。Business Charts插件提供了一种简单的方法，可以将直观，交互式和高度可定制的图表添加到您的Grafana仪表板。
2025-02-12 10:29:00
729
原创 《存储过程的原理及实战应用》
存储过程（Stored Procedure）是用PL/SQL语言编写的能完成特定功能的程序单元，编译后存储在数据库字典中。声明部分（可选）可执行部分（必需）异常处理部分（可选）
2025-02-08 11:07:58
618
原创 SQL语言分类-DQL/DML/DDL/DCL
核心功能创建数据库对象（表、视图、索引、同义词、聚簇等）sql复制⚠️重要特性：DDL操作是隐性提交的，不可回滚（ROLLBACK无效）
2025-02-08 10:30:53
395
原创 《Kettle实操案例三（生成日期/月份序列，固化历史数据）》
对历史合同数做每月固化，历史合同数=count(合同id，where合同日期<=当月)，通过etl过程输出从2000年-2019年的每个月历史的合同总数。获取上个月最后一天的系统信息，传入SQL，获取在上个月最后一天之前的合同数量，存入目标表。表格:日期表DATE_TIME 两个字段 date(日期),id（合同id）因为是计算2000年到2019年的数据，所以过滤数据，确保最大日期在此之前。因为是计算2000年到2019年的数据，值设置为2000-01。结果表 三个字段:年月，历史合同数，日期标志位。
2025-02-08 10:07:07
944
原创 《Kettle实操案例二（前置任务判断与邮件发送）》
从客户ERP系统取数，客户ERP会有一个批处理任务，每天3：00-12：00间结束，期间不能处理数据，只能在结束之后进行数据抽取。ERP的批处理任务完成后，会在erp_etl_log表的last_update_time字段记录完成时间。（2）将数据抽取开始时间存入erp_etl_log表的etl_process_time字段。（3）前置批处理任务未完成时发送未完成邮件提醒，前置批处理任务完成时发送完成提醒。通过${update_flag}变量判断批任务是否完成，完成为1，反之为0。抽取数据，插入目标表。
2025-02-08 09:33:11
373
原创 《Kettle实操案例一（全量/增量更新与邮件发送）》
有两张数据表，tableA(源表)，tableB(目标表)，存在不同的数据库中，现在需使用kettle作为ETLI具将tableA里的数据抽取至tableB里并记录日志信息。要求:(1)目标表无数据时，使用全量更新实现数据抽取;(2)目标表有数据时，使用增量更新实现数据抽取;(3)将转换名称、执行日期(单位/天)，转换执行时长(单位/秒)，目标表抽取前行数，目标表抽取后行数，执行开始时间，执行结束时间插入日志表；(4)执行结果发送到指定邮箱
2025-02-07 16:34:06
1185
原创 《Grafana进阶教程-使用Apache ECharts图表》
数据可视化在过去的几年中得到了长足的发展。开发者对于可视化产品的期待不再是简单的图表创建工具，而在交互、性能、数据处理等方面有了更高级的需求。Apache ECharts由百度前端团队开发和维护，提供了一个快速构建基于Web的可视化图表的声明式框架。它可以在PC和移动设备上流畅运行，并兼容当前绝大部分浏览器（如IE9/10/11, Chrome, Firefox, Safari等）。Apache ECharts底层依赖矢量图形库ZRender，能够生成直观、交互丰富、可高度个性化定制的数据可视化图表。
2025-02-07 15:23:36
949
原创 《Kettle保姆级教学-变量图文详解》
变量是在Kettle转换或作业中用于存储临时数据的一种机制。与参数不同，变量通常用于在转换或作业的当前执行过程中存储和传递数据，而不是用于控制转换或作业的行为。变量可以是全局变量（在整个转换或作业中可用）或局部变量（仅在特定步骤或作业项中可用）。在Kettle的转换或作业设置界面中，可以通过“变量”选项卡来定义全局变量。在转换的步骤或作业项中，也可以通过特定的步骤或作业项来定义局部变量。
2025-02-06 15:18:08
681
原创 《Kettle保姆级教学-作业控件w字图文详解》
Kettle 是一个开源的 ETL（Extract, Transform, Load，提取、转换、加载）工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment，广泛应用于数据集成、数据清洗、数据迁移等领域。它的名字“Kettle”源自其“装置”功能的含义，即“把各种数据源像水一样提取出来并进行处理”。
2025-02-06 15:04:14
920
原创 《Kettle保姆级教学-转换控件2w字图文详解》
Kettle 是一个开源的 ETL（Extract, Transform, Load，提取、转换、加载）工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment，广泛应用于数据集成、数据清洗、数据迁移等领域。它的名字“Kettle”源自其“装置”功能的含义，即“把各种数据源像水一样提取出来并进行处理”。
2025-02-06 10:28:14
2265
原创 《Kettle保姆级教学-界面介绍》
Kettle是一个开源的ETL（Extract, Transform, Load，提取、转换、加载）工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment，广泛应用于数据集成、数据清洗、数据迁移等领域。它的名字“Kettle”源自其“装置”功能的含义，即“把各种数据源像水一样提取出来并进行处理”。在2006年被Pentaho公式收购后，重命名为。
2025-02-05 17:14:25
1039
原创 《Kettle保姆级教学-核心概念解析》
在介绍Kettle 核心概念之前，需要先了解什么是ETL。ETL是Extract（提取）Transform（转换）和Load（加载）的缩写，是数据集成中的一个常见过程。它描述了从多个数据源获取数据并将其转化成适合目标系统使用的格式的过程。ETL 广泛应用于数据仓库建设、数据清洗、数据迁移、数据集成等场景，帮助企业从不同来源汇聚、整理并加载数据，以便进行进一步的分析和决策。Kettle是一个开源的ETL。
2025-02-05 17:00:14
1000
原创 《Kettle保姆级教学-安装配置》
Kettle是一个开源的ETL（Extract, Transform, Load，提取、转换、加载）工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment，广泛应用于数据集成、数据清洗、数据迁移等领域。它的名字“Kettle”源自其“装置”功能的含义，即“把各种数据源像水一样提取出来并进行处理”。在2006年被Pentaho公式收购后，重命名为。
2025-02-05 16:55:28
798
原创 【三 （6）数据处理工具之 pandas与sql对应关系（帮助sql使用者快速上手pandas）】
本页旨在提供一些如何使用pandas执行各种SQL操作的示例，来帮助SQL使用者快速上手使用pandas。
2025-01-09 15:34:20
1241
原创 pyfink1.20版本下实现消费kafka中数据并实时计算
从kafka的demo获取消息，并将其中的b字段存入kafka的test_kafka_topic内，并打印sum(b)的值。查看往test_kafka_topic插入的b字段数据已被消费。可以看到sum(b)值已输出。
2024-12-12 17:35:33
693
原创 Centos7环境下安装Flink1.20
Flink 是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器，例如Hadoop YARN，但也可以设置作为独立集群甚至库运行。Flink 运行时由两种类型的进程组成：一个 JobManager 和一个或者多个 TaskManager。Client 不是运行时和程序执行的一部分，而是用于准备数据流并将其发送给 JobManager。之后，客户端可以断开连接（分离模式），或保持连接来接收进程报告（附加模式）。
2024-12-12 16:52:29
1105
原创 《Kettle实操案例四（mysql数据抽取至kafka/消费kafka数据存入mysql）》
Result fields：选择Get records from stream这个转换。事先在mysql中创建目标表以存放数据，也可以在该窗口点击SQL创建。Bootstrap servers:kafka集群中的ip及端口。Bootstrap servers:kafka集群中的ip及端口。consumer group：自定义。Messaage field：随便。操作选择Output value。Client ID:随便。Key field：随便。在sql窗口输入sql。Topic：拉下选择。
2024-12-06 15:16:44
1306
原创 系统规划与管理师历年综合知识真题重点知识点
规划设计从服务需求出发，终点为设计出符合业务需求和成果的服务方案。在需求阶段，客户结合服务目录的定义和自身要求，提出服务级别需求，服务供方根据服务需求，进行服务模式设计服务级别设计服务要素设计等关键获得，同时兼顾成本控制和定价，最终形成服务级别协议运营级别协议和支持合同。服务目录定义了服务供方所提供的服务的全部种类和服务目标。由于涉及的内容可能已经在其他文档中被提及，可以不再单独列出；
2024-12-03 17:24:44
948
原创 系统规划与管理师历年案例真题涉及知识点
识别客户服务内容、范围、目标、管理要求；识别需要的过程及过程目标；定义角色和职责；识别过程的活动，定义活动的相互关系、顺序、活动目标、活动的资源限制及管理要求；定义相关活动详细操作规范及衡量标准；定义过程的表单及信息记录保存要求；定义过程评价、评估及改进机制；自主保护级系统审计保护级安全标记保护级结构化保护级访问验证保护级。
2024-12-03 17:21:35
786
原创 第十章- 团队建设与管理必背知识
精神方面：表演、有高层领导签名的奖状、以标兵或榜样的身份分享成功经验，带薪休假、外派参加行业研讨会等。没有意愿去做：最难的就是没有意愿去做，反复辅导和沟通，或者协调相关资源确保目标完成。没有能力去做：通过培训或传帮带的形式告诉团队成员如何去做。1- 人员的岗位结构（管理岗、技术岗、操作岗）项目实施中，确保团队人力资源及必要的物力和财力。必须把团队的目标转化为员工的日常思想与行动。实现目标所需资源的现实性及到位的速度。处于不同职业生涯的员工采取的重点对策。3、分析自己掌握的或能够调配的资源。
2024-12-03 17:19:42
107
原创 第九章- IT服务营销必背知识
在服务运营过程中，要把握高层拜访的时机，特别是重要支持事件、投诉处理等，以便及时让客户高层了解所提供服务的价值，挖掘、引导客户高层对服务的需求和期望。做营销调研的重点是对客户关键需求的感觉、沟通能力和业务需求的理解，最好能参与客户的 IT战略规划和 IT 服务策划。9、供应商服务面临服务压力时的可扩展性，如当客户方因突发原因支持量增加 50%或更高时，供应商是否能够消化或有内部冗余力量给予解决。定期沟通的主要内容包括供需双方对服务达成情况的总结回顾，重点问题的协商处理及确立后续改进计划等。
2024-12-03 17:18:43
118
原创 部署kafka并通过python操作
Kafka的安装需要依赖于jdk和zookeeper。（kafka 2.11-1.1.0版本才与JDK1.7兼容，更高版本需要JDK1.8）；2.8之前版本的Kafka需要单独下载zookeeper，2.8及之后的Kafka已经内置了一个zookeeper环境，无需单独下载；
2024-12-03 17:14:58
1767
原创 第八章- IT服务监督管理必背知识
概述监督管理基于国家IT服务标准，全面评估IT服务，监督服务过程与交付结果，并实施绩效评估，贯穿服务全生命周期。此过程中，关键涵盖质量管理、风险管理和信息安全管理三大独立领域。质量管理通过制定方针、目标和计划，结合控制、保证与改进活动，确保服务达标并赢得用户满意。风险管理则聚焦于识别、分析风险并采取措施防范，以减少风险，提升服务成功率。而信息安全管理保障组织资产、信息及服务的保密性、完整性、可用性等关键属性，是组织安全架构的基石。三者协同，共同支撑高效、安全的IT服务运行。IT服务安全管理体系信息
2024-10-17 09:45:05
199
原创 第七章- IT服务持续改进必背知识
3、改进目标是进行改进项目或活动回顾的重要依据，因此必须确保其满足了用户和客户部门的需求，并且是符合法律法规及相关标准要求的。2、服务改进活动基本信息:包括服务改进活动名称、改进活动负责人、改进活动团队成员、计划活动起止时间、主要预期成果。1、改进目标应与服务目标相一致，这需要客户的参与，并与相关部门进行有效沟通。4、服务改进方案:包括总体方案和进度安排、各阶段具体活动、预算和资源安排。3、服务改进描述:包括服务改进动机、服务改进目标、涉及范围。6、服务改进回顾:包括主要衡量标准、改进回顾团队、时间安排。
2024-10-17 09:44:05
160
原创 第六章- IT服务运营管理必背知识
企业实践揭示，IT服务运营挑战多源自管理而非技术（含硬件、软件、网络、电力等）层面。为此，需对人员、资源、技术及流程实施有效管理。预防性活动：服务能力规划、知识管理及培训，岗位互备及轮岗，识别能力发展曲线，明确岗位交接管理说明，与客户、供应商及第三方明确相关的人员连续性管理流程。1、对技术成果进行培训与知识转移（知识性研发成果培训、工具类研发成果培训、应急预案与解决方案手册的知识转移）3、基于绩效考核分析的改进（管理改进、培训、激励、改变绩效方案）2、对技术成果的内容进行演练或推演（演练、排演、）
2024-10-15 09:33:10
166
原创 《Grafana进阶教程-存储数据库从sqlite切换为mysql，并进行数据迁移》
3、解决方式，因为表结构在mysql中已经生成，所以不需要再次执行，直接运行sqlite3mysql -f grafana.db -d grafana -u root -p -K。3、等待5-10分钟，重新访问http://127.0.0.1:3000/或者http://localhost:3000/,可以正常访问。2、然后运行默认命令sqlite3mysql -f grafana.db -d grafana -u root -p。日志路径：grafana/data/log/grafana.log。
2024-10-15 09:23:25
747
原创 第五章- IT服务部署实施必背知识
IT服务部署实施是连接规划设计与运营的桥梁，其核心在于客户化服务组件，同时确保采用标准化手段高效管理人、资源、技术及流程。此阶段涵盖规划服务变更或新服务在生产环境中的部署、执行与管理，旨在全面将设计要素融入生产环境，稳固服务运营基础。然而，实施时需平衡客户需求与自身IT服务能力及工具支持度，确保可持续性与效能。与客户、规划设计环节的负责人、服务交付团队的负责人进行沟通。2、角色与职责（我、IT服务总监、客户接口人、运维工程师）4、服务工具采购、安装部署、测试、初始化与上线计划。8、客户化服务管理过程，
2024-09-06 09:11:18
436
原创 第四章-IT 服务规划设计必背知识
通过精心策划服务要素（含人员、资源、技术及流程）、服务模式与方案，最终确立服务级别协议(SLA)，明确服务内容、连续性、可用性、能力及费用等关键条款。2、运营级别协议（OLA）：是与某个内部IT部门就某项IT服务签订的后台协议，在IT内部定义了所有参与者的责任，并将这些参与方联合在一起提供某项服务。1、服务级别协议（SLA）：是在一定成本控制下，为保障IT服务的性能和可靠性，服务供方和客户间定义的一种双方认可的协定。2. 可用性设计是IT服务模式设计的重要内容之一，它确保IT服务的可用性级别可以得到满足。
2024-09-06 09:10:11
232
原创 centos7手动更换yum源
1、访问http://mirrors.aliyun.com/repo/Centos-7.repo，保存文件。One of the configured repositories failed (未知),2、备份创建CentOS-Base.repo。
2024-07-26 09:45:28
287
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人