自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(52)
  • 资源 (1)
  • 问答 (1)
  • 收藏
  • 关注

原创 从零搭建一套板材智能套料系统:DXF解析 + 自动排料算法 + 利用率优化实战

✅ DXF 零件自动解析,支持异形件、带孔件;✅ 多板材、多数量配置,支持混料排料;✅ 工艺参数可配置(割缝、边界、时长);✅ 60 秒内出排版方案,综合利用率 82%+;✅ 逐板预览、利用率统计、PDF 导出;✅ 已完成原有 C++ 排料算法向 Java 的完整移植,取消独立外部引擎服务。后续可以做的优化:任意角度旋转:目前只支持 90° 倍数,对某些异形件,任意角度可能再提 2~3 个点利用率;共边切割:两个零件的直边贴在一起,只切一刀,省割缝还省时间;余料管理。

2026-08-29 11:49:07 305

原创 第 15 章 政务/制造业落地案例

本文介绍了基于DeepSeek-V3模型的政务审批智能问答系统实现方案。该系统利用128K长上下文处理能力,构建了完整的政策问答流程:1) 通过关键词和地区索引快速检索相关政策文档;2) 构建包含多篇政策内容的长上下文Prompt;3) 调用大模型生成专业回答并进行验证。系统架构包含问题预处理、意图识别、文档检索、答案生成等模块,特别注重政策引用的准确性和可验证性。代码示例展示了政策索引构建、长上下文Prompt生成及答案验证等核心功能实现。

2026-07-21 17:59:28 235

原创 第 14 章 金融行业私有化AI落地案例

本章介绍了金融行业私有化AI落地案例,重点讲解了信贷风控问答系统的实现方案。该系统基于DeepSeek-V3的MoE架构,通过定制金融领域专家(包括基础风控、合规审核、行业分析、信用评估等)实现精准风险评估。系统流程包括数据采集、风控分析、MoE路由选择和风险等级判断。源码改造部分详细展示了金融领域MoE路由器的实现,通过关键词匹配增强路由决策,并加入负载均衡机制。该系统可自动处理贷款申请,输出低风险通过、中风险人工复核或高风险拒绝的建议,显著提升金融风控效率。

2026-07-18 18:03:14 204

原创 第 13 章 Agent 智能体源码开发与行业工具调用

本文介绍了智能体(Agent)开发中的工具调用与多Agent协作实现方案。主要内容包括: 工具调用架构实现 设计了Tool和ToolRegistry类来管理工具注册与调用 提供了天气查询、网络搜索和数学计算等工具示例 实现了FunctionCallParser用于解析和执行模型输出中的工具调用 多Agent协作机制 定义了Agent基类,包含名称、角色和模型等属性 展示了提示词构建方法,指导模型如何正确调用工具 工具调用格式为{{{{tool_call: {{"name":..., "arguments":

2026-07-17 18:07:24 239

原创 第 12 章 企业 RAG 知识库与 DeepSeek 源码级集成

摘要 本章介绍了企业级RAG(检索增强生成)知识库与DeepSeek的深度集成方案。主要内容包括: 向量库集成:详细讲解了Milvus和FAISS两种向量数据库的源码级集成方法,包括索引创建、文档存储和检索过程,并对比了它们在分布式支持、持久化、性能等方面的差异。 缓存优化:提出RAG缓存设计方案,通过LRU缓存和TTL机制优化检索效率,减少重复计算,提升系统响应速度。 整体架构:阐述了RAG技术的核心流程(文档索引、查询检索、上下文构建和生成回答),为企业知识库建设提供技术实现方案。 该方案适用于不同规模

2026-07-16 18:02:52 247

原创 第 11 章 政企等保合规、多租户权限体系改造

本文介绍了AI系统满足等保三级要求的改造方案及多租户权限管理系统的实现。主要内容包括: 等保三级AI系统改造要点: 从物理环境、通信网络、区域边界等5个安全域提出改造要求 提供Python实现的合规检查工具,验证TLS加密、RBAC权限、审计日志等关键指标 展示典型的安全配置示例 多租户权限管理系统实现: 设计基于角色的权限控制(RBAC)框架 实现会话管理功能,包括会话创建、验证和失效处理 提供用户权限验证接口,支持管理员、普通用户等不同角色 技术特点: 采用Python枚举类型定义权限和角色 实现会话超

2026-07-15 14:45:38 170

原创 第 10 章 企业内网集群部署方案

文章摘要 本章详细介绍了企业内网部署DeepSeek-V3大模型的集群方案。10.1节提供了算力规划与成本测算,包括671B/33B/7B三种规模模型的硬件配置需求(GPU型号/数量/网络等),并通过Python类实现硬件/运维成本自动计算。10.2节给出完整的容器化部署方案:包含Dockerfile构建指南、依赖列表、K8s编排配置(Deployment/Service),支持GPU资源调度和持久化存储挂载。整套方案覆盖从单机到多节点分布式部署场景,针对不同规模模型提供差异化资源配置建议。

2026-07-14 18:52:29 222

原创 第 9 章 模型轻量化与定制化开发

本章介绍了模型轻量化与定制化开发的关键技术,重点阐述了专家层裁剪和知识蒸馏的实现方法。专家层裁剪通过分析专家使用频率动态修剪利用率低的专家模块,最高可减少70%专家数(从256降至77),参数量从671B降至201B,推理速度提升2.5倍但性能仅下降10%。知识蒸馏则采用KL散度损失和交叉熵损失的加权组合,通过教师模型指导学生模型训练,在保持模型性能的同时实现模型压缩。两种技术均提供了完整的PyTorch实现代码,包括专家频率统计、动态裁剪机制以及温度调节的蒸馏损失计算等核心功能模块。

2026-07-13 10:12:36 174

原创 第 8 章 vLLM/LMDeploy/Triton 适配 DeepSeek 源码改造

DeepSeek模型推理优化技术摘要 本章探讨了DeepSeek大模型在vLLM/LMDeploy/Triton等推理框架上的适配优化。首先介绍了性能分析工具,包括PyTorch Profiler进行CUDA时间分析、延迟基准测试和显存使用监控,用于定位KV Cache访问、专家路由、量化开销等瓶颈点。针对vLLM框架,重点改造了PagedAttention机制以适配DeepSeek的MoE架构,实现了专家层的分页缓存管理,包括MoE层初始化、缓存状态设置和带缓存的专家前向计算。优化后的vLLM配置支持16

2026-07-12 11:26:06 183

原创 第 7 章 基于原生源码微调实战

LoRA微调实战摘要 LoRA是一种高效微调技术,通过冻结基座模型参数,仅训练低秩矩阵来适应下游任务。其核心思想是引入两个低秩矩阵A(d×r)和B(r×k),在原始权重W(d×k)基础上计算增量ΔW=BA,前向传播公式为y=Wx+BAx。这使参数量从d×k减少到r×(d+k)。 代码实现中,LoRAModule类包含A、B矩阵和缩放因子,初始化为小随机值和零矩阵。DeepSeekLoRA类为基座模型的q_proj层添加LoRA,冻结其他参数。训练时使用AdamW优化器和余弦退火学习率调度器,仅优化LoRA参

2026-07-10 11:51:36 172

原创 第 6 章 DeepSeek-R1 深度推理训练源码

摘要: 本章介绍DeepSeek-R1模型的深度推理训练源码,核心包括:1)Zero冷启动技术,无需标注数据即可启动强化学习(RL);2)两阶段RL流程(偏好模型训练+PPO策略优化);3)思维链输出控制,通过逐步推理提升复杂任务性能;4)小模型蒸馏与企业轻量化方案(裁剪、量化、蒸馏),平衡性能与效率。代码示例展示了训练器的关键实现,如RewardModelTrainer和DistillationTrainer,适用于从科研到企业部署的多场景需求。

2026-07-09 10:20:47 178

原创 第 5 章 MTP 多 Token 预测与 FP8 量化底层代码

摘要: 本章介绍了DeepSeek-V3的两项核心技术:多Token预测(MTP)和FP8量化。MTP通过单次前向传播并行生成多个Token(如4个),显著提升推理速度,其实现包括生成策略(MTPGenerator类)和损失函数设计(mtp_loss)。FP8量化利用8位浮点格式(E4M3权重/E5M2激活)压缩模型,核心代码涵盖量化/反量化内核(FP8Kernel类)及动态范围校准策略,支持混合精度推理。两者结合在保持精度的同时优化了计算效率与显存占用,配套的推理引擎(FP8InferenceEngine

2026-07-08 09:31:16 182

原创 第 4 章 MoE 混合专家完整源码解析(V3 核心)

摘要:DeepSeek-V3 MoE架构解析 DeepSeek-V3采用稀疏激活的MoE架构,总参数量671B,动态激活37B,实现高性能低成本。核心配置包括256路由专家、1共享专家,每token激活8专家,分8组并限制4组参与计算。路由算法采用两阶段选择(分组路由+专家选择)和负载均衡策略(偏置修正、分组限制、Sigmoid归一化)。MoE类实现专家并行计算,256专家均匀分布到16张GPU(每卡16专家),通过AllReduce通信聚合结果。相比72B密集模型,MoE在总参数提升9倍时,激活量仅增50

2026-07-07 09:30:57 249

原创 第 3 章 MLA 多头隐式注意力源码拆解

本文第3章详细解析了DeepSeek-V2/V3的核心创新MLA(多头隐式注意力)机制。MLA通过低秩投影压缩KV缓存,解决了传统MHA在长上下文场景下的显存爆炸问题。传统MHA需要存储完整的K、V向量(128K上下文约300GB),而MLA通过将KV压缩到低维隐空间(如512维),显存占用可减少97%。文章对比了两种架构差异,并逐段注释了MLA类的初始化代码,包括LoRA投影、缓存策略等关键参数,以及forward实现原理。MLA通过解耦注意力计算和隐式KV压缩,在保持模型性能的同时大幅降低了长序列处理的

2026-07-06 09:44:29 156

原创 第 2 章 Transformer 基础模块源码逐行解析

本文解析了DeepSeek-V3 Transformer模型的核心基础模块源码。主要内容包括: Tokenizer分词器:采用BPE算法,支持128K长文本处理,通过MLA注意力压缩、KV缓存优化、YARN插值等技术实现高效长文本处理。 RMSNorm归一化层:相比LayerNorm简化计算,减少25%计算量,在模型各层采用Pre-LN架构提升训练稳定性。 SwiGLU激活函数:在MLP/MoE模块中使用SwiGLU替代ReLU,通过门控机制增强非线性表达能力,带来5-10%性能提升。 各模块均针对大模型场

2026-07-05 11:15:44 338

原创 《DeepSeek 源码分析及企业应用实践》--前言

摘要 本书《DeepSeek 源码分析及企业应用实践》系统性地介绍了国产MoE大模型DeepSeek-V3/R1的技术架构、源码解析及企业级应用方案。全书分为六大部分: 基础架构:涵盖环境搭建、Transformer模块解析等入门内容 核心创新:深入分析MLA注意力、MoE专家系统、FP8量化等关键技术 开发实践:提供源码微调、推理引擎适配等二次开发指导 企业落地:详述私有化部署、合规设计、RAG集成等生产级方案 行业案例:展示金融、政务等领域的实际应用场景 运维监控:包含生产环境调优和故障排查手册 本书特

2026-07-03 18:45:23 377

原创 【第1章 环境搭建与项目结构解析】

本文介绍了Flowable 7.2源码的环境搭建与项目结构解析。首先从GitHub克隆源码并完成Maven编译(需JDK 17+),详细说明了项目目录结构,其中modules/为核心模块。重点分析了核心模块及其依赖关系,包括流程引擎、任务服务、变量服务等组件的职责划分。最后指导如何配置IDEA开发环境,为后续源码学习奠定基础。

2026-05-02 19:09:13 69

原创 【Flowable 7.2 源码深度解析与实战-前言】

《Flowable 7.2源码解析与实战》是一本深入探讨开源工作流引擎的技术指南。全书从基础架构到高级特性,系统讲解了Flowable 7.2的核心机制、性能优化和生产实践。新版特性包括模块化重构、异步历史记录和增强的多租户支持。本书采用渐进式学习路径,涵盖流程部署、执行引擎、自定义扩展等关键内容,适合具备Java和数据库基础的开发者。通过源码调试和实战案例,读者将获得解决复杂业务问题和性能优化的能力,是掌握Flowable引擎的权威参考。

2026-05-02 18:21:55 94

原创 【Flowable 7.2 源码深度解析与实战】

为什么要读 Flowable 源码本书阅读路线图前置知识要求ProcessValidator 源码解析自定义验证规则查询构建器设计动态更新流程定义事件发布与订阅事件总线集成自定义任务类型实现行为注册与配置单元测试编写XML 元素解析图形化扩展部署与验证自定义拦截器命令执行器扩展权限控制示例EntityManager 实现MyBatis Mapper 扩展数据迁移二级缓存配置缓存失效策略分布式缓存集成社区贡献指南。

2026-05-02 18:13:16 174

原创 【Ubuntu datasophon1.2.1 二开之九:验证离线数据入湖】

摘要: 本文记录了在Ubuntu环境下基于DataSophon 1.2.1进行二次开发时,验证离线数据入湖(Paimon)的完整过程。重点解决了Spark 3.1.3与Paimon版本不兼容问题(升级至Spark 3.2.4)、HDFS权限配置、元数据存储切换为Hive Metastore等核心挑战。同时总结了12类典型问题及解决方案,包括Kafka依赖缺失、Derby权限错误、参数格式问题等,最终通过调整组件版本、完善配置和权限管理,成功实现离线数据入湖。关键经验:版本匹配和权限管理是数据入湖的核心痛点,

2026-04-08 22:55:01 543 2

原创 【Ubuntu datasophon1.2.1 二开之八:验证实时数据入湖】

本文记录了在Ubuntu系统上基于Datasophon 1.2.1平台进行二次开发,验证实时数据入湖技术路线的过程。技术栈采用Kafka→Flink→Paimon→HDFS→ClickHouse的方案。重点包括:1)环境准备阶段补充Flink连接各组件所需的Jar包;2)创建Kafka Topic并生产测试数据;3)在ClickHouse中创建目标表;4)配置Flink连接YARN并启动SQL作业。过程中详细记录了Jar包调整、配置修改等关键步骤,为类似实时数据入湖场景提供了参考实现方案。

2026-03-22 21:45:48 526

原创 DataEase 一个隐藏了半年的 Bug:从 Less 内部导入引发的血案

摘要: DataEase 前端项目因直接导入 Less 内部模块引发隐藏半年的 Bug,在用户首次使用自定义主题色时触发循环依赖错误。排查发现,问题代码因长期未被执行而未被察觉。解决方案是替换为专业的 color 库处理颜色逻辑,并总结教训:避免导入非公开 API、重视代码覆盖率测试、选择合适工具库。文章详细记录了从错误定位到修复的全过程,并给出预防类似问题的 ESLint 规则和开发建议。

2026-03-13 14:50:17 359

原创 《零代码+AI实战手记(一):从组件分层说起,四层架构如何为AI铺路》

《零代码平台的AI架构实践:四层组件设计解决"最后一公里"难题》 本文探讨了零代码平台面临的"最后一公里"困境:用户能轻松拖拽界面,却在业务逻辑配置环节受阻。作者提出通过四层组件架构为AI赋能: 架构分层: 基础组件层(原子组件) 复合组件层(组合组件) 业务组件层(语义化组件) 模板层(完整页面) 关键设计: 严格的层级调用约束(禁止逆向/跨层调用) 组件可见性控制(业务用户只看到必要组件) 元数据驱动(为AI提供结构化组件信息) AI介入点: 基础层:代码生成 复

2026-03-04 21:40:44 399

原创 【Ubuntu datasophon1.2.1 二开之七:解决DolphinScheduler安装问题】

本文记录了在Ubuntu系统上安装DolphinScheduler 3.1.8过程中遇到的五个主要问题及解决方案:1) 解压目录结构错乱问题,通过串行执行解压操作解决;2) ZooKeeper连接超时问题;3) 配置文件缺失问题;4) 数据库未初始化问题;5) 服务依赖顺序问题。文中详细展示了数据库创建、用户授权等准备工作,以及各角色组件分配配置。安装过程虽然曲折,但最终成功解决了所有问题,为后续使用这个开源大数据工作流调度系统奠定了基础。

2026-03-02 15:24:12 885

原创 【Ubuntu datasophon1.2.1 二开之六:解决CLICKHOUSE安装问题】

本文介绍了在Ubuntu 24.04系统上为DataSophon 1.2.1添加ClickHouse组件的详细过程。首先下载了与系统匹配的ClickHouse 23.3.10.5版本,主要使用clickhouse-common-static组件。然后通过创建定制目录结构,编写服务控制脚本clickhouse.sh,实现了ClickHouse的启动、停止和状态检查功能。脚本包含了进程管理、日志记录、端口检测等核心功能,并提供了详细的错误处理和状态反馈。该解决方案成功解决了DataSophon平台缺少Click

2026-02-13 11:43:35 1225

原创 【Ubuntu datasophon1.2.1 二开之五:解决HIVE安装问题】

本文记录了在Ubuntu系统上对Datasophon 1.2.1进行二次开发时遇到的HIVE安装问题及解决方案。主要问题包括:1)原service_ddl.json缺少HA参数,补充了HiveServer2绑定主机、MetaStore服务地址等关键配置;2)HIVE 3.1.0与Hadoop 3.3.3版本不兼容导致类加载错误,升级到HIVE 3.1.3解决;3)安装后缺失control_hive.sh脚本,通过重新打包解决;4)启动时出现JMX代理JAR缺失错误。通过逐步排查和调整配置,最终成功解决了HI

2026-02-09 10:06:35 905

原创 【Ubuntu datasophon1.2.1 二开之四:解决YARN安装问题】

本文记录了在Ubuntu系统上使用Datasophon 1.2.1进行二次开发时遇到的YARN安装问题及解决方案。主要问题包括:Alertmanager报错(因变量丢失导致配置文件异常)、ZK安装不完整(部分节点未下载安装包)、YARN启动失败(需手动创建NodeManager节点并启动)以及HDFS报警问题(脚本检查进程存在缺陷)。这些问题暴露出Datasophon系统的不稳定性,其根源在于依赖的Akka组件缺乏网络抖动时的重试机制。作者通过修改配置文件、完善启动脚本等方式逐一解决了这些问题,为类似情况提

2026-01-30 22:41:37 711

原创 mysql数据快速导入doris

本文介绍了将MySQL数据高效导入Doris数据库的解决方案。针对直接使用INSERT语句导入200多万条数据耗时过长的问题,作者提出了将SQL转换为CSV格式的方案。通过Java开发的工具InsertSqlToCSV,能够自动解析INSERT语句,提取字段名和值,并生成规范的CSV文件。该工具具有以下特点:1)自动处理字段名和值的解析;2)验证列数一致性;3)统计处理结果;4)生成符合Doris要求的CSV格式。相比直接使用INSERT语句,这种CSV导入方式能显著提高大数据量导入效率。工具还提供了错误处

2026-01-12 17:25:06 151

原创 【Ubuntu datasophon1.2.1 二开之三:解决HDFS安装启动失败sudo unknown user hdfs】

在Ubuntu系统上安装Datasophon 1.2.1的HDFS组件时遇到启动失败问题,错误提示"sudo: unknown user hdfs"。日志显示在2025-12-14 09:42:12左右出现大量ShellUtils错误,涉及JournalNode服务启动失败。该问题表明系统缺少HDFS服务所需的hdfs用户,导致权限相关操作失败。安装过程中还显示了一些Hadoop 3.3.3的文档文件路径,包括SLS和Hadoop Archives模块的相关资源文件。

2025-12-20 11:58:02 1082

原创 Ubuntu datasophon1.2.1 二开之二:解决三大监控组件安装后启动失败报缺失common.sh

摘要:在Ubuntu上部署Datasophon 1.2.1时,安装AlertManager、Prometheus和Grafana监控组件后出现启动失败,报错提示缺失common.sh文件。经排查发现tar解压命令缺少关键参数--strip-components=1,该参数用于去除压缩包的第一层目录结构。解决方案是修改InstallServiceHandler.java中的decompressTarGz和decompressWithStripComponents方法,添加该参数确保文件正确解压到目标路径。该问

2025-12-14 11:59:38 431

原创 Ubuntu datasophon1.2.1 二开之一:创建datasophon-worker 服务失败

文章摘要: 在Ubuntu系统上部署Datasophon 1.2.1大数据平台时,用户遇到了创建datasophon-worker服务失败的问题。该问题与Linux系统版本差异导致的服务描述文件兼容性有关。解决方案是通过修改StartWorkerHandler.java文件,调整服务启动配置。修改内容包括更新common.properties配置文件、停止原有服务、设置系统参数,并重新生成服务描述文件。该方法已在麒麟系统上验证有效,通过AI辅助转换后成功应用于Ubuntu系统。该问题解决后,用户可继续完成H

2025-12-09 13:59:03 582 1

原创 datasophon1.2.1 二开

本文介绍了在麒麟V10系统上安装Datasophon 1.2.1时遇到的问题及优化方案。作者遇到麒麟系统权限限制和AKKA通讯不稳定的问题,特别是Agent分发时75%卡顿现象。通过分析源码发现问题出在AKKA通讯组件上,于是自主开发了兼容AKKA调用的简化版通讯框架Stable-Actor。优化后测试显示能稳定达到100%进度,但需要每次先删除集群并重启服务。作者表示这只是初步改进,后续可能还会遇到其他问题。相关代码已开源在Gitee平台。

2025-10-25 22:32:53 459

原创 apipost 8.x 压测

本文介绍了使用Apipost 8.x进行压力测试的过程。作者为排查某OA系统偶发问题,通过配置测试用例的并发数和时长(以分钟为单位),并导入CSV测试数据(使用{{列名}}格式引用)。测试结果显示27次请求中5次失败,TPS为0.59次/秒,包含性能趋势图但脚本详情未展示。虽然未重现OA问题,但掌握了Apipost压测技能。如需交流可联系lita2lz。

2025-09-04 09:54:53 806

原创 apipost 8.x 脚本循环调用接口

APIPOST脚本调用接口时遭遇兼容性问题,最终发现其兼容Postman脚本。文章详细记录了使用APIPOST 8.x进行OA系统压测的过程:通过脚本循环调用接口(包括登录、查询、保存、提交等操作),主函数使用while循环控制流程流转,直到查询不到处理人员为止。代码展示了完整的异步请求处理逻辑,包括错误处理、环境变量获取和JSON解析。值得注意的是,调试过程中发现APIPOST客服提供的竟然是Postman脚本,侧面反映其自身脚本功能可能还不够成熟。

2025-09-01 14:02:34 977

原创 飞牛系统安装DataEase自定义Docker包

本文介绍了在飞牛系统上部署自定义DataEase的Docker镜像的完整流程。首先在Linux系统(麒麟V10)中安装Docker,准备JDK21和DataEase2.0打包文件并编写Dockerfile;然后构建Docker镜像并验证;接着将镜像导出为tar文件并上传至飞牛系统;最后通过1Panel组件导入镜像并创建容器。文中详细说明了每个步骤的具体操作命令和注意事项,包括Docker配置修改、镜像导入路径获取等关键环节,为需要在飞牛系统上部署定制DataEase的用户提供了完整的技术指导。

2025-07-24 10:36:25 1630 1

原创 在Kerberos 环境下 Ranger2.5.0 对接hive报错:Unable to connect to Hive Thrift Server instance

本文介绍了在Kerberos环境下Ranger 2.5.0对接Hive时遇到的问题及解决方案。主要错误表现为初始化网络socket失败和TSocket构建方法不匹配,经排查发现是libthrift版本不兼容导致。通过将libthrift-0.14.0.jar替换为0.13.0版本后,Ranger管理控制台连接测试通过,但beeline测试仍出现SASL协商失败。最终定位到GSS-API层面的校验和错误,表明Kerberos认证环节存在问题,需要进一步检查密钥配置或网络通信。该案例展示了大数据组件集成过程中版

2025-07-21 15:38:19 795

原创 Kerberos 认证配置&大数据组件配置kerberos

本文介绍了Kerberos认证的配置过程及大数据组件集成Kerberos的方法。主要内容包括:1)创建hdfs和HTTP的principals并生成hdfs.keytab文件;2)创建zookeeper.keytab文件用于ZK认证;3)ZK配置Kerberos的具体步骤,包括修改zoo.cfg、jaas.conf和java.env配置文件;4)配置同步和重启服务的操作流程;5)常见错误处理方法。文章提供了详细的命令示例和配置片段,特别强调了ZK认证中必须使用zookeeper主机名的注意事项。适用于已安装

2025-07-16 15:14:02 1401

原创 Kerberos5 安装

本文介绍了在三节点Hadoop集群上安装配置Kerberos5认证系统的完整流程。主要内容包括:1)服务器角色规划;2)主节点(hadoop01)安装krb5-server和workstation组件,从节点安装workstation组件;3) 配置krb5.conf、kdc.conf等核心文件;4) 创建Kerberos数据库和管理员账号;5) 服务启动与管理;6) 通过kadmin工具进行用户管理验证。文中特别强调了主机名解析对Kerberos认证的重要性,并提供了常见问题的解决方案。该配置为Hadoo

2025-07-12 16:03:41 474

原创 ZooKeeper 3.9.2 集群安装指南

《ZooKeeper 3.9.2集群安装指南》摘要:本文详细介绍了ZooKeeper 3.9.2集群部署流程。准备工作包括3台及以上服务器、Java 8+环境及网络互通。安装步骤涵盖软件下载解压、创建数据目录、配置zoo.cfg文件(需设置服务器列表及端口)、创建myid文件等核心操作。启动集群后需验证状态及数据同步,并提供日志配置、JVM调优、防火墙设置等可选优化方案。文中还列举了选举失败、数据不同步等常见问题的解决方法。通过本指南可快速搭建可用的ZooKeeper集群环境。

2025-06-21 17:49:04 658

原创 安装hadoop3.3.6集群

好,hadoop3.3.6集群部署,就写到这里。如需沟通:lita2lz。

2025-06-12 09:04:14 983

大数据 hadoop grafana 监控图配置json

hadoop-exporter 的grafana 配置json,里面有data_node.json,journalnode.json,name_node.json.配置方法见https://blog.youkuaiyun.com/longxibo/article/details/142984736,希望对大家有用

2024-10-17

hadoop集群监控数据收集器 辛苦编译,多谢大家捧场

我查了很久都没有现成的hadoop exporter包,所以需要编译。历经几天终于编译出来。而且是我不擅长的go语言编译。希望对你有所帮助。有问题我们可以沟通。\/:lita2lz

2024-10-11

MFC应用程序中嵌入一个谷歌cef7浏览器

使用vs2010 mfc, 嵌入cef7 浏览器, 静态库 64位。希望对您开发有帮助,减少你摸索时间

2019-05-04

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除