• 博客(612)
  • 资源 (3)
  • 收藏
  • 关注

原创 深入剖析Kubernetes调度与GPU调度技术实现原理

本文深入解析Kubernetes调度器与GPU调度技术。Kubernetes调度器采用插件化架构,通过过滤、评分、绑定三阶段为Pod选择最优节点,v1.19引入的调度框架将流程分解为多个扩展点。针对GPU资源,Kubernetes通过设备插件机制管理,支持异构GPU集群和细粒度共享调度。文章还探讨了拓扑感知、负载感知等高级调度策略,以及通过QueueingHint优化调度性能。未来GPU调度将向硬件隔离、AI驱动等方向发展,持续提升资源利用率。调度技术正从基础分配向智能化演进,为云原生应用提供更高效的资源管

2025-11-24 11:12:06 819

原创 Label Studio 数据标注平台,大模型预训练与微调必备

摘要:LabelStudio是一款开源数据标注工具,支持文本、图像等多种数据类型的标注。本文介绍了其安装方法(通过conda创建环境并pip安装)、基础使用流程(创建项目、导入数据、设置标签、标注导出)以及AI自动标注功能的实现。重点讲解了如何通过MLBackend集成LangChain模型实现自动标注:创建自定义模型类、构建预测链、处理返回结果,最后配置到LabelStudio项目中。该功能可显著提升标注效率,标注人员只需在AI预测结果基础上进行修正。

2025-11-24 10:29:44 16

原创 Neo4j 图数据库(Graph Database),“大模型 + 知识图谱”

Cypher 是 Neo4j 图数据库专用的查询语言,其语法直观清晰,设计风格与 SQL 类似,专门用于高效处理图数据。它通过高度可读的声明式语法,简化了图数据的创建、查询、更新与删除(CRUD)操作,尤其擅长表达复杂的图模式匹配。除了基础操作,Cypher 还支持子查询、聚合计算、条件过滤以及集合操作等高级功能,是图数据库领域最核心的查询工具之一。在图数据库中,为了保持数据的一致性和完整性,我们可以为图中的节点或关系设置约束条件(Constraint)。属性唯一性约束属性存在约束(社区版不支持)

2025-11-24 10:26:20 14

原创 K8S资源池化技术实现原理

K8S资源池化技术实现原理摘要 Kubernetes资源池化技术通过抽象异构资源为统一逻辑池,实现动态分配与高效利用。其核心架构分为控制平面(API Server、Scheduler、Controller Manager、etcd)和数据平面(Kubelet、Kube-proxy、容器运行时)。关键技术包括:1)资源抽象建模,将CPU/内存/GPU等转化为可分配单元;2)智能调度系统,通过预选-优选算法实现最优资源分配;3)Device Plugin机制管理特殊硬件资源。该技术解决了传统架构资源碎片化问题,

2025-11-21 14:33:16 241 1

原创 深度剖析“停止模型推理”技术方案,从此不惧灵魂拷问

本文探讨了生成式AI模型在生产环境中提前停止推理的必要性与实现方法。文章首先分析了停止推理的四大需求场景:资源节约、响应提速、业务规则满足和质量控制。随后详细介绍了基础停止机制(如EOS标记)、API设计策略(隐式/显式/高级控制)以及流式传输中的优化技巧。针对判别式任务,文章提出了级联模型和自适应深度网络两种早停方案。最后通过内容审核系统的案例,展示了如何通过分层架构实现高效停止逻辑。全文强调在模型服务中平衡效率与效果的工程思维,为AI系统优化提供了实用指导。

2025-11-21 13:57:07 961

原创 多模态模型面试完全指南:从原理到工程的深度解析

多模态模型面试指南 多模态模型能够处理和关联多种数据类型,实现跨模态语义理解和生成。本文从基础概念、核心架构到工程实践,全面解析多模态模型的25+高频面试问题。 基础概念: 多模态模型通过信息互补提升理解完整性,增强鲁棒性和交互自然性 与单模态学习相比,多模态模型采用跨模态编码器和融合机制,实现联合表示学习 核心架构: CLIP模型采用双编码器架构,通过对比学习对齐图像和文本特征空间 多模态融合策略包括早期融合(输入层融合)、晚期融合(决策层融合)和混合融合 工程实践: 模态对齐、数据异构性和计算效率是多模

2025-11-20 15:03:01 527

原创 RAG系统面试完全指南:从架构到优化的深度解析

RAG系统面试指南摘要 RAG(检索增强生成)技术已成为连接大模型与现实知识的关键桥梁。本文系统解析RAG系统架构与优化策略,涵盖基础概念、架构设计和核心算法三个维度: 基础概念:剖析RAG的本质特征、完整工作流程及与传统方法(微调、提示工程)的对比优势; 架构设计:详解生产级RAG系统的分层架构(数据层/检索层/生成层/服务层)、高可用设计和技术选型考量; 算法优化:从检索、重排序到生成环节的30+优化策略,包括混合检索、动态上下文管理等关键技术。 本文提供完整的面试解决方案,帮助候选人系统掌握RAG领域

2025-11-20 14:39:28 737

原创 RAG重排序面试完全指南:从原理到工程的深度解析

RAG重排序技术解析 摘要 RAG(Retrieval-Augmented Generation)系统中的重排序是提升检索质量的关键技术,它通过复杂模型对初步检索结果进行优化排序。本文从三个方面解析重排序技术: 基础概念:重排序不同于初步检索,它使用更复杂模型对少量候选文档进行精确排序,解决语义鸿沟、词汇不匹配等问题,提升Top-K结果质量。 算法原理:详细介绍了交叉编码器的工作原理及其实现代码,比较了点式、对式和列式三种排序方法的优劣,并解释了LambdaMART算法的数学原理。 工程实现:讨论了重排序系

2025-11-19 17:26:22 983

原创 混合检索在RAG系统中的面试完全指南:从融合策略到工程实践

混合检索在RAG系统中的关键技术与面试要点 混合检索通过融合多种检索方法显著提升RAG系统的性能,其核心优势在于: 融合策略: 早期融合:查询预处理阶段合并不同检索方法 中期融合:中间结果重排序 晚期融合:最终结果合并与去重 技术实现: 分数归一化确保不同检索方法结果可比性 动态权重调整优化系统性能 缓存与索引优化提升响应速度 面试要点: 理解各种融合策略的优缺点 掌握分数归一化等关键技术 了解性能优化和系统设计考量 混合检索已成为现代RAG系统的标配技术,面试中需展示对其原理和工程实践的深入理解。

2025-11-19 17:19:56 747

原创 向量存储在RAG系统中的面试完全指南:从原理到优化的深度解析

本文深入解析RAG系统中向量存储的核心技术与面试要点。第一部分阐述向量存储的基础概念及其在RAG系统中的三大核心作用:知识编码、相似度检索和语义理解。第二部分详细分析主流向量索引算法,包括HNSW的分层导航图原理及其高召回率优势,IVF-PQ的乘积量化技术及其内存高效特性,并比较两者适用场景。第三部分探讨生产级向量存储的系统架构设计,涵盖分布式、高可用等关键考量。全文通过代码示例和对比表格,系统性地呈现了向量存储从算法原理到工程实践的完整知识体系,为相关技术面试提供全面指导。

2025-11-19 16:27:10 606

原创 RLHF面试完全指南:从基础到前沿的深度解析

RLHF面试精要解析:从基础到核心算法 本文摘要总结了RLHF(基于人类反馈的强化学习)的核心概念与技术要点。RLHF通过三阶段流程解决大模型对齐问题:1)监督微调学习指令跟随能力;2)奖励模型训练学习人类偏好;3)PPO算法优化策略。关键创新点在于使用比较数据而非绝对评分训练奖励模型,结合KL散度惩罚防止过度优化。数学基础包括Bradley-Terry偏好模型和PPO目标函数,其中KL惩罚项兼具防止模式坍塌和保持生成质量的作用。RLHF相比传统强化学习更注重价值观对齐而非单纯任务完成,相比监督学习能更好处

2025-11-18 14:59:35 721

原创 模型微调(SFT)面试完全指南:从基础到前沿的深度解析

监督微调(SFT)面试指南精要 监督微调(SFT)是使通用大模型适应特定任务的关键技术,在面试中常被考察。本文概述了SFT的核心要点: 基础概念: SFT位于预训练与RLHF之间,使用标注数据调整模型 相比预训练,SFT数据量小、学习率低、目标特定 与提示学习相比,SFT更新模型参数而非仅调整提示 技术原理: 目标函数基于最大似然估计 需防止灾难性遗忘,采用小学习率、正则化等策略 学习率调度策略需根据数据规模调整 数据工程: 数据质量需保证准确、多样、一致 格式化处理要统一,添加适当标记 评估指标包括多样性

2025-11-18 14:51:18 766

原创 大模型应用安全及解读

大模型技术快速发展,在带来广泛应用前景的同时也面临数据安全、隐私保护、内容合规等严峻挑战。国家出台《生成式人工智能服务安全基本要求》,从语料来源、模型生成、安全措施等方面提出规范要求。OWASP组织发布大模型TOP10安全风险清单,警示潜在攻击方式。网宿科技基于实践经验,从数据安全、模型流转、内容合规等维度构建评估方案,旨在提升大模型安全性,促进行业健康发展。通过技术研发和监管完善,平衡创新发展与风险防范,确保大模型安全可靠地服务社会。

2025-11-18 14:37:52 1533

原创 模型部署面试完全指南:从理论到实践的深度解析

模型部署面试指南摘要 本文系统梳理了模型部署的知识体系,涵盖基础概念到实战技巧。主要内容包括: 基础概念:模型部署的核心挑战与流程,训练与推理阶段的关键区别 模型优化:量化、剪枝等性能优化技术,ONNX格式作用和模型编译器原理 推理引擎:深度解析TensorRT、OpenVINO等工具的核心优化原理 服务化架构:高可用设计、版本管理与热更新等生产级实践方案 性能调优:延迟优化、吞吐提升和内存管理的具体技术手段 监控调试:生产环境稳定性保障的指标体系与优化方法 全文包含30+高频面试问题解析,帮助工程师系统掌

2025-11-17 16:21:26 693

原创 MCP面试完全指南:从原理到实践的全面解析

MCP(Model Context Protocol)作为连接大语言模型与外部工具的新兴标准协议,正成为AI工程师面试热点。摘要从基础概念、核心组件到实战应用全面解析MCP:1)定义标准化交互方式,提供安全、可扩展的工具集成框架;2)包含Client、Server和Transport三层架构;3)通过沙箱隔离、权限控制等保障安全性;4)支持动态工具注册和多样化工具类型;5)相比传统API集成具有开发效率、运维和安全优势,但也面临协议复杂性等挑战;6)未来将向多模态支持、工具编排等方向发展。本文为开发者提供面

2025-11-17 15:56:04 884

原创 RAG面试完全指南:从原理到优化的28个高频问题解析

RAG面试高频问题解析:从基础到优化的全面指南 本文系统梳理了RAG(检索增强生成)技术的28个高频面试问题,涵盖基础认知、常见问题、优化策略和未来发展方向。文章首先解析RAG的核心原理及其相比SFT的优势,随后深入探讨10大实践挑战及解决方案,包括内容缺失、文档排序、上下文整合等关键问题。在高级篇中,重点介绍了RAG-Fusion多通道检索机制和系统优化策略。最后展望RAG与知识图谱、智能代理等技术的融合趋势。整个指南以解决实际问题为导向,帮助面试者全面掌握RAG技术的核心要点和应用场景。

2025-11-17 15:51:02 986

原创 LightPROF:一种轻量级推理框架,用于大型语言模型在知识图谱上的应用(AAAI2025)

摘要:本研究针对大型语言模型在知识图谱推理中面临的效率低下和结构信息缺失问题,提出了轻量级提示学习框架LightPROF。该框架通过三步检索模块(语义提取、关系检索、推理图采样)实现精准信息获取,利用知识适配器编码图结构和文本信息,并采用软硬提示结合的方式避免模型参数更新。实验表明,在WebQSP和CWQ数据集上,LightPROF使用7B参数的LLaMa模型即超越ChatGPT等大模型的性能,同时减少98%的输入标记和30%推理时间。该框架具有即插即用特性,能有效提升各类LLM在复杂知识图谱问答任务中的表

2025-11-14 13:46:26 1034

原创 从函数到神经网络速通大模型原理!

本文系统性地介绍了神经网络的基本原理及其发展历程。从最简单的线性函数开始,逐步阐述了如何通过激活函数构建非线性神经网络,并详细解释了前向传播、反向传播和梯度下降等核心概念。文章还探讨了过拟合问题及其解决方案,包括正则化和Dropout等技术。最后,重点讲解了Transformer架构及其核心的注意力机制,说明了大模型如何通过预测下一个词来实现各种应用。全文通过层层递进的方式,帮助读者深入理解神经网络和大模型的底层原理。

2025-11-14 13:43:43 862

原创 Agent的未来范式探索

摘要:本文系统梳理了当前AI Agent的技术发展现状与趋势。文章首先阐述了Agent的定义与能力分级(L0-L5),分析了不同模态(语言/视觉/混合)和应用场景(OS/GUI等)的Agent类型,并详细解读了五大核心架构模式(反射/工具/ReAct/规划/多智能体)。通过评测MetaGPT、Dify等主流开源项目,文章指出当前Agent主要处于流程编排阶段(L2),并深入探讨了Agent的规划模块设计(任务分解/多计划选择/反思细化等)。最后,文章分享了评测体系(CUP框架)和未来发展方向(生成式Agen

2025-11-13 12:57:12 805

原创 用户运营新逻辑:分层、触达与全链路转化

在数字化与互联网深度融合的今天,教育、企业服务、品牌营销、用户运营等领域正迎来新一轮转型与升级。从流量运营、品牌构建、技术支撑、用户体验、生态协同等多个维度,系统梳理了当前机构与企业在数字化转型过程中的核心逻辑与实践路径。内容覆盖从公域引流到私域沉淀、从产品设计到品牌心智、从数据赋能到组织协同,旨在为各类机构提供可落地、可迭代的成长方案。

2025-11-13 12:42:20 367

原创 RocketMQ for AI:企业级 AI 应用异步通信首选方案

摘要:随着AI应用快速发展,企业面临长耗时任务、高成本算力资源及流量波动等挑战。RocketMQ推出LiteTopic解决方案,支持百万级轻量Topic自动化管理,通过异步通信解决多Agent协作阻塞问题,保障会话连续性,并实现高效算力调度。该方案已在阿里云及多个AI产品中验证,显著提升资源利用率和系统稳定性。未来RocketMQ将持续优化AI场景支持,推动行业生态合作。(150字)

2025-11-13 12:38:32 776

原创 从Token推测LLM中文训练数据污染:技术深度解析与实践

通过Token分析推测LLM训练数据污染的技术,为我们打开了解析模型"黑盒"的新窗口。这项研究不仅揭示了当前主流LLM中普遍存在的数据污染问题,更重要的是提供了一套可操作、可验证的技术框架来量化评估这一问题。研究结果表明,GPT-4o等先进模型的中文训练数据中,特定类型的污染内容可能占到相当比例(如"波多野结衣"相关内容的0.5%),这一发现对LLM的安全部署和合规使用具有重要警示意义。

2025-11-12 14:01:56 1064

原创 服务器虚拟化与容器化:全面技术解析

服务器虚拟化与容器化是云计算的两大核心技术。服务器虚拟化通过Hypervisor创建完整隔离的虚拟机,每个VM包含独立的操作系统和虚拟硬件,适合强隔离场景但资源占用高。容器化则利用Linux内核特性实现轻量级进程隔离,共享宿主机OS内核,启动更快且资源占用低,适合微服务架构。两者各有优劣:虚拟化安全性强但性能开销大,容器化轻量高效但隔离性较弱。企业需根据应用需求选择合适技术或结合使用,如虚拟化运行容器平台。

2025-11-12 13:44:54 936

原创 “算力资源实例虚拟化”与“服务器虚拟化”

摘要: 服务器虚拟化与算力资源实例虚拟化的核心差异在于虚拟化对象与抽象层次。前者针对整台服务器(如CPU、内存等),通过Hypervisor创建隔离的虚拟机(VM),目标是资源整合与多租户管理(如VMware)。后者聚焦专用算力(如GPU/NPU),以设备级分割(如NVIDIA MIG)或硬件虚拟化(如SR-IOV)实现精细化共享,支持容器化部署,提升资源利用率与多租户隔离。两者可协同使用:服务器虚拟化提供基础环境,算力实例虚拟化通过池化技术(如MIG)实现云原生动态分配,满足AI等高算力场景的灵活需求。

2025-11-11 21:29:04 705

原创 Kubernetes如何纳管和调度GPU资源

本文详细解析了Kubernetes中GPU资源的管理技术方案。主要内容包括:通过设备插件机制实现GPU识别与纳管,利用节点标签、污点容忍等策略进行精细调度,以及采用虚拟化技术提升GPU利用率。文章对比了整卡调度与共享调度的差异,介绍了MPS、显存虚拟化和硬件虚拟化三种共享方案。最后探讨了生产实践中的多租户管理和监控方案,并展望了动态资源分配等前沿技术趋势。为在Kubernetes集群中高效使用GPU资源提供了从基础到高级的完整技术指导。

2025-11-11 17:01:39 1084

原创 运维可视化实现方案

本文系统介绍运维可视化的核心技术体系和典型产品方案。运维可视化通过数据采集、处理分析和可视化呈现三个关键环节实现IT系统的透明化管理,其中涉及ETL处理、机器学习算法和交互式仪表盘等技术。文章对比了FineReport、Bonree ONE等主流产品的特点与适用场景,并从需求匹配、数据整合、智能分析等维度提供选型建议。运维可视化的核心价值在于提升效率、辅助决策和赋能业务,能将故障响应时间从小时级降至分钟级,并为资源规划提供数据支撑。文中还列举了金融等行业应用案例,说明可视化技术如何实现从被动运维到主动管理的

2025-11-11 16:47:22 815

原创 深入解析 Kubernetes 调度器:核心机制与实践优化

本文深入解析了Kubernetes调度器的核心机制与优化实践。调度器通过预选(Filtering)和优选(Scoring)两阶段策略,基于资源匹配、亲和性等条件为Pod选择最佳Node。Kubernetes 1.15+的调度器框架支持插件化扩展,开发者可自定义过滤和评分逻辑。文章还探讨了高级调度场景如拓扑分布约束、动态资源分配,并提供了调度性能优化方案和问题排查工具。随着云原生技术发展,调度器将更注重异构资源支持和实时性优化,为复杂业务场景提供灵活高效的调度能力。

2025-11-10 20:43:22 864

原创 Kubernetes调度器深度解析:从核心原理到实战应用

Kubernetes调度器深度解析:核心原理与实战应用 摘要:Kubernetes调度器(kube-scheduler)作为集群的"大脑",负责将Pod分配到合适的节点。本文深入剖析其核心架构,包括调度队列、缓存和插件化框架,详解两阶段调度流程(过滤与打分阶段),并介绍核心调度策略如资源需求调度、亲和性/反亲和性调度以及污点容忍机制。调度器通过公平、高效、灵活的调度算法,确保集群资源最优利用,同时支持自定义扩展以满足不同业务场景需求。

2025-11-10 13:48:58 832

原创 深入浅出Kubernetes调度器:从基础原理到扩展实战全解析

本文深入解析Kubernetes调度器的核心原理与扩展机制,包括调度流程(过滤、打分、绑定)、两种扩展方案(Scheduler Extender和Scheduler Framework)的对比选择,并以异构算力调度案例HAMI展示实践应用。关键要点:理解调度器工作流程,根据业务需求合理选择扩展方案(Extender适合快速验证,Framework适合高性能场景),参考HAMI实现资源调度优化。文章为Kubernetes集群资源管理提供了从基础到实战的完整指导。

2025-11-10 13:39:35 680

原创 《DeepSeek-OCR: Contexts Optical Compression》解读(THS)

DeepSeek-OCR代表的不仅仅是一个技术改进,而是处理长文本问题范式的根本转变:从 “在文本框架内优化” 到 “切换到视觉框架降维打击”从 “追求无限扩展上下文窗口” 到 “智能压缩保留核心信息”从 “完美记忆” 到 “受控遗忘”这项技术为处理超长文档、多轮对话、知识库检索等场景开辟了全新的可能性。作为技术从业者,我们应该密切关注这个方向的发展,并思考如何将其应用到自己的项目中。

2025-11-08 11:17:26 610 1

原创 AI Agent深度研究:DeepResearch技术详解与DeerFlow架构解析(THS)

DeepResearch代表了AI Agent技术的重要演进方向,从简单的问答交互迈向深度的自主研究。通过多智能体协作、迭代式探索和结构化输出,AI正在成为人类在知识探索和研究工作中的强大伙伴。DeerFlow作为这一领域的优秀开源实现,为我们提供了宝贵的技术参考和实践范例。随着技术的不断成熟,我们有理由相信,DeepResearch将在学术研究、商业分析、政策制定等多个领域发挥越来越重要的作用。

2025-11-08 11:11:33 1137

原创 AI-APP整体技术方案

本文提出了一套现代化、可落地的AI应用技术方案,采用分层架构设计,重点关注成本控制与性能优化。方案包含前端层(推荐Next.js/React Native)、AI服务层(使用LiteLLM网关统一模型接口)、数据层(向量数据库+PostgreSQL)和基础设施(Docker+K8s)。核心特点包括:1)通过RAG实现AI长记忆功能;2)智能模型路由降低使用成本;3)完整的文档处理和向量化流程;4)多级缓存与用量监控机制。推荐采用FastAPI+Next.js+Qdrant的技术栈组合,既保证开发效率又具备生

2025-11-07 14:33:24 1034

原创 《生成式人工智能服务安全基本要求》(TC260-003)

《生成式人工智能服务安全基本要求》(GB/T 45654-2025)是我国首个针对生成式AI的国家安全标准,主要涵盖四大核心安全领域:语料安全要求来源合法合规(违法信息≤5%)且可追溯;模型安全需遵循备案制度并建立持续监测机制;安全措施包括场景适用性评估、投诉举报渠道等技术和管理要求;安全评估可采用自评或第三方评估。建议建设方案重点构建语料全周期管理体系、模型合规框架、运行防护措施及组织管理流程,将安全要求融入系统全生命周期。该标准为行业提供了可操作的安全基线,需特别关注数据溯源、意图识别等关键环节。

2025-11-07 13:31:35 748

原创 传统WAF网关实现原理及技术的详细解析

传统WAF(Web应用防火墙)是一种部署在Web应用前端的网络安全设备,通过深度分析HTTP/HTTPS流量来防护各类应用层攻击。其核心实现包括协议合规性检查、请求规范化、签名/规则匹配、异常检测和行为分析等多层安全检测引擎,能够有效识别SQL注入、XSS等常见威胁。WAF支持反向代理、透明桥接和旁路镜像等多种部署模式,但也面临SSL性能瓶颈、绕过风险及规则维护复杂等挑战。尽管存在局限性,WAF仍是Web安全防御体系的关键组件,并正朝着智能化、云原生化方向演进。

2025-11-06 21:42:07 817

原创 NVLink协议及其衍生技术(NVSwitch, NVLink-C2C)的核心技术

**摘要:**NVIDIA的NVLink技术通过点对点直连架构解决了GPU间通信的PCIe瓶颈,提供高带宽低延迟的数据传输。NVSwitch进一步实现多GPU全互联无阻塞交换,支持大规模并行计算。而NVLink-C2C则将互联层级提升至芯片级,为Chiplet异构集成提供高密度互连方案。三者共同构建了从芯片到系统的完整高速互联生态,支撑AI大模型和E级计算需求。该技术体系通过统一内存、缓存一致性和交换网络设计,显著提升了多GPU系统的计算效率和扩展性。(148字)

2025-11-06 13:25:19 794

原创 一文读懂NVLink

摘要: NVLink是英伟达研发的高速互联技术,旨在解决多GPU及GPU-CPU间的通信瓶颈。其通过点对点直连协议(如NVLink 5.0带宽达1.8TB/s)和NVSwitch交换芯片实现GPU全互联,显著提升AI训练(如万亿参数模型)、HPC及量子模拟等场景的数据吞吐效率。技术迭代从Pascal架构的160GB/s演进至Blackwell架构,并融入开放生态(如NVLink-C2C),推动数据中心级算力整合。NVLink通过高速、低延迟的互联架构,成为AI与高性能计算的核心基础设施。

2025-11-06 13:19:48 120

原创 国内首发!智能体安全管理平台发布,助力AI应用安全落地

火山引擎发布大模型安全测评平台和智能体安全管理平台,全面保障智能体全生命周期安全。测评平台基于TC260标准提供5大类31项安全检测,30分钟完成智能体检并输出合规报告。安全管理平台通过资产盘点、漏洞评估和提示词加固三大能力,实现99%+攻击拦截率。已应用于汽车、金融等行业,帮助客户显著降低风险项,提升安全防护能力,为智能体合规落地提供保障。

2025-11-05 13:40:22 376

原创 华为灵衢UB总线介绍

华为发布"灵衢"(UB)超节点互联协议,旨在构建支持AI大模型计算的基础设施。该协议采用统一内存语义和对等架构,使设备可直接访问远程内存,实现资源池化。技术突破包括2.1微秒超低时延和TB级带宽,支持64节点、52万张昇腾卡的集群互联。相比传统RDMA,"灵衢"更注重系统级资源调度,而非单纯数据传输。华为开放技术规范,推动生态建设,已有厂商开发兼容IP核。"灵衢"可适应x86、RISC-V等架构,未来将扩展至百万卡规模集群。

2025-11-05 13:38:38 1118

原创 同花顺AI-PaaS介绍(THS)

同花顺PaaS平台集成大模型管理能力,构建一站式机器学习服务平台。平台基于K8S和Docker技术,提供交互式建模、分布式训练、模型推理等核心功能,支持AI全链路研发。创新性地开发了AI分时复用方案,通过智能调度提升显卡资源利用率;采用Fluid组件加速模型推理;集成云原生监控体系实现全流程可观测。平台以"模型与数据为中心",提供模型开发、训练、部署及数据挖掘、标注等完整功能,支持多种开源框架和异构算力环境,具有灵活易用、高性能的特点,有效降低AI工程实施门槛。

2025-11-04 11:11:39 1329

原创 Kubernetes纳管、调度GPU 设备原理

摘要:Kubernetes通过设备插件框架实现对GPU资源的管理,核心组件包括NVIDIA Device Plugin和Container Toolkit,负责GPU资源上报和容器运行时支持。K8S将GPU定义为扩展资源,Pod需显式声明资源请求,调度器根据请求选择合适的节点。支持高级功能如节点标签、GPU共享(MIG和时间片)以及监控(DCGM+Prometheus)。在云平台使用时,相关驱动和插件通常已预装,简化了部署流程。K8S使GPU成为可调度、可监控的标准计算资源,满足AI/ML等高性能计算需求。

2025-11-04 10:37:03 73

2025面试经验-科大讯飞-系统架构师

内容概要:本文档涵盖多个技术主题,包括微服务与分布式架构的区别与联系、云原生与CI/CD的关系、MySQL的组成部分、Java GC排查方法、Java设计模式、Nacos集群模式的使用、以及高并发预约系统的架构设计。其中,微服务与分布式架构部分详细对比了两者的概念、设计理念、通信机制和数据管理策略,并探讨了两者之间的相互依存关系。云原生与CI/CD部分阐述了云原生如何通过基础设施弹性适配和容器化技术为CI/CD赋能,而CI/CD又如何助力云原生应用的持续集成与交付。MySQL部分介绍了其核心组件,如数据库服务器、存储引擎、SQL解析与优化器及客户端接口。Java设计模式部分列举了常见的设计模式及其应用场景。Nacos部分解释了单体与集群部署的区别及配置修改。高并发预约系统架构设计部分详细描述了系统的技术栈、架构分层、关键技术细节、性能优化、压测与监控、核心流程及容灾备份方案。 适合人群:具备一定编程基础和技术背景的研发人员、系统架构师、运维工程师。 使用场景及目标:①深入理解微服务与分布式架构的设计理念与技术特性,掌握两者在实际项目中的应用;②了解云原生与CI/CD的关系,掌握如何通过云原生技术优化CI/CD流程;③熟悉MySQL的内部结构与工作原理,提升数据库管理和优化能力;④掌握Java设计模式的应用场景与实现逻辑,提高代码设计与架构能力;⑤理解Nacos集群模式的配置与使用,提升服务发现与配置管理能力;⑥学习高并发预约系统的架构设计,掌握如何构建高性能、高可用的分布式系统。 阅读建议:文档内容较为全面,涉及多个技术领域,建议读者根据自身需求和技术背景选择感兴趣的部分进行重点学习。对于系统架构师和高级开发人员,可以重点关注微服务与分布式架构、云原生与CI/CD、以及高并发预约系统架构设计部分;对于数据库管理员,可以重点关注MySQL的组成部分;对于Java开发人员,可以重点关注Java设计模式部分。在学习过程中,结合实际项目经验和相关工具进行实践,有助于更好地理解和应用所学知识。

2025-04-09

2025面试经验-阿里云智能-技术服务专家

内容概要:本文主要介绍阿里云智能技术服务专家职位的相关信息。作为阿里云客户技术服务的第一负责人,该职位需要深入了解客户业务场景,与客户的架构、开发、运维团队合作,优化云上业务稳定性,包括云上监控、灾难演练、高可用架构改造等。同时,还需与阿里云各团队合作,解决客户问题,沉淀最佳实践及工具产品。职位要求包括3年以上大型互联网应用或集团型企业应用的经验,3年以上的大型项目管理和团队管理经验,以及优秀的沟通技巧、文档写作能力等。加分项包括阿里云技术认证、大规模应用开发或运维经验、英语能力。此外,文中还提及了计算机网络七层协议、Docker网络等技术知识,为面试提供了相关建议。 适合人群:具备3年以上泛娱乐、零售、金融、教育等行业大型互联网应用或集团型企业应用的解决方案、架构设计、监控方案、Devops、AIops、维护、高可用改造方案经验的人士;3年以上的大型项目管理和团队管理经验者;有责任心,能实践“客户第一”理念,并成就客户的人士;具有优秀沟通技巧、团队合作经验、敬业精神和学习能力的人士;具有较强抗压能力和执行力,并能接受一定频率出差的人士。 使用场景及目标:①深入理解客户业务场景,与客户团队合作优化云上业务稳定性;②与阿里云各团队合作,解决客户问题,沉淀最佳实践及工具产品;③追踪行业重点客户关键稳定性问题,协助客户治理并推动阿里云产品及服务的优化改进;④准备面试,掌握计算机网络七层协议、Docker网络等技术知识,提高面试成功率。 其他说明:文中详细介绍了计算机网络七层协议的功能、设备和应用,以及Docker网络的主要功能和网络类型分析,为面试提供了技术背景支持。建议面试者深入理解这些技术知识,以便更好地应对面试中的技术问题。

2025-04-09

2025面试经验-海康萤石-Java应用架构师

内容概要:本文详细介绍了海康萤石Java应用架构师职位的职责和要求,涵盖了高并发、分布式系统的设计与优化,以及对Java核心技术的深入理解。此外,文章还探讨了三种常见的消息中间件(RocketMQ、ActiveMQ、Kafka)的特点与区别,Redis分布式锁的实现方式及其优缺点,管理一千万台物联网设备的架构设计,包括设备接入、数据处理、存储、管理和安全保障等方面。最后,文章讲解了Spring框架中Starter的实现、解决对象循环引用的方法、网关按业务分流的配置,以及Java JVM的自动性能优化机制和WAF流量接入方式。 适合人群:具备多年Java开发经验,特别是有高并发系统设计、优化改进及开发经验的研发人员和架构师。 使用场景及目标:①理解高并发、分布式系统的设计与优化;②掌握Redis分布式锁的实现方式;③学习大规模物联网设备管理的架构设计;④实现Spring框架中的Starter并解决对象循环引用问题;⑤配置Spring Cloud Gateway按业务进行后端微服务分流;⑥了解Java JVM的自动性能优化机制;⑦掌握WAF流量的不同接入方式及其应用场景。 阅读建议:本文内容详实,涉及多个技术领域的知识点,建议读者根据自身需求重点阅读相关章节,并结合实际项目进行实践。对于架构师而言,应重点关注系统设计和优化部分;对于开发人员,建议深入理解Spring框架和JVM优化的内容。

2025-04-09

2025面试经验-京东零售-Java开发

内容概要:本文详细介绍了京东零售Java后端开发岗位的面试经验和要求,涵盖技术背景、ES深度分页解决方案、Synchronized实现原理及其优化、MySQL事务隔离级别、MySQL多版本并发控制(MVCC)、MySQL乐观锁、MySQL Undo日志与Binlog的区别、Redis大key处理、Java弱引用、Synchronized使用场景、RocketMQ保证消息不丢失的方法以及秒杀系统的设计要点。针对每个主题,文章不仅阐述了基本概念,还提供了具体的应用场景和技术实现细节。 适合人群:具备一定编程基础,尤其是Java后端开发经验的工程师,特别是准备面试或从事相关工作的研发人员。 使用场景及目标:①帮助读者理解并掌握京东零售Java后端开发岗位所需的技能和知识点;②为面试者提供全面的技术准备指南,包括但不限于搜索/推荐系统、高并发处理、数据库优化、消息队列等;③指导开发人员在实际项目中应用这些技术,提高系统的性能、可靠性和扩展性。 其他说明:本文内容丰富,涵盖了从基础知识到高级应用的多个方面,适合不同层次的技术人员学习参考。建议读者根据自身需求重点阅读感兴趣的部分,并结合实际工作中的问题进行深入研究和实践。

2025-04-09

【信息技术领域】系统试运行保障及应急预案:构建全面的信息系统应急响应机制与试运行保障体系为系统试运行

内容概要:本文档《模板-系统试运行保障及应急方案》详细阐述了系统试运行保障及应急预案,旨在确保系统在试运行期间的稳定性和可靠性,以及在突发事件发生时能够迅速、有效地应对。主要内容包括试运行保障方案、应急预案及其组织保障、应急处置流程、事件分级及响应机制、通信与物资保障、技术与人员保障、后期保障等方面。试运行保障方案明确了试运行的目的、内容、环境要求、人员组织计划及日常巡检与问题记录机制;应急预案则针对不同级别的信息系统突发事件制定了详细的应急响应措施,确保在突发事件发生时能够最大限度地减少损失和影响。此外,还强调了后期观察、业务和数据恢复保障、调查与评估及改进措施的重要性。 适用人群:适用于系统集成商、运维工程师、项目经理、信息安全管理专员等参与系统试运行和应急管理的专业人士。 使用场景及目标:①为系统试运行期间提供全面的保障措施,确保系统稳定运行;②针对不同级别的信息系统突发事件制定应急响应策略,确保快速恢复系统正常运作;③通过后期观察、业务和数据恢复保障等措施,确保系统长期稳定运行;④通过对突发事件的调查与评估,总结经验教训,持续改进应急预案。 其他说明:文档中提供了详细的应急处置流程和技术保障要求,强调了预防为主、快速响应、统一指挥、分级管理和健全机制的工作原则。同时,还提出了加强应急技术支持队伍建设、提高人员业务素质和技术水平的要求,确保在突发事件发生时能够高效应对。

2025-04-03

流程规范\研发规范\代码规范\前端\React编码规范

内容概要:本文档《React编码规范.docx》旨在定义统一的React编码风格,确保代码的一致性和可维护性。文档详细规定了React代码的基本原则、命名规则、引号使用、空格处理、属性命名、标签使用以及方法定义等方面的规范。基本原则包括每个文件只包含一个React组件,优先使用JSX语法和函数式组件。命名规则强调使用帕斯卡命名法进行文件名和组件引用的命名,并避免使用displayName命名组件。引号使用上,JSX和HTML属性使用双引号,而JS属性则使用单引号。空格方面,禁止在JSX花括号内添加空格。属性命名要求采用小驼峰命名法,避免使用数组索引作为key值。标签使用上,没有子组件的父组件应使用自闭合标签。方法定义方面,建议使用箭头函数访问本地变量,并在构造函数中绑定事件处理函数。 适合人群:熟悉JavaScript和React框架的前端开发人员,尤其是希望提高代码质量和一致性的团队成员。 使用场景及目标:①帮助开发人员编写符合行业标准的React代码;②确保团队内部代码风格统一,便于协作和维护;③减少因编码风格不一致带来的错误和复杂度。 阅读建议:此文档是React项目开发的基础指导文件,建议开发者在编写React应用时严格遵循这些规范,以确保代码的可读性和可维护性。同时,在实践中不断调整和优化编码习惯,逐步形成更加成熟和高效的开发流程。

2025-04-03

流程规范\研发规范\代码规范\前端\HTML编码规范

内容概要:本文档旨在规范HTML代码风格,确保HTML代码的一致性、易读性和可维护性。首先介绍了HTML5的DOCTYPE声明方式和字符编码设置,强调了字符编码声明的位置和无BOM的UTF-8编码的重要性。接着讲述了CSS和JavaScript的引入位置,建议CSS在head中引入,JavaScript放在页面末尾或采用异步加载,并提倡省略嵌入式资源的协议头和忽略type属性。文档还规定了title和favicon的设置方法,以及针对移动设备友好的viewport设置。此外,明确了缩进与换行的规则,要求使用2个空格作为缩进层级,每行不超过120个字符。对于命名规则,class和id必须全字母小写并以“-”分隔,id需保证页面唯一性,少用id选择器。标签方面,要求标签名和属性名均用小写字母,属性值用双引号包围,自定义属性加前缀。最后强调了语义化的HTML元素使用,为图片和多媒体提供了降级方案,如添加alt属性、区分下载需求的图片实现方式等。; 适合人群:前端开发人员,尤其是希望提升HTML代码质量的开发者。; 使用场景及目标:①帮助开发者编写符合规范的HTML代码,提高代码的可读性和可维护性;②确保页面在不同浏览器和设备上的兼容性和一致性;③优化页面加载速度和用户体验。; 其他说明:遵循这些编码规范不仅能使代码更加整洁美观,还能减少潜在的错误和技术债务,建议开发者在日常工作中严格遵守。

2025-04-03

流程规范\研发规范\代码规范\前端\Flutter编码规范

内容概要:本文档详细介绍了 Flutter 的编码规范,旨在帮助开发者编写更高效、易读和一致的代码。文档涵盖了代码风格(如标识符命名规则、大驼峰命名法用于类和枚举、小驼峰用于其他标识符)、排序(如导入语句的顺序)、注释(如使用///进行文档注释)、字符串处理(如使用模板字符串)、集合操作(如使用高阶方法转换序列)、参数使用(如命名参数默认值用=号)、变量初始化(如避免显式初始化为null)、类成员设计(如优先使用final字段)、构造函数(如使用初始化形式)以及异步编程(如优先使用async/await)。; 适合人群:具备一定编程基础,尤其是正在或即将从事 Flutter 开发的工程师。; 使用场景及目标:①确保团队内部代码风格统一,提高代码质量和协作效率;②帮助开发者快速掌握 Flutter 编程的最佳实践,减少常见错误;③通过规范化的代码提升应用性能和维护性。; 阅读建议:此文档提供了详细的编码规范指南,建议读者在实际开发过程中反复参照,并结合具体项目实践,逐步形成良好的编码习惯。同时,对于不熟悉的语法或概念,可以通过官方文档进一步学习。

2025-04-03

流程规范\研发规范\代码规范\前端\ESLINT规范

内容概要:本文档详细介绍了ESLint这一开源JavaScript代码检查工具,从其创立背景说起,强调了在多人协作开发环境下统一代码规范的重要性。文中列举了ESLint规则分类,包括可能导致错误、最佳实践、严格模式相关、变量定义相关、Node.js和CommonJS、风格指南以及ECMAScript 6等类别。同时,文档提供了具体的ESLint配置示例,涵盖parser、env、plugins、extends和rules等关键设置项。此外,还特别提到了前端项目中推荐的质量保障方式,即ESLint结合husky和Lint-staged使用,确保代码提交前经过严格的格式检查。最后,分别给出了Vue和React项目的ESLint配置模板,帮助开发者快速集成到各自项目中。 适合人群:有一定JavaScript编程经验,尤其是参与团队协作开发的前端工程师或全栈工程师。 使用场景及目标:①为团队建立统一的JavaScript代码规范,减少因个人编码习惯差异带来的沟通成本;②确保项目代码质量,避免潜在错误,提高代码可维护性和可读性;③掌握如何将ESLint集成到现有项目中,利用自动化工具提升开发效率。 其他说明:文档不仅提供了理论指导,还附带实际操作指南,如初始化配置、安装依赖包以及具体配置代码片段,方便读者直接应用于项目实践。

2025-04-03

流程规范\研发规范\代码规范\后端\6.安全规约

内容概要:本文档详细列出了九项安全规约,旨在确保软件系统的安全性。其中涵盖用户权限控制、数据脱敏、SQL参数绑定、参数有效性验证、HTML输出过滤、CSRF安全验证、URL重定向白名单、平台资源防重放机制以及用户生成内容的风控策略。每一项规约都附有具体说明和反例,强调了遵循这些规则的重要性,以防止诸如SQL注入、隐私泄露、跨站请求伪造等多种安全风险。 适合人群:适用于所有参与软件开发和维护的技术人员,特别是负责系统安全架构的设计者和开发者。 使用场景及目标:①确保涉及用户个人数据的页面或功能模块实施严格的权限控制;②防止敏感信息泄露,保护用户隐私;③避免因不当的SQL操作引发的安全隐患;④确保所有用户输入经过严格验证,防止各种类型的注入攻击和其他恶意行为;⑤保障HTML页面输出的安全性,防止XSS攻击;⑥防止CSRF攻击,保护用户免受跨站请求伪造的危害;⑦确保外部重定向的安全性,防止恶意跳转;⑧合理使用平台资源,防止滥用;⑨有效管理用户生成的内容,防止垃圾信息和违规内容传播。 阅读建议:本规约文档为强制性和推荐性安全措施提供了详细的指导,建议开发

2025-04-03

流程规范\研发规范\代码规范\后端\附:专有名词解释

内容概要:本文档详细解释了软件开发尤其是Java开发中常用的专有名词。其中包括不同类型的对象如POJO、DO、PO、DTO、BO、Query、Form、VO、AO及其各自的作用范围和特点;介绍了CAS机制,一种提高多线程环境下性能的操作;阐释了GAV的概念,即Maven坐标用于唯一标识jar包;提及OOP,指面向对象编程;解释了AQS,这是许多同步类的基础;简述了ORM框架,像iBATIS和mybatis,它们实现了对象与数据库记录之间的映射;还提到了常见的错误如NPE和OOM。最后区分了一方库、二方库和三方库的概念,分别指代内部模块依赖、公司内部共享以及外部开源的库。; 适合人群:Java开发人员,尤其是对Java开发中常见名词概念需要进一步理解的人群。; 使用场景及目标:①帮助开发人员准确理解并正确使用这些术语;②为开发人员提供参考,确保团队内部交流的一致性和准确性。; 其他说明:这些名词解释不仅有助于提升代码质量,还能促进团队成员之间的沟通效率,减少因术语误解而产生的问题。

2025-04-03

流程规范\研发规范\代码规范\后端\5.设计规约

内容概要:本文档主要阐述了软件设计过程中应遵循的各项规约,涵盖存储方案、底层数据结构设计、需求分析、系统架构设计等方面。强调了在不同场景下使用适当的图表(如用例图、状态图、时序图、类图、活动图)的重要性,并明确了系统架构设计的具体目标,包括确定系统边界、模块间关系、设计原则及非功能性需求。同时,提出了若干设计与实现层面的最佳实践,如单一职责原则、优先使用组合而非继承、依赖倒置原则、对扩展开放对修改闭合、DRY原则等。最后,指出了设计文档的作用以及设计的本质,强调了代码并非唯一文档,清晰的设计文档对于后期维护至关重要。; 适合人群:从事软件开发工作的工程师,尤其是负责系统设计和架构的技术人员。; 使用场景及目标:①帮助开发者在需求分析阶段选择合适的图表表达复杂需求;②指导系统架构设计时明确系统边界、模块关系及非功能性需求;③为设计与实现提供最佳实践建议,确保代码质量和系统的可维护性。; 其他说明:本文档不仅提供了具体的设计规约,还强调了设计文档的重要性,提醒开发者避免将敏捷开发误解为简单的故事讲述和编码发布,而是要在关键设计点上进行必要的文档沉淀。

2025-04-03

流程规范\研发规范\代码规范\后端\4.工程结构

内容概要:本文档主要阐述了软件工程结构的最佳实践,包括应用分层、二方库依赖管理和服务器配置优化。在应用分层方面,文档详细介绍了从开放API层到DAO层的功能划分及其相互依赖关系,并强调了不同层次之间的异常处理规范和POJO(Plain Old Java Object)使用规则。对于二方库依赖,文档明确了GAV(GroupID、ArtifactID、Version)定义规则、版本号命名方式、依赖管理以及稳定性要求。关于服务器配置,文档提供了针对高并发环境下的TCP协议time_wait超时时间和最大文件句柄数的调整建议,还涉及JVM参数优化,如设置OOM时的dump信息输出、GC后堆大小调整等。 适用人群:适用于有一定Java开发经验的研发人员,尤其是负责系统架构设计和技术选型的技术专家或团队负责人。 使用场景及目标:①帮助开发者理解并正确实施应用分层架构,确保系统的可维护性和扩展性;②指导开发人员合理管理二方库依赖,减少因版本冲突或不稳定依赖带来的风险;③为运维人员提供服务器性能调优的具体措施,保障高并发场景下的服务稳定性。 其他说明:本文档不仅涵盖了理论层面的知识点,还提供了大量实践中的最佳实践和注意事项,旨在提升整个开发流程的质量和效率。同时,文档中的某些规则是强制性的,必须严格遵守,以确保系统的稳定性和安全性。

2025-04-03

流程规范\研发规范\代码规范\后端\1.编程规约

内容概要:本文档《编程规约.docx》详细介绍了编程中的各项规约,涵盖命名风格、常量定义、代码格式、OOP规约、日期时间处理、集合处理、并发处理、控制语句、注释规约、前后端规约以及其他注意事项。主要内容包括:命名规则强调一致性、可读性和国际化;常量定义要求避免魔法值并合理分类;代码格式规范以提升代码可读性和可维护性;OOP规约确保代码质量和性能;日期时间处理强调精度和正确性;集合处理关注线程安全和效率;并发处理规约保障多线程环境下的稳定性;控制语句规约提高代码逻辑清晰度;注释规约促进团队协作;前后端规约确保接口交互的一致性和安全性。 适用人群:具备一定编程基础,特别是Java开发经验的研发人员。 使用场景及目标:①帮助开发者编写高质量、易维护的代码;②确保团队代码风格统一,提高协作效率;③避免常见编程陷阱,提升代码健壮性和性能;④指导前后端交互设计,确保接口的一致性和安全性。 其他说明:本文档不仅提供了详细的编程规范,还包含了大量的正反例对比,帮助开发者深刻理解每一条规约背后的原理和应用场景。建议开发者在实际项目中严格按照规约执行,并结合具体业务场景灵活调整。

2025-04-03

流程规范\研发规范\代码规范\后端\3.单元测试

内容概要:本文档详细阐述了单元测试的重要性及其实施规范,强调单元测试应遵循AIR原则(自动化、独立性、可重复性)。文中规定单元测试需全自动执行、保持独立性和可重复性,测试粒度以方法级为主,确保核心业务代码的单元测试通过。测试代码应放置于特定目录(src/test/java),并力求语句覆盖率70%,核心模块达100%。编写单元测试时应依据BCDE原则(边界值、正确性、设计文档、错误处理),确保测试的全面性。对于数据库操作,提倡使用程序方式准备数据并设定自动回滚机制,避免脏数据。此外,文档还指出应避免代码不可测的情况,鼓励在设计评审阶段确定单元测试范围,并在项目提测前完成单元测试,纠正对单元测试的常见误解。 适合人群:软件开发人员,尤其是Java开发者和技术管理者。 使用场景及目标:①确保开发人员编写高质量的单元测试,提升代码质量;②指导开发团队在项目开发过程中有效实施单元测试,减少线上故障。 其他说明:文档强调单元测试不仅是测试人员的工作,也是开发人员的责任,良好的单元测试能有效预防线上故障。

2025-04-03

流程规范\研发规范\代码规范\后端\2.异常日志

内容概要:本文档详细规定了异常日志的处理规范,涵盖了错误码的设计原则、异常处理的最佳实践以及日志记录的具体要求。错误码需简洁明了,便于快速溯源和团队沟通,避免包含版本号和错误等级信息,采用字符串形式并按错误来源和编号组合而成。异常处理强调预检查的重要性,避免滥用异常进行流程控制,并确保异常被捕获后得到适当处理,特别是在事务场景中需手动回滚。日志记录方面,推荐使用日志框架(如SLF4J),并严格遵守日志文件的命名和保存规则,确保日志信息的完整性和可读性,同时避免不必要的性能损耗。 适合人群:具有编程基础的开发人员,特别是从事Java开发和系统运维的技术人员。 使用场景及目标:①帮助开发人员理解并遵循错误码的设计原则,确保错误信息清晰易懂;②指导开发人员在代码中正确处理异常,避免因异常处理不当引发的问题;③规范日志记录方式,提高日志的可读性和维护性,便于问题排查和系统监控。 其他说明:文档还提供了具体的编码示例和反例,帮助读者更好地理解和应用这些规范。此外,文档强调了日志记录的性能优化和安全性,提醒开发人员谨慎处理日志输出,避免对系统性能造成负面影响。

2025-04-03

《云计算的11类顶级威胁》

《云计算的11类顶级威胁》

2025-03-28

Linux系统核心命令与基础架构配置指南

内容概要:本文档全面介绍了Linux的基础知识,涵盖了系统目录结构、命令行工具、网络配置、磁盘管理、软件安装等多个方面。首先介绍了Linux的基本目录结构及其功能,如/bin、/etc、/home等重要目录的作用。接着讲述了常用的命令行工具及其用法,例如创建、删除、移动文件和目录的方法。文档还重点讲解了网络配置的步骤,包括使用ifconfig命令配置网络接口,以及编辑配置文件实现静态或动态IP设置。此外,文中涉及磁盘管理和常见文件系统的操作,比如使用fdisk命令进行分区,mkfs进行格式化。对于新手来说,还包含了如何配置防火墙和SELinux的安全措施。关于软件安装部分,则着重比较了编译安装、rpm包管理和yum在线仓库的优势与操作流程,并给出了安装常用服务(如MySQL、Java和Hadoop)的实际步骤,确保用户可以在自己的环境中进行操作实践。 适用人群:适用于想要深入了解Linux系统结构和常用命令的新手用户和技术入门者。 使用场景及目标:适合用于Linux初学者的学习和实验,目的是帮助他们掌握Linux的基本操作技能和关键概念。学习完本文档后,学员应该能够熟练运用命令行进行简单的文件管理系统管理和基础服务搭建,包括但不限于建立和管理用户的权限,进行网络连接配置,实施基本的安全设定等。 其他说明:文档提供了丰富的实践例子,特别是对于初次接触Linux的人来说非常友好。通过具体的命令示范和详细的解释,不仅有助于理解抽象的概念,也能让用户更好地适应实际的工作环境。此外,针对常见的问题也给出了解决方法,例如安装过程中遇到错误应该如何排查,以及特定环境下的一些注意事项。总之,这是一个非常好的学习资源,可以帮助任何人迅速而有效地开始他们在Linux世界里的探索之旅。

2025-03-25

Linux常用命令之curl&stty

Linux常用命令之curl&stty

2025-03-25

系统试运行保障及应急方案.docx

系统试运行保障及应急方案.docx

2025-03-18

人工智能基于云原生的AI Agent基础设施:金融领域大模型多模态应用加速落地方案设计

内容概要:本文系统阐述了AI云原生作为数智化时代AI Agent加速落地的最佳技术路径。AI云原生融合“AI+云原生”,以容器、微服务、Kubernetes等技术为基础,围绕大模型应用的算力调度、模型开发部署、多模态数据处理等需求重构基础设施架构,解决传统云计算在Token调用量激增、推理成本高、Agent安全执行等方面的挑战。文章详细介绍了AI云原生的技术框架,涵盖AI计算(异构GPU/CPU管理)、AI存储(分布式存储、Fluid/Alluxio缓存)、AI网络(RDMA、RoCE、InfiniBand低延迟通信)、AI容器(K8S编排与管理)以及AI作业(Kubeflow、Volcano等全生命周期管理),并提出通过GPU池化、弹性训练、安全可观测性等手段提升AI应用的效率、安全与成本控制。; 适合人群:具备一定云计算、AI开发或系统架构经验的技术人员,尤其是从事AI平台建设、大模型训练与推理、云原生技术落地的研发与运维人员;企业技术决策者亦可参考其战略方向。; 使用场景及目标:①构建支持大规模AI模型训练与推理的云原生基础设施;②实现AI应用的高效部署、弹性扩缩容与成本优化;③提升AI系统的安全性、可观测性与运维自动化水平;④探索金融等行业垂直领域的AI Agent落地解决方案; 阅读建议:此资源兼具战略视野与技术深度,建议结合Kubernetes、容器化、分布式系统等基础知识进行深入研读,并关注文中提及的开源项目(如Fluid、Kubeflow、Alluxio等)以辅助实践。

2025-11-10

容器编排基于Kubernetes的调度器架构与扩展机制研究:集群资源分配优化及异构算力调度实践

内容概要:本文深入讲解了Kubernetes集群调度机制及其扩展能力,重点介绍kube-scheduler的核心功能与调度流程,包括调度队列、过滤与打分、绑定等关键步骤。文章进一步对比了两种调度扩展方式:scheduler extender和scheduler framework,详细阐述其工作原理、配置方式与优缺点。并通过HAMi实例展示了如何基于extender实现异构算力(如GPU)的精细化调度,涵盖资源注册、过滤、打分、绑定全过程,体现调度器在真实场景中的可扩展性与工程实践。; 适合人群:具备Kubernetes基础知识,从事容器平台开发、运维或SRE工作1年以上的技术人员;对调度机制感兴趣的研发人员。; 使用场景及目标:①理解Kubernetes调度器的工作原理与核心流程;②掌握scheduler extender和scheduler framework的使用与选型依据;③学习如何实现GPU等特殊资源的自定义调度方案,提升资源利用率与调度灵活性。; 阅读建议:建议结合Kubernetes官方文档与源码对照阅读,重点关注调度框架的扩展点接口设计与HAMi中Filter、Bind、Allocate的协同逻辑,动手搭建实验环境验证扩展机制的实际效果。

2025-11-10

语言模型幻觉的根源剖析:从统计必然到评估体系的系统性困境

语言模型幻觉的根源剖析:从统计必然到评估体系的系统性困境

2025-10-20

这篇论文《Real-Time Detection of Hallucinated Entities in Long-Form Generation》提出了一种实时检测大语言模型在生成长文本时产生幻觉实

内容概要:本文提出了一种低成本、可扩展的实时检测长文本生成中幻觉实体的方法,聚焦于命名实体(如人名、日期、引用)级别的错误识别,而非完整的事实性判断。作者构建了一个自动化标注流程,利用具备网络搜索能力的前沿大模型对生成内容中的实体进行真实性验证,并生成带有支持或虚构标签的精细数据集。基于此数据,训练简单的线性探针即可高效识别幻觉实体,在多种700亿参数的大模型上实现了优于传统不确定性基线方法的性能(如Llama-3.3-70B上AUC达0.90),同时适用于短文本问答与数学推理等跨领域任务。研究还表明,一个模型上训练的探测器能有效泛化到其他模型,作者已公开数据集以促进复用。; 适合人群:从事自然语言处理、大模型安全与可靠性研究的研究人员及工程师,尤其是关注幻觉检测、模型校准和可信AI的技术人员。; 使用场景及目标:① 在医疗咨询、法律建议等高风险应用中实现实时监控,防止模型生成虚假信息;② 构建可干预系统,当检测到高幻觉风险时主动放弃回答以提升可靠性;③ 推动基于内部表征的轻量级检测方法,替代昂贵的外部验证流水线; 阅读建议:本研究强调了从实体级别切入进行细粒度标注的价值,建议读者重点关注其标注流程设计、探针训练策略以及跨模型泛化实验,同时注意其局限性,如标注噪声和仅覆盖部分幻觉类型,为后续改进提供方向。

2025-10-20

第八弹-Real-Time Detection of Hallucinated Entities in Long-Form Generatio-pro.html

第八弹-Real-Time Detection of Hallucinated Entities in Long-Form Generatio-pro.html

2025-10-20

第八弹-Why Language Models Hallucinate-pro

第八弹-Why Language Models Hallucinate-pro

2025-10-20

用嘴画图:AI 一句简介:还在为画图头疼吗? * 产品画流程图,排版半天; * 售前看到竞对一张好图,想拿过来,要一笔笔画; * 开发想要架构图,还得手动画 这次分享带你体验:一句话搞定架构图流程图

简介:还在为画图头疼吗? * 产品画流程图,排版半天; * 售前看到竞对一张好图,想拿过来,要一笔笔画; * 开发想要架构图,还得手动画。 这次分享带你体验:一句话让 AI 自动出图,流程图、架构图、时序图都能搞定。
从此,画图不再是负担,而是乐趣。

2025-09-16

【大模型微调】基于Qwen3-8B的人设定制化训练:金融领域Hithink角色构建与评测系统实现

内容概要:本文详细介绍了基于Qwen3-8B模型进行Hithink人设微调的完整流程,涵盖训练前的环境与模型选择、语料准备与强化、模型训练参数设置、训练过程监控、模型评测及优化方向。采用A100 40G单卡在Autodl云平台完成训练,使用Llama-Factory工具链进行微调,并通过人工评审方式对人设和功能表现进行评测。最终模型在人设测试中达到98.17%的通过率,在功能测试中通过率为86%。文章还总结了语料质量、多样性与评测方法对微调效果的关键影响。; 适合人群:具备一定大模型微调基础的研发人员、算法工程师,尤其是从事垂直领域人设定制或模型蒸馏相关工作的技术人员;适合工作1-3年并希望深入理解微调全流程的技术从业者。; 使用场景及目标:①掌握如何针对特定人设(如企业AI助手)构建高质量微调语料集;②学习在显存受限条件下合理配置训练参数(如梯度累积、学习率等);③了解人工评测与自动化评测的优劣对比,提升模型评估准确性。; 阅读建议:此文档强调语料质量和评测严谨性,建议读者结合实际项目参考其语料分类、扩写与测试集构建方法,并重点关注训练参数设置与问题分析部分,用于指导真实场景下的模型微调实践。

2025-09-16

【大模型微调】基于LoRA算法的LLaMA-Factory框架在法律领域中文语料上的SFT微调实践与参数优化指南

内容概要:本文详细介绍了如何使用LLaMA-Factory框架在本地对大模型进行微调,基于LoRA算法和DeepSeek-R1-Distill-Qwen-1.5B基座模型。内容涵盖环境搭建、模型加载、数据集准备与配置、模型训练参数设置、训练过程执行、模型导出及关键微调参数解析。通过可视化界面操作和命令行结合的方式,指导用户完成从环境部署到模型优化的全流程,并提供了参数调整建议与实际训练示例,帮助理解学习率、训练轮数、梯度裁剪等关键因素对训练效果的影响。; 适合人群:具备一定深度学习基础,熟悉Python与Linux操作,从事AI模型开发或微调工作的研究人员或工程师,尤其是有本地微调大模型需求的技术人员; 使用场景及目标:①在有限算力条件下高效微调大语言模型;②掌握LoRA等参数高效微调技术的实际应用;③通过可视化界面与配置文件实现定制化训练流程;④理解微调过程中各超参数的作用与调优策略; 阅读建议:建议读者结合实际操作逐步跟随文档执行,重点关注数据集格式配置、参数设置与模型导出流程,同时通过日志与损失变化分析训练效果,建议在调试时使用小样本验证流程正确性。

2025-09-16

国家政务服务平台统一身份认证平台实施方案

国家政务服务平台统一身份认证平台实施方案

2025-05-08

Linux检查加固基线核查参考.pptx

Linux检查加固基线核查参考.pptx

2025-04-28

Artifactory文件

Artifactory文件

2025-04-25

H3C CAS 云计算管理平台 开局指导-E0785及之后版本-5W100-整本手册

内容概要:本文档《H3C CAS 云计算管理平台 开局指导-E0785及之后版本-5W100-整本手册》主要介绍了H3C CAS云计算管理平台的开局准备、规划、安装和配置。文档详细描述了工程开局前的环境、服务器和安装文件准备,涵盖网络、存储、主机池、集群、主机和虚拟机的规划与配置。此外,还提供了云资源管理、虚拟机模板管理、CVM备份、监控和告警等功能的配置指导,并附带了可靠性测试和常见问题解答。文档适用于E0785及之后版本的产品,旨在帮助用户顺利完成H3C CAS平台的部署与配置。 适合人群:具备一定云计算基础知识,从事H3C CAS云计算管理平台部署和维护的技术人员。 使用场景及目标:①为数据中心管理员提供详细的开局指导,确保H3C CAS平台的顺利部署;②帮助技术人员理解并掌握H3C CAS平台的网络、存储、主机和虚拟机配置;③指导用户进行云资源管理和监控,确保平台的稳定性和可靠性;④提供可靠性测试方法,确保平台在上线前经过充分验证。 阅读建议:此文档内容详尽,建议读者在实际部署前仔细阅读并参考相关章节,结合具体应用场景进行实践操作。重点理解网络规划、存储配置、主机和虚拟机的创建与管理等内容,确保所有配置符合最佳实践。同时,注意文档中的注意事项和警告信息,以避免潜在问题。

2025-04-22

Onestep-MySQL自动安装脚本

Onestep-MySQL自动安装脚本

2025-04-22

Onestep-ES自动安装脚本

Onestep-ES自动安装脚本

2025-04-22

【Linux系统管理】常用命令汇总:磁盘挂载、Docker操作、防火墙配置与服务管理

内容概要:本文档《Linux实用命令.txt》涵盖了Linux系统管理中常用的命令和操作,包括磁盘管理(如磁盘挂载、扩展逻辑卷)、Docker容器管理(启动、停止、清理日志)、防火墙配置(端口管理、IP白名单设置、端口转发)、Nginx服务配置、文件压缩与解压、内存释放、时间同步、ELK日志系统接入、YAPI服务重启、Jenkins构建记录清理、SFTP服务配置、SCSI控制器刷新、网络配置以及GitLab和Nexus3的相关操作。文档通过具体命令示例详细介绍了各个操作步骤,帮助管理员快速掌握Linux系统管理和维护技能。 适合人群:适合具有Linux基础的系统管理员和技术支持人员,尤其是那些需要进行日常服务器运维和管理工作的人员。 使用场景及目标:① 对于磁盘管理,能够熟练进行磁盘挂载、扩展和格式化;② Docker管理方面,掌握容器的启动、停止、日志清理等操作;③ 防火墙配置上,学会端口开放、关闭、IP白名单设置和端口转发;④ 掌握Nginx服务配置、文件压缩解压、内存释放等常用操作;⑤ 学习如何接入ELK日志系统、重启YAPI服务、清理Jenkins构建记录、配置SFTP服务、刷新SCSI控制器、修改IP地址以及GitLab和Nexus3的部署与管理。 阅读建议:由于文档涉及多个方面的Linux系统管理命令,建议读者在实际环境中逐步实践每个命令,结合官方文档和其他参考资料加深理解。对于复杂的操作(如防火墙配置、Docker管理等),建议先在一个测试环境中进行实验,确保熟悉后再应用于生产环境。

2025-04-22

Onestep-minio自动安装脚本

Onestep-minio自动安装脚本

2025-04-22

Onestep-JDK自动安装脚本

Onestep-JDK自动安装脚本

2025-04-22

H3C CAS云计算管理平台 安装指导-E0785系列-5W113-整本手册

内容概要:本文档是新华三技术有限公司发布的《H3C CAS云计算管理平台 安装指导-E0785系列-5W113-整本手册》,涵盖H3C CAS云计算管理平台的安装指导,包括产品简介、安装前准备、网络及存储规划、安装步骤、访问管理服务器、常见问题解答及附录。文档详细描述了CAS的组成、服务器类型、安装流程、网络及存储规划、安装后的配置方法,以及访问管理服务器的方法。此外,还提供了常见问题解答和附录内容,如制作U盘启动盘和配置飞腾服务器网络参数。 适合人群:具备一定IT基础的网络规划人员、现场技术支持与维护人员、负责网络配置和维护的网络管理员。 使用场景及目标:①帮助用户了解H3C CAS云计算管理平台的功能和应用场景;②指导用户完成CAS的安装和配置,确保安装过程顺利进行;③提供网络及存储规划的建议,确保系统的稳定性和高效性;④解决用户在安装和使用过程中可能遇到的问题。 其他说明:本手册内容详尽,旨在为用户提供全面的安装和配置指导,确保用户能够顺利完成H3C CAS云计算管理平台的部署和使用。文档强调了安装前的准备工作、网络及存储规划的重要性,并提供了详细的安装步骤和配置指南。同时,手册中包含了大量的图表和命令示例,便于用户理解和操作。此外,文档还提供了常见问题解答,帮助用户解决可能遇到的技术难题。

2025-04-22

2025面试经验-阿里云-交付架构师

内容概要:本文详细介绍了阿里云智能-泛企业交付架构师(政企业务)在面试过程中可能遇到的问题及应对方案。涵盖了技术能力与架构设计、项目管理与交付能力、行业经验与客情处理、技术预研与标准化以及行为面试与文化匹配五个方面。具体包括优化APP项目的部署架构,融合大模型与隐私计算保障医疗数据隐私,协调公共数据运营平台项目中的多方资源,解决信创场景下的技术难题,结合LangChain与知识图谱提升智能客服准确性,以及因技术方案超出客户预期而带来额外商机的经历。每个问题都按照STAR法则展开,即情境(Situation)、任务(Task)、行动(Action)和结果(Result),充分展示了候选人的专业能力和解决问题的实际经验。; 适合人群:具备一定云计算、架构设计及项目管理经验,有意应聘阿里云交付架构师职位的专业人士。; 使用场景及目标:①帮助求职者深入了解阿里云交付架构师岗位的面试流程和技术要求;②为准备类似职位面试的人士提供参考案例和答题思路;③指导候选人如何系统化展现自己的复杂架构设计能力、政企行业理解深度及阿里云生态融合力。; 阅读建议:此文档不仅提供了具体的面试问题及答案模板,还强调了技术细节和实际操作中的注意事项,因此在阅读时应重点关注解决方案的具体实施步骤和技术原理的阐述,同时注意文化匹配部分对于“客户第一”价值观的体现。

2025-04-16

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除