华为云 Flexus+DeepSeek 征文｜基于华为云ModelArts大模型构建企业级联网搜索助手的技术实践

最新推荐文章于 2025-06-30 23:59:28 发布

原创

最新推荐文章于 2025-06-30 23:59:28 发布 · 939 阅读

30 ·

CC 4.0 BY-SA版权

文章标签：

#华为云ModelArts #ModelArts联网搜索助手 #华为云 Flexus #DeepSeek安装搭建 #DeepSeek二开开发 #华为云安装搭建大模型 #安装搭建AI联网搜索助手

引言：企业搜索的智能化变革

在信息爆炸时代，企业员工平均每天浪费2.3小时在无效信息检索上，而传统搜索引擎仅能解决38%的工作查询需求。华为云ModelArts提供的AI开发能力，可帮助企业构建新一代联网搜索助手，实现"企业知识+互联网信息"的智能融合，将信息获取效率提升300%以上。

一、华为云 ModelArts 大模型平台概述

为云 ModelArts 是一站式 AI 开发平台，涵盖数据处理、模型训练、推理部署等全流程功能。在大模型开发方面，其优势显著：

丰富模型资源：
支持多种开源及华为自研大模型，如基于 Transformer 架构的强大语言模型，开发者无需从头构建复杂模型，可基于现有模型快速开发应用。

强大算力支撑：
提供高性能计算资源，包括昇腾系列芯片算力，能加速大模型训练与推理，缩短开发周期，降低成本。

便捷开发工具：
具备可视化操作界面、自动化工作流等工具，降低 AI 开发门槛，不同技术水平的开发者都能高效开发大模型应用。

在这里插入图片描述

二、联网搜索助手的技术架构设计

2.1 系统架构图
在这里插入图片描述
2.2 核心组件说明

组件	技术实现	性能要求
查询理解	盘古NLP模型+领域适配	<100ms延迟
企业检索	ModelArts向量引擎	百万级数据200ms响应
网络检索	分布式爬虫集群	支持1000QPS
结果融合	多模态大模型	支持10+文档并行分析
安全网关	华为云数据加密服务	99.99%可用性

三、开发关键步骤

3.1 注册与准备工作：在华为云平台注册账号，开通 ModelArts 服务，获取所需资源配额。准备好企业数据，按照数据格式要求进行整理上传至华为云存储服务

在这里插入图片描述

3.2 模型选择与配置：登录 ModelArts 平台，在模型市场选择适合的大模型。根据企业业务需求，配置模型参数，如语言模型的最大生成长度、温度参数等，以控制模型输出效果。

在这里插入图片描述

3.3 数据标注与训练：使用 ModelArts 的数据标注工具，对企业数据进行标注。创建训练任务，选择标注好的数据和配置好的模型，启动训练。训练过程中，利用 ModelArts 的可视化监控功能，实时查看训练进度、指标变化，及时调整训练策略。

在这里插入图片描述

3.4 联网搜索功能开发：编写代码实现网络爬虫或调用搜索引擎 API 功能。将联网获取的数据与企业内部数据整合，构建统一检索数据库。利用 ModelArts 的开发框架，将联网搜索功能与大模型推理功能集成。

接口信息
API地址
https://api.modelarts-maas.com/v1/chat/completions
模型名称
DeepSeek-V3

在这里插入图片描述

创建华为云ModelArts Studio API Key 方便后面代码开发的时候调用

在这里插入图片描述

3.5 大模型微调方案

from modelarts.llm import PanGuTune
# 加载基础模型
tuner = PanGuTune(
    base_model="pangu-8b",
    task_type="search_enhancement"
)

# 准备企业特定数据
dataset = load_dataset(
    "internal_qa_pairs.csv",
    "technical_docs.pdf",
    "business_rules.json"
)

# 执行领域适应训练
tuned_model = tuner.fine_tune(
    dataset,
    epochs=5,
    lr=2e-5,
    batch_size=16
)

# 部署为API服务
deployment = tuned_model.deploy