Apache Doris 4.0 AI 能力揭秘（一）：AI 函数之 LLM 函数介绍

在数据日益密集的当下，我们总在寻求更高效、更智能的数据分析工具。随着大语言模型（LLM）的兴起，如何将这些前沿的 AI 能力与日常的数据分析工作相结合，已然成为一个极具探索价值的方向。

基于此，我们在 Apache Doris 4.0 版本中实现了一系列 LLM 函数。这使得数据分析能够凭借简洁的 SQL 语句，直接调用大语言模型开展文本处理工作。无论是从文本中精准提取重要信息，还是对评论进行细致的情感分类，亦或生成精炼的文本摘要，皆可在数据库内部无缝完成。

应用场景

在即将发布的 4.0 版本中，Apache Doris LLM 函数可应用的场景包括但不限于：

• 智能反馈：自动识别用户意图、情感。
• 内容审核：批量检测并处理敏感信息，保障合规。
• 用户洞察：自动分类、摘要用户反馈。
• 数据治理：智能纠错、提取关键信息，提升数据质量。

所有大语言模型必须在 Doris 外部提供，并且支持文本分析。此外，所有 LLM 函数调用结果和成本取决于外部 LLM 供应商及其所使用的模型。

函数支持

• LLM_CLASSIFY：在给定的标签中提取与文本内容匹配度最高的单个标签字符串。
• LLM_EXTRACT：根据文本内容，为每个给定标签提取相关信息。
• LLM_FILTER: 判断文本内容是否正确，返回值为 bool 类型。
• LLM_FIXGRAMMAR：修复文本中的语法、拼写错误。
• LLM_GENERATE：基于参数内容生成内容。
• LLM_MASK: 根据标签，将原文中的敏感信息用[MASKED]进行替换处理。
• LLM_SENTIMENT：分析文本情感倾向，返回值为positive、negative、neutral、mixed其中之一。
• LLM_SIMILARITY：判断两文本的语义相似度，返回值为 0 - 10 之间的浮点数，值越大代表语义越相似。
• LLM_SUMMARIZE：对文本进行高度总结概括。
• LLM_TRANSLATE：将文本翻译为指定语言。

LLM 配置相关参数

Doris 通过资源机制对 LLM API 的访问进行集中管理，旨在确保密钥安全与权限可控。目前可选择的参数如下：

• type： 必填，且必须为 llm ，作为 llm 的类型标识。
• llm.provider_type： 必填，外部 LLM 厂商类型。
• llm.endpoint： 必填，LLM API 接口地址。
• llm.model_name： 必填，模型名称。
• llm_api_key： 除llm.provider_type = local的情况外必填，API 密钥。
• llm.temperature： 可选，控制生成内容的随机性，取值范围为 0 到 1 的浮点数。默认值为 -1，表示不设置该参数。
• llm.max_tokens： 可选，限制生成内容的最大 token 数。默认值为 -1，表示不设置该参数。Anthropic 默认值为 2048。
• llm.max_retries： 可选，单次请求的最大重试次数。默认值为 3。
• llm.retry_delay_second： 可选，重试的延迟时间（秒）。默认值为 0。

厂商支持

目前直接支持的厂商有：OpenAI、Anthropic、Gemini、DeepSeek、Local（Ollama 等）、MoonShot、MiniMax、Zhipu、Qwen、Baichuan。

若有不在上列的厂商，但其 API 格式与 OpenAI/Anthropic/Gemini 相同的，在填入参数 llm.provider_type 时可直接选择三者中格式相同的厂商。原因是厂商选择只影响 Doris 内部所构建的 API 格式。

快速上手

为了帮助用户尽快上手，我们准备了一些示例 Demo，以下示例均为最小实现：

01 配置 LLM 资源

示例一：

CREATE RESOURCE 'openai_example'
PROPERTIES (    
    'type' = 'llm',    
    'llm.provider_type' = 'openai',    
    'llm.endpoint' = 'https://api.openai.com/v1/responses',    
    'llm.model_name' = 'gpt-4.1',    
    'llm.api_key' = 'xxxxx'
);

示例二：

CREATE RESOURCE 'deepseek_example'
PROPERTIES (    
    'type'='llm',    
    'llm.provider_type'='deepseek',    
    'llm.endpoint'='https://api.deepseek.com/chat/completions',    
    'llm.model_name' = 'deepseek-chat',    
    'llm.api_key' = 'xxxxx'
);

02 设置默认资源（可选）

SET default_llm_resource='llm_resource_name';

03 执行 SQL 查询

case1:

假设存在如下数据表，表中存储了与数据库相关的文档内容：

CREATE TABLE doc_pool (    
    id  BIGINT,    
    c   TEXT
) DUPLICATE KEY(id)
DISTRIBUTED BY HASH(id) BUCKETS 10
PROPERTIES (    
    "replication_num" = "1"
);

若需筛选与 Doris 相关性最高的 10 条记录，可采用如下查询：

SELECT    
    c,    
    CAST(LLM_GENERATE(CONCAT('Please score the relevance of the following document content to Apache Doris, with a floating-point number from 0 to 10, output only the score. Document:', c)) AS DOUBLE) AS score
FROM doc_pool 
ORDER BY score DESC 
LIMIT 10;

该查询将利用 LLM 生成每条文档内容与 Apache Doris 的相关性评分，并按得分降序筛选前 10 条结果。

+---------------------------------------------------------------------------------------------------------------+-------+
| c                                                                                                             | score |
+---------------------------------------------------------------------------------------------------------------+-------+
| Apache Doris is a lightning-fast MPP analytical database that supports sub-second multidimensional analytics. |   9.5 |
| In Doris, materialized views can automatically route queries, saving significant compute resources.           |   9.2 |
| Doris's vectorized execution engine boosts aggregation query performance by 5–10×.                            |   9.2 |
| Apache Doris Stream Load supports second-level real-time data ingestion.                                      |   9.2 |
| Doris cost-based optimizer (CBO) generates better distributed execution plans.                                |   8.5 |
| Enabling the Doris Pipeline execution engine noticeably improves CPU utilization.                             |   8.5 |
| Doris supports Hive external tables for federated queries without moving data.                                |   8.5 |
| Doris Light Schema Change lets you add or drop columns instantly.                                             |   8.5 |
| Doris AUTO BUCKET automatically scales bucket count with data volume.                                         |   8.5 |
| Using Doris inverted indexes enables second-level log searching.                                              |   8.5 |
+---------------------------------------------------------------------------------------------------------------+-------+

case2:

该表模拟招聘场景的候选人简历和职业要求：

CREATE TABLE candidate_profiles (
    candidate_id INT,
    name         VARCHAR(50),
    self_intro   VARCHAR(500)
)
DUPLICATE KEY(candidate_id)
DISTRIBUTED BY HASH(candidate_id) BUCKETS 1
PROPERTIES (
    "replication_num" = "1"
); 

CREATE TABLE job_requirements (
    job_id   INT,
    title    VARCHAR(100),
    jd_text  VARCHAR(500)
)
DUPLICATE KEY(job_id)
DISTRIBUTED BY HASH(job_id) BUCKETS 1
PROPERTIES (
    "replication_num" = "1"
); 

INSERT INTO candidate_profiles VALUES 
(1, 'Alice', 'I am a senior backend engineer with 7 years of experience in Java, Spring Cloud and high-concurrency systems.'), 
(2, 'Bob',   'Frontend developer focusing on React, TypeScript and performance optimization for e-commerce sites.'), 
(3, 'Cathy', 'Data scientist specializing in NLP, large language models and recommendation systems.'); 

INSERT INTO job_requirements VALUES 
(101, 'Backend Engineer', 'Looking for a senior backend engineer with deep Java expertise and experience designing distributed systems.'), 
(102, 'ML Engineer',      'Seeking a data scientist or ML engineer familiar with NLP and large language models.');

可以通过 LLM_FILTER 将职业要求和候选人简介进行语义匹配，快速筛选出合适的候选人。

SELECT    
    c.candidate_id, c.name,    
    j.job_id, j.title
FROM candidate_profiles AS c
JOIN job_requirements AS j
WHERE LLM_FILTER(CONCAT('Does the following candidate self-introduction match the job description?',                 
    'Job: ', j.jd_text, ' Candidate: ', c.self_intro));

输出结果参考：

+--------------+-------+--------+------------------+
| candidate_id | name  | job_id | title            |
+--------------+-------+--------+------------------+
|            3 | Cathy |    102 | ML Engineer      |
|            1 | Alice |    101 | Backend Engineer |
+--------------+-------+--------+------------------+

case3:

该表模拟保险公司的理赔申请数据

CREATE TABLE claims (
    claim_id INT COMMENT '索赔编号',
    policy_id INT COMMENT '保单编号',
    claim_date DATE COMMENT '索赔日期',
    incident_description VARCHAR(1000) COMMENT '事故描述'
) DUPLICATE KEY(claim_id)
DISTRIBUTED BY HASH(claim_id) BUCKETS 5
PROPERTIES (
    "replication_num" = "1"
);

CREATE TABLE policies (
    policy_id INT COMMENT '保单编号',
    policy_type VARCHAR(50) COMMENT '保单类型',
    insured_item VARCHAR(255) COMMENT '承保物品/对象'
) DUPLICATE KEY(policy_id)
DISTRIBUTED BY HASH(policy_id) BUCKETS 5
PROPERTIES (
    "replication_num" = "1"
);

INSERT INTO claims VALUES
(1, 101, '2025-08-18', '昨天下午三点左右，我在东三环辅路开车时，与前车发生了追尾。'),
(2, 102, '2025-08-18', '上周五在公司楼下，我不小心扭伤了脚踝，需要理赔医疗费用。'),
(3, 103, '2025-08-18', '8月17日夜里家中管道破裂，导致部分家具被水浸泡。'),
(4, 104, '2025-08-18', '晚上喝酒后开车回家与其他车辆发生了碰撞。'),
(5, 105, '2025-08-18', '早上8点，在去上班的路上，发现车辆停放时被刮擦。');


INSERT INTO policies VALUES
(101, '车险', '宝马 X5'),
(102, '健康险', '个人意外险'),
(103, '家财险', '住宅房屋'),
(104, '车险', '丰田 凯美瑞'),
(105, '车险', '奥迪 A8');

可以利用 LLM_CLASSIFY 函数对事件性质进行智能分类，并通过 LLM_FILTER 函数对事件进行有效性校验，以筛选出符合理赔标准的有效事件。

SELECT
    c.claim_id,
    c.incident_description,
    llm_classify(c.incident_description, ['交通事故', '人身意外', '财产损失', '其他']) AS incident_category
FROM claims AS c
JOIN policies AS p ON c.policy_id = p.policy_id
WHERE
    p.policy_type = '车险' AND LLM_FILTER(CONCAT('下列情形是否支持保险赔偿：', c.incident_description));

输出结果参考：

+----------+-----------------------------------------------------------------------------------------+-------------------+
| claim_id | incident_description                                                                    | incident_category |
+----------+-----------------------------------------------------------------------------------------+-------------------+
|        1 | 昨天下午三点左右，我在东三环辅路开车时，与前车发生了追尾。                                        | 交通事故           |
|        5 | 早上8点，在去上班的路上，发现车辆停放时被刮擦。                                                 | 财产损失           |
+----------+-----------------------------------------------------------------------------------------+-------------------+

设计原理

01 函数执行流程

02 资源化管理

Doris 将 LLM 能力抽象为资源（Resource），统一管理各种大模型服务（如 OpenAI、DeepSeek、Moonshot、本地模型等）。每个资源都包含了厂商、模型类型、API Key、Endpoint 等关键信息，简化了多模型、多环境的接入和切换，同时也保证了密钥安全和权限可控。

03 兼容主流大模型

由于厂商之间的 API 格式存在差异，Doris 为每种服务都实现了请求构造、鉴权、响应解析等核心方法，让 Doris 能够根据资源配置，动态选择合适的实现，无需关心底层 API 的差异。用户只需声明提供厂商，Doris 就能自动完成不同大模型服务的对接和调用。

总结

Apache Doris 4.0 的 LLM 函数为数据分析与智能应用场景注入了强大的能力，覆盖智能反馈、内容审核、用户洞察和数据治理等多领域需求。通过灵活的资源化管理和对主流大模型（如 OpenAI、Anthropic、DeepSeek 等）的广泛兼容，Doris 提供了一站式的智能分析解决方案，极大简化了复杂模型的接入与使用流程。无论是高效的语义匹配、情感分析，还是自动化内容生成与数据优化，Doris LLM 函数都能以高性能、低成本的方式助力企业释放数据潜能。

现在就行动！

参与 Apache Doris 4.0 内测，体验 “SQL +AI” 的颠覆性组合，让数据分析从“被动查询”迈向“主动洞察”。