程序员必看：大模型日志分析DAG工作流实现，一篇就够，建议收藏！

大模型日志分析DAG工作流详解

最新推荐文章于 2025-10-02 13:31:04 发布

原创最新推荐文章于 2025-10-02 13:31:04 发布 · 1.4k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #产品经理 #pdf #embedding #langchain #大模型 #Dify

本文介绍了一个基于DAG结构的大模型日志分析工作流，通过从日志易平台获取数据，预处理后使用deepseek-reasoner大模型进行异常检测和分析，最终通过飞书推送报告给运维人员。工作流包含日志获取、数据预处理、LLM分析、结果提取和报告推送等关键阶段，并提供了完整的Python代码实现和定时任务配置方案，帮助构建智能化的日志分析系统。

工作流采用有向无环图（DAG）结构，分为以下关键阶段：

日志获取：通过 HTTP 请求从日志易平台获取过去指定时间段请求日志。
数据预处理：将原始日志格式化为结构化 JSON，方便 AI 分析。
日志分析：利用 deepseek-reasoner 大模型进行异常归类、问题提取和建议生成。
结果提取：从大模型输出中提取“日志分析报告”。
报告推送：通过飞书 Webhook 将报告发送给运维人员。
流程结束：完成工作流，输出最终结果。

一、工作流

工作流图：

1. 开始节点

功能：工作流起点，触发后续流程。

作用：作为入口，启动日志获取流程，无需输入参数，直接连接代码执行节点。

2、配置环境变量

feishu_webhook：飞书webhook地址
es_index：es索引名称
es_host：es的地址和端口
es_password：es的账号密码，格式是：Basic 用户名密码（使用base64加密)

3、代码执行节点

功能：初始化es查询语句，传递给下一额给节点

作用：python初始化es查询语句，开始和结束时间参数，传递给HTTP节点。

输出参数：

es_query：es查询语句
start_time：开始时间
end_time：结束时间

python代码主要功能：获取es查询语句和开始结束时间


from datetime import datetime, timedelta, timezone
import json
def main():
    tz = timezone(timedelta(hours=8))
    end_time = datetime.now(tz)
    start_time = end_time - timedelta(minutes=5)
    
    query = {
        "size": 10000,
        "query": {
            "bool": {
                "must": [
                    {
                        "range": {
                            "@timestamp": {
                                "gte": "now-5m",
                                "lte": "now"
                            }
                        }
                    }
                ]
            }
        },
        "_source": [
            "@timestamp", "clientip", "request_method", 
            "request_uri","response_code", "request_time", 
            "body_bytes_sent", "user_agent", "hostname", "referrer"
        ]
    }
    
    return {
        "es_query": json.dumps(query),
        "start_time": start_time.strftime("%Y-%m-%d %H:%M:%S"),
        "end_time": end_time.strftime("%Y-%m-%d %H:%M:%S")
    }

4、HTTP 请求节点

功能：从 ELK 日志易平台获取基地网络设备日志。

作用：通过精准查询条件获取异常日志，Basic 认证和重试机制确保请求安全和稳定。

参数说明：

请求方式：POST
URL：{{#env.es_host#}}/{{#env.es_index#}}/_search
HEADERS认证：Basic 认证方式
BODY：JSON获取上一个节点{{es_query}}的数据
重试机制：3 次重试，间隔 100ms。
输出：JSON 格式的日志数据（body），传递给下一级代码执行节点。

注意：HTTP请求默认数据体大小1MB，否则报如下错误。

Text size is too large, max size is 1.00 MB, but current size is 1.24 MB.

5、代码执行节点

功能：将原始日志转化为结构化 JSON，供大模型分析。

作用：确保日志数据结构化，便于大模型处理，同时限制数据量以提升性能。


import json
from collections import Counter
import re

def main(body, status_code):
    if status_code != 200:
        return {
            'processed_success': 'false',
            'error': f'ES request failed with status {status_code}',
            'summary': 'Failed to fetch data'
        }

    try:
        result = json.loads(body)
        hits = result.get('hits', {}).get('hits', [])

        if not hits:
            return {
                'processed_success': 'true',
                'summary': 'No logs found in the time range',
                'ip_stats': {},
                'error_requests': [],
                'suspicious_count': 0,
                'error': ''
            }

        logs = []
        for hit in hits:
            source = hit.get('_source', {})
            logs.append({
                'timestamp': source.get('@timestamp'),
                'clientip': source.get('clientip'),
                'request_method': source.get('request_method'),
                'request_uri': source.get('request_uri'),
                'referrer': source.get('referrer'),
                'response_code': source.get('response_code'),
                'user_agent': source.get('user_agent')
            })

        ip_counter = Counter()
        error_requests = []
        suspicious_count = 0
        response_code_stats = Counter()
        error_code_stats = Counter()

        attack_patterns = [
            r'\.\./', r'<script', r'union.*select', 
            r'exec\(', r'/etc/passwd', r'\bor\s+1=1'
        ]

        for log in logs:
            clientip = log.get('clientip', '')
            response_code_raw = log.get('response_code', 200)
            request_uri = log.get('request_uri', '')

            # 确保response_code是整数类型
            try:
                response_code = int(response_code_raw) if response_code_raw is not None else 200
            except (ValueError, TypeError):
                response_code = 200  # 默认值

            if clientip:
                ip_counter[clientip] += 1

            # 统计所有响应码
            response_code_stats[response_code] += 1

            # 过滤非2xx和3xx的响应码（异常请求）
            if not (200 <= response_code < 400):
                error_requests.append(log)
                error_code_stats[response_code] += 1

            request_content = request_uri.lower()
            for pattern in attack_patterns:
                if re.search(pattern, request_content, re.IGNORECASE):
                    suspicious_count += 1
                    break

        top_ips = dict(ip_counter.most_common(10))
        high_freq_ips = {ip: count for ip, count in top_ips.items() if count > 20}

        # 计算异常率
        error_rate = round((len(error_requests) / len(logs)) * 100, 2) if len(logs) > 0 else 0

        summary = f"总日志数: {len(logs)}, 异常请求数: {len(error_requests)} ({error_rate}%), 可疑模式: {suspicious_count}, 高频IP: {len(high_freq_ips)}"

        return {
            'processed_success': 'true',
            'ip_stats': json.dumps(top_ips, ensure_ascii=False),
            'error_requests': json.dumps(error_requests[:20], ensure_ascii=False),
            'suspicious_count': suspicious_count,
            'high_frequency_ips': json.dumps(high_freq_ips, ensure_ascii=False),
            'response_code_stats': json.dumps(dict(response_code_stats), ensure_ascii=False),
            'error_code_stats': json.dumps(dict(error_code_stats), ensure_ascii=False),
            'error_rate': error_rate,
            'summary': summary,
            'total_logs': len(logs),
            'error': ''
        }
    except Exception as e:
        return {
            'processed_success': 'false',
            'error': str(e),
            'summary': 'Processing failed'
        }

具体输出参数如下：

6、LLM 模型节点

功能：利用大模型分析日志，生成结构化报告。

模型：deepseek-reasoner。

提示模板内容：


# SYSTEM
你是一个专业的网络安全分析师，专门分析Nginx访问日志中的异常行为。请根据提供的日志统计数据，判断是否存在安全威胁。
分析重点：
1. 异常高频访问（可能的DDoS或爬虫攻击）
2. 可疑的请求模式（SQL注入、XSS、目录遍历等）
3. 异常的响应码分布
4. 可疑的User-Agent
请以JSON格式返回分析结果：
{
  "anomaly_detected": true/false,
  "anomaly_details": "详细的异常描述",
  "risk_level": "low/medium/high"
}
# USER
请分析以下Nginx日志统计数据：
统计摘要：{{#1756090016784.summary#}}
IP访问统计：{{#1756090016784.ip_stats#}}
高频IP详情：{{#1756090016784.high_frequency_ips#}}
响应码分布：{{#1756090016784.response_code_stats#}}
异常响应码统计：{{#1756090016784.error_code_stats#}}
异常请求率：{{#1756090016784.error_rate#}}%
错误请求样本：{{#1756090016784.error_requests#}}
可疑模式匹配数量：{{#1756090016784.suspicious_count#}}
请基于以上数据进行安全分析，重点关注异常响应码（4xx、5xx）的分布和异常请求率，判断是否存在安全威胁。

注意：尽量输入输出模型的数据精简，降低token成本。

7、条件分支节点

功能：根据模型分析出来的结果，判断是否存在异常，但存在则触发通知，否则结束流程

作用：提取异常请求，减少不必要的通知告警。

8、HTTP 请求节点(异常处理节点)

功能：获取异常数，将告警信息通过飞书通知

作用：确保报告及时送达运维人员，提升问题响应效率。


{
    "msg_type": "interactive",
    "card": {
        "config": {
            "wide_screen_mode": true
        },
        "header": {
            "title": {
                "tag": "plain_text",
                "content": "🚨 Nginx日志异常检测告警"
            },
            "template": "red"
        },
        "elements": [{
            "tag": "div",
            "fields": [{
                "is_short": true,
                "text": {
                    "tag": "lark_md",
                    "content": "**📅 监控时间段**\n 至 "
                }
            }, {
                "is_short": true,
                "text": {
                    "tag": "lark_md",
                    "content": "**📊 总日志数**\n 条"
                }
            }]
        }, {
            "tag": "div",
            "fields": [{
                "is_short": true,
                "text": {
                    "tag": "lark_md",
                    "content": "**⚠️ 异常请求率**\n%"
                }
            }, {
                "is_short": true,
                "text": {
                    "tag": "lark_md",
                    "content": "**🔍 可疑模式数**\n个"
                }
            }]
        }
             ]
    }
}

说明：因飞书机器人数据体的限制，目前只有传递这些参数，若采用其他通知方式可以补充通知数据报告，完善数据消息的通知。

9、结束节点

功能：标记工作流完成。

作用：接收推送结果，结束流程。

飞书通知消息如下：

二、扩展功能

1、工作流启动接口


curl -X POST 'http://192.168.10.20/v1/workflows/run' \
--header 'Authorization: Bearer {api_key}' \
--header 'Content-Type: application/json' \
--data-raw '{
    "inputs": {},
    "response_mode": "streaming",
    "user": "abc-123"
}'

目前dify没有完善的定时任务调度，可以使用接口处理。

2、使用python定时处理

1）定义一个dify_elk.py文件


# 定义一个dify_elk.py文件
import requests
import json,os
from datetime import datetime
# Dify 工作流 API 配置
DIFY_API_URL = "http://127.0.0.1/v1/workflows/run"
DIFY_API_KEY ="app-Flz8M3qIo0H8b87C2LPgEBUW"
def dify_elk() -> None:
    """调用 Dify 工作流 API"""
    headers = {
        "Authorization": f"Bearer {DIFY_API_KEY}",
        "Content-Type": "application/json"
    }
    payload = {
        "inputs": {},  
        "response_mode": "blocking",  # 阻塞模式 
        "user": "admin"  # 唯一用户标识
    }
    try:
        response = requests.post(DIFY_API_URL, headers=headers, json=payload)
        response.raise_for_status()
        result = response.json()
        print(f"服务器响应: {json.dumps(result, indent=2, ensure_ascii=False)}")
    except requests.RequestException as e:
        print(f"工作流触发失败: {str(e)}")

if __name__ == "__main__":
    dify_elk()

2）手动验证触发：


# 手动执行
python dify_elk.py

3）定时任务


# python环境
chmod +x /opt/dify_elk.py
python3 -m venv /opt/dify_venv
source /opt/dify_venv/bin/activate # 进入后安装相应的依赖包

# 添加定时任务
0 9 * * * /opt/dify_venv/bin/activate /opt/dify_elk.py >> /var/log/dify_elk.log 2>&1

同时也可以在Dify对应的工作流上查看历史执行记录。

三、如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】