构建智能化的阿里云CVE数据采集系统:从爬虫到自动化分析

python爬取阿里云漏洞库完整版 啦啦啦,来交差了!!! # -*- coding: utf-8 -*- import re import time import requests from random import randint import threading import pymysql # thread_lock = threading.BoundedSemaphore(value=10) print('正在连接到mysql服务器...') # 给定要连接的数据库IP地址、用户名、密码、数据库名 db = pymys 阅读详情

1. 为什么你需要一个智能化的CVE数据采集系统?

如果你是一名安全工程师,或者负责公司服务器、云上业务的运维,那你肯定对“漏洞”这个词不陌生。每天,全球各地都会爆出新的安全漏洞,它们被统一编号为CVE。这些漏洞信息散落在各个厂商的公告里,比如阿里云、腾讯云、AWS都有自己的安全公告中心。手动去一个个翻看,效率低不说,还特别容易遗漏关键信息。

我之前就吃过这个亏。有一次,一个影响我们线上Redis服务的中危漏洞被披露,我因为那几天忙着处理其他告警,没及时去阿里云的安全中心看公告,结果差点被安全团队“敲门”。从那以后,我就琢磨着,能不能让机器自动帮我把这些信息收集起来,整理好,甚至还能分析一下哪些漏洞跟我们用的服务有关。

这就是构建一个智能化CVE数据采集系统的初衷。它不是一个简单的“爬虫”,而是一个从数据发现、采集、清洗到初步分析的完整流水线。核心目标就一个:让你从繁琐、重复的信息搜集工作中解放出来,把精力集中在更重要的漏洞评估和修复上。这个系统特别适合中小型安全团队、运维团队,或者是对云上资产安全有要求的个人开发者。你不用再当“人肉监控器”,系统会7x24小时帮你盯着,一旦有新的漏洞情报,就能第一时间推送到你面前。

2. 系统核心设计:不止于爬取,更在于“消化”

一个真正好用的系统,绝不是把网页上的文字扒下来存成文件就完事了。那顶多算个“资料搬运工”。我们要做的是“信息消化师”——把原始、杂乱的数据,变成结构清晰、可直接用于决策的“情报”。

2.1 数据采集层:稳定高效的“侦察兵”

数据采集是整个系统的基石,必须稳如老狗。这里我们直接使用一个现成的利器:AliyunCVE_Crawler。这个工具我实测了很久,它最大的优点就是“省心”。你不用再去研究阿里云漏洞库页面的翻页逻辑、反爬机制,它都已经封装好了。

它的设计非常贴心。比如增量爬取功能,你可以设置只抓取最近3天或7天的新漏洞,这避免了每次都要全量抓取的历史包袱,速度飞快。再比如并发处理,它能同时打开多个页面进行抓取,我测试过,爬取100页的数据,串行可能需要半小时,而用它可能10分钟就搞定了,效率提升非常明显。

更重要的是它的健壮性。网络波动、页面结构微调、偶尔的验证码……这些爬虫常遇到的坑,它内部都有相应的重试和容错机制。我印象最深的是有一次阿里云前端页面改版,我手动写的脚本全挂了,而这个工具的作者很快进行了适配更新,这说明它背后有一个活跃的维护者,用起来更放心。

安装和启动非常简单,基本上就是“克隆-装依赖-运行”三步曲:

git clone https://github.com/vistaminc/AliyunCVE_Crawler.git
cd AliyunCVE_Crawler
pip install -r requirements.txt
python run_gui.py

启动后,一个现代风格的GUI界面就出来了。你可以通过点选设置爬取的页数、是否开启增量模式、选择保存路径等。对于不习惯命令行的朋友来说,这个图形界面极大地降低了使用门槛。

2.2 数据标准化层:从“方言”到“普通话”

阿里云页面上展示的漏洞信息,虽然全面,但格式是为人类阅读设计的。我们需要把它转换成程序容易处理的“标准普通话”。这个工具已经帮我们做了很重要的一步:自动转换为标准CVEInfo格式。

什么是标准格式?简单说,就是为每一个CVE条目定义一套固定的字段。比如:

  • cve_id: CVE编号,如CVE-2023-12345
  • title: 漏洞标题
  • description: 详细描述
  • severity: 严重等级(高危、中危、低危)
  • cvss_score: CVSS 3.x评分
  • affected_products: 受影响的云产品或组件
  • solution: 官方解决方案或建议
  • publish_date: 发布日期
  • aliyun_reference: 阿里云公告链接

工具爬取后,会生成一个结构化的JSON文件。但我们的标准化工作可以更进一步。例如,阿里云对严重等级的表述可能有“严重”、“高”、“中”,我们可以统一映射为“Critical”, “High”, “Medium”。再比如,从描述文本中,我们可以通过简单的关键词匹配,提取出受影响的具体服务型号(如ECS的特定实例规格、RDS的某个版本号),这为后续的精准匹配打下基础。

这一步我通常会写一个后处理脚本,对工具输出的JSON进行二次加工和清洗。

2.3 数据存储与索引层:打造你的专属漏洞知识库

数据存下来不是目的,能快速查、灵活用才是。我强烈不建议就把JSON文件往硬盘一扔了事。对于持续增长的数据,一个合适的数据库是必须的。

我的选择是 Elasticsearch。为什么?首先,它擅长全文搜索。你记不清完整的CVE编号,只记得漏洞是关于“Redis未授权访问”的,用ES一搜就能找到。其次,它的聚合分析能力很强,可以轻松统计出“本月阿里云上高危漏洞最多的产品是什么”、“Apache组件的漏洞增长趋势如何”。

搭建一个本地的ES单节点非常简单,用Docker一条命令就能跑起来:

docker run -d --name es-cve -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:8.11.0

然后,写一个Python脚本,将标准化后的CVE数据,通过ES的API批量导入(_bulk操作)。这样,你的漏洞数据就从静态文件,变成了一个可交互、可查询的动态知识库。

2.4 自动化分析层:让系统拥有“思考”能力

这是“智能化”的核心体现。数据有了,库建好了,怎么让它主动为我们服务?这里分享几个我实践中觉得非常实用的自动化分析场景。

场景一:资产关联匹配 这是最有价值的环节。你需要维护一份自己公司的资产清单(CMDB),至少包括:使用的云厂商、云产品、组件名称及版本号。然后,写一个定时任务(比如每天凌晨2点),执行以下流程:

  1. 从ES中取出过去24小时新增的CVE数据。
  2. 将每个CVE的“受影响产品”和“描述”信息,与你的资产清单进行匹配。
  3. 如果匹配成功(例如,CVE影响“Apache Tomcat 8.5.0 至 8.5.30”,而你的资产中正好有Tomcat 8.5.20),就生成一条高优先级的告警。

这个匹配逻辑可以从简单到复杂。初期可以用关键词字符串匹配,后期可以引入更专业的软件版本号语义化比对库。

场景二:风险趋势感知 系统可以定期(每周/每月)生成一份漏洞分析报告。利用ES的聚合功能,自动计算:

  • 各云产品漏洞数量分布(用饼图展示)
  • 不同严重等级漏洞的数量变化趋势(用折线图展示)
  • CVSS平均分走势 这份报告可以自动发送到团队邮箱或钉钉/企业微信群,让所有成员对当前的安全态势一目了然。

场景三:修复优先级建议 不是所有漏洞都需要立刻处理。系统可以结合CVSS评分、漏洞是否已被公开利用(可以从其他威胁情报源获取)、以及该漏洞影响的资产在你业务中的重要程度,计算出一个综合的“修复优先级指数”。这样,安全团队就可以优先处理那些风险高、影响大的漏洞,把好钢用在刀刃上。

3. 手把手搭建:从零到一的实战指南

光说不练假把式。下面我就带你一步步搭建起这个系统的核心骨架。我们假设你已经有了基本的Python和Linux操作经验。

3.1 基础环境搭建

首先,准备一台服务器(云服务器或本地虚拟机均可),安装好Python 3.8+和Docker。我们的技术栈很清晰:爬虫工具 + 数据处理脚本 + Elasticsearch。

第一步,获取并测试爬虫工具。

# 1. 获取爬虫工具
git clone https://github.com/vistaminc/AliyunCVE_Crawler.git
cd AliyunCVE_Crawler

# 2. 安装依赖(建议使用虚拟环境)
python -m venv venv
source venv/bin/activate  # Linux/Mac
# venv\Scripts\activate  # Windows
pip install -r requirements.txt
playwright install chromium

# 3. 进行一次快速测试,爬取前2页数据,确保一切正常
python main.py --pages 2 --output test_cves.json

如果运行成功,当前目录下会生成一个test_cves.json文件,里面已经包含了结构化的CVE数据。恭喜你,最复杂的数据采集环节已经打通了。

3.2 构建自动化爬取与处理流水线

我们不可能每天手动去运行命令。这里用Linux的Cron定时任务和Python脚本来实现自动化。

首先,创建一个处理脚本 cve_pipeline.py,这个脚本要干三件事:爬取、标准化、入库。

# cve_pipeline.py
import asyncio
import json
from datetime import datetime, timedelta
from elasticsearch import Elasticsearch
from main import crawl_aliyun_cves  # 导入爬虫工具的核心函数

# 1. 配置ES连接
ES_HOST = "localhost:9200"
es = Elasticsearch(ES_HOST)

# 2. 数据标准化增强函数
def enhance_cve_info(raw_cve_list):
    enhanced_list = []
    for cve in raw_cve_list:
        # 示例:统一严重等级英文缩写
        severity_map = {"严重": "Critical", "高": "High", "中": "Medium", "低": "Low"}
        cve["severity_normalized"] = severity_map.get(cve.get("severity", ""), "Unknown")

        # 示例:从描述中提取可能的产品版本(简单正则示例)
        import re
        description = cve.get("description", "")
        # 寻找类似“Apache Tomcat 8.5.0 至 8.5.30”的 pattern
        version_pattern = r"(\w+\s+\d+\.\d+(?:\.\d+)?)\s*至\s*(\d+\.\d+(?:\.\d+)?)"
        matches = re.findall(version_pattern, description)
        if matches:
            cve["extracted_versions"] = matches

        enhanced_list.append(cve)
    return enhanced_list

# 3. 主流程
async def main():
    print(f"[{datetime.now()}] 开始CVE数据采集流程...")
    # 使用增量爬取,获取过去1天的数据
    try:
        raw_cves = await crawl_aliyun_cves(incremental=True, days=1)
        print(f"  爬取到 {len(raw_cves)} 条新CVE记录。")
    except Exception as e:
        print(f"  爬取失败: {e}")
        return

    if not raw_cves:
        print("  无新数据,流程结束。")
        return

    # 数据标准化增强
    enhanced_cves = enhance_cve_info(raw_cves)

    # 批量导入Elasticsearch
    actions = []
    for cve in enhanced_cves:
        # 使用CVE ID作为文档ID,避免重复
        action = {
            "_index": "aliyun_cves",
            "_id": cve["cve_id"],
            "_source": cve
        }
        actions.append(action)

    if actions:
        from elasticsearch.helpers import bulk
        success, _ = bulk(es, actions)
        print(f"  成功导入 {success} 条数据到Elasticsearch。")

    # 可选:将原始数据也备份一份到JSON文件,按日期归档
    backup_file = f"./backup/cves_{datetime.now().strftime('%Y%m%d')}.json"
    with open(backup_file, 'w', encoding='utf-8') as f:
        json.dump(enhanced_cves, f, ensure_ascii=False, indent=2)
    print(f"  数据已备份至 {backup_file}")
    print(f"[{datetime.now()}] 流程执行完毕。")

if __name__ == "__main__":
    asyncio.run(main())

然后,使用Cron设置每天凌晨3点执行这个脚本(避免在业务高峰时运行)。

# 编辑当前用户的cron任务
crontab -e
# 在末尾添加一行,注意替换 `/your/project/path` 和 `venv` 路径
0 3 * * * cd /your/project/path/AliyunCVE_Crawler && /your/project/path/AliyunCVE_Crawler/venv/bin/python /your/project/path/cve_pipeline.py >> /your/project/path/cron.log 2>&1

这样,每天系统就会自动抓取最新的阿里云CVE数据,处理好并存入ES。

3.3 实现资产匹配与告警

接下来,我们实现最关键的资产匹配逻辑。假设你有一个简单的资产CSV文件 assets.csv,包含asset_name, product, version等字段。

我们创建一个告警脚本 alert_engine.py,它可以被定时调用,或者由数据入库流程触发。

# alert_engine.py
import csv
from elasticsearch import Elasticsearch
from datetime import datetime, timedelta

es = Elasticsearch("localhost:9200")

def load_assets(asset_file='assets.csv'):
    """加载资产清单"""
    assets = []
    with open(asset_file, 'r', encoding='utf-8') as f:
        reader = csv.DictReader(f)
        for row in reader:
            assets.append(row)
    return assets

def search_recent_cves(hours=24):
    """查询最近N小时内新增的CVE"""
    query = {
        "query": {
            "range": {
                "publish_date": {
                    "gte": f"now-{hours}h/h"
                }
            }
        }
    }
    response = es.search(index="aliyun_cves", body=query, size=100)
    return [hit["_source"] for hit in response["hits"]["hits"]]

def match_asset_with_cve(assets, cves):
    """简单的关键词匹配逻辑"""
    alerts = []
    for asset in assets:
        asset_product = asset['product'].lower()
        asset_version = asset.get('version', '')

        for cve in cves:
            # 匹配产品名称(在标题或描述中)
            cve_text = (cve.get('title', '') + ' ' + cve.get('description', '')).lower()
            if asset_product in cve_text:
                # 如果资产有版本号,尝试进行版本匹配(这里是简化逻辑)
                if asset_version:
                    # 检查CVE提取的版本信息或描述中是否包含该版本
                    # 实际应用中应使用更严谨的版本范围判断库,如`packaging`或`semantic_version`
                    if asset_version in cve_text:
                        match_reason = f"产品及版本匹配"
                    else:
                        match_reason = f"产品匹配,但版本未明确受影响"
                else:
                    match_reason = f"产品匹配"

                alert = {
                    "asset": asset['asset_name'],
                    "cve_id": cve['cve_id'],
                    "cve_title": cve['title'],
                    "severity": cve.get('severity_normalized', 'Unknown'),
                    "match_reason": match_reason,
                    "publish_date": cve['publish_date'],
                    "reference": cve.get('aliyun_reference', '')
                }
                alerts.append(alert)
    return alerts

def send_alert(alerts):
    """发送告警(示例:打印并写入文件,可替换为邮件、钉钉等)"""
    if not alerts:
        print("未发现匹配资产的新漏洞。")
        return

    print(f"发现 {len(alerts)} 个需要关注的漏洞!")
    alert_file = f"./alerts/alerts_{datetime.now().strftime('%Y%m%d_%H%M')}.txt"
    with open(alert_file, 'w', encoding='utf-8') as f:
        f.write("=== 资产漏洞关联告警 ===\n")
        for a in alerts:
            alert_msg = f"""
资产: {a['asset']}
CVE: {a['cve_id']} ({a['severity']})
标题: {a['cve_title']}
匹配原因: {a['match_reason']}
发布时间: {a['publish_date']}
详情: {a['reference']}
"""
            print(alert_msg)
            f.write(alert_msg + "\n" + "-"*50 + "\n")
    print(f"告警详情已保存至 {alert_file}")
    # 此处可集成发送邮件或Webhook到钉钉/企业微信

if __name__ == "__main__":
    assets = load_assets()
    recent_cves = search_recent_cves(24)  # 查询最近24小时漏洞
    alerts = match_asset_with_cve(assets, recent_cves)
    send_alert(alerts)

将这个脚本也加入Cron,比如每天凌晨3点30分,在数据采集入库后运行。这样,你每天上班打开电脑,就能收到一份清晰的漏洞影响报告。

4. 避坑指南与进阶优化

在实际搭建和运行过程中,你肯定会遇到一些问题。这里分享几个我踩过的坑和对应的解决方案。

坑1:爬虫被限制或封IP。 阿里云的安全公告页面虽然一般没有特别强的反爬,但高频、并发的请求仍可能触发风控。解决方案:在爬虫工具的配置中,合理设置请求间隔(--delay参数),模拟人类浏览行为。可以考虑使用代理IP池,但普通情况下,间隔2-3秒抓取一页数据已经非常稳妥,且对目标站点友好。

坑2:页面结构变化导致爬虫失效。 这是所有爬虫项目都要面对的问题。解决方案:不要过度依赖固定的HTML标签路径。AliyunCVE_Crawler工具本身维护得不错,但自己写的解析脚本要增加一些健壮性判断。定期(比如每周)运行一次测试用例,验证核心数据字段(如CVE ID、标题)是否能正常提取。可以考虑订阅该项目的GitHub Release,及时更新。

坑3:资产匹配准确率低。 初期使用简单的关键词匹配,可能会产生很多误报(比如资产是“Redis”,漏洞描述里提到了“Redis”,但其实是另一个不相关的产品)。解决方案:精细化匹配规则。

  1. 建立产品名称的同义词映射表(如“云服务器ECS” -> “ECS”, “Elastic Compute Service”)。
  2. 引入更专业的自然语言处理(NLP)工具,比如用jieba进行中文分词,然后计算资产描述与漏洞描述的文本相似度,设定一个阈值。
  3. 对于版本匹配,务必使用专业的版本解析库(如packaging)来判断版本是否在受影响范围内,而不是简单的字符串包含。

坑4:数据量增大后,查询变慢。 当你的CVE数据积累到上万条,简单的ES查询也可能变慢。解决方案:

  • 针对常用的查询字段建立索引,比如publish_date, severity, affected_products。
  • 定期对索引进行归档。可以将3个月前的数据迁移到另一个“冷”索引中,减少主索引的大小。
  • 优化查询语句,避免使用过于模糊的通配符查询。

进阶优化方向:

  1. 多源数据融合:不要只盯着阿里云。可以将腾讯云、华为云、以及国家漏洞库(CNVD)等来源的数据也纳入采集范围,在ES中建立统一的视图。这样能获得更全面的漏洞视野。
  2. 引入威胁情报:将CVE数据与外部威胁情报(如Exploit-DB、Github上的POC代码发布)关联起来。如果一个漏洞已经有了公开的利用代码,那么它的风险等级就应该立即调高。
  3. 可视化Dashboard:使用Kibana(ES官方可视化工具)或Grafana,搭建一个实时监控大屏。展示漏洞数量趋势、TOP风险产品、待处理告警等,让安全状态一目了然。

整个系统搭建下来,你会发现它就像你的一个不知疲倦的安全助理。它帮你完成了最耗时的信息搜集和初步筛选工作,让你能聚焦在技术分析和决策上。技术的价值,最终体现在它能否切实地提升效率、降低风险。这个从爬虫到自动化分析的CVE数据系统,正是这样一个能让你睡得稍微更安稳一点的实用工具。

一个高效的阿里云漏洞库爬虫工具,用于自动化爬取和处理CVE数据 阿里云漏洞库爬虫 (AliyunCVE_Crawler),一个高效的阿里云漏洞库爬虫工具,用于自动化爬取和处理CVE(Common Vulnerabilities and Exposures)数据。 阅读详情

相关推荐

python爬取阿里cve漏洞库信息

水一篇爬取阿里漏洞库信息的文章,有好几周没写爬虫了,在爬取时感觉还是xpath爬取高效些,但是用的正则匹配(re库,python内置),正则虽说在写匹配样式时比较繁琐但是精确匹配还是得用它,只 爬取第1页信息,没有使用多线程或者异步进程,更没有选择将数据持久化到数据库。还是懒,后面会把爬取全部页面的源码及多线程和持久化加进去,先这样了! # @Time : 2021/8/27 21:56 # @Author : huhu-Z # @File : ali_cvd_detail.py # -...

W983079520的博客 3195

阿里云漏洞爬取-JAVA版本

阿里云漏洞爬取

wydrsr的博客 827

GitHub Actions 自动化:5 个真实运维提效案例

回顾 5 个案例的共同模式:把确定性流程交给流水线,把判断性工作留给人,并给出从单点试点到体系化推广的推进路径。

guse1125的博客 314

python 进阶版(爬虫示例)

具体实现的功能: 每5分钟爬取阿里云漏洞库的页面,找到漏洞评分大于9分的漏洞并告警,再通过阿里云的API找出存在这些新增漏洞的服务器。 整体思路:(总共有5个模块) 1、漏洞类AVD:属性有漏洞详情,漏洞名,漏洞id,漏洞评分(属性用变量表示,这种变量叫实例变量); 漏洞类里还有通过API获取漏洞类型的函数def avd_gettype(self, client)以及存在漏洞的服务器信息的函数def avd_getuuid(self, client),需要传入API的客户端的参数; 2、数据库连接函数con

weixin_45275526的博客 6672

Python爬虫实战:搭建企业级漏洞数据采集系统,实现CVE数据的增量爬取、智能分类、威胁评估、实时预警与可视化分析,支持多数据源融合(NVD、CVE Details),最终输出结构化威胁情报报告!

我长期专注 Python 爬虫工程化实战,主理专栏 👉 《Python爬虫实战》:从采集策略到反爬对抗,从数据清洗到分布式调度,持续输出可复用的方法论与可落地案例。内容主打一个“能跑、能用、能扩展”,让数据价值真正做到——抓得到、洗得净、用得上。

喵手的博客 875

【信息科学与工程学】【安全领域】第十二篇 简述数据安全体系与保密技术

设计一个自适应窗口调整算法,本质上是为您的系统装备一个能够感知环境、智能决策的“自动驾驶”模式。核心在于明确您的核心目标(是优先延迟还是精度),然后据此精心设计触发条件和调整策略。

weixin_49199313的博客 1786

零信任架构实战:基于天远单人婚姻查询构建自动化智慧住房资格核验网关

破解公租房资格核查痛点:从传统纸质婚姻凭证抽检到权威民政数据穿透直连 在智慧城市公共租赁住房(公租房)、保障性租赁住房以及共有产权房等民生保障工程中,保障房资源的公平精准分配是住房保障管理中台的核心职责。按照现行住房保障准入政策,申请主体的家庭结构直接决定了配租资格准入与面积配给标准:单身家庭申请人通常享有特定的单人保障配额与独立的财产评估标准,要求申请人具

2501_94042197的博客 219

【信息科学与工程学】【产品体系】第三十九篇 IT产品系列需求01 互联网行业的需求

经过多轮补充,现整理出覆盖存储、网络、计算、安全、数据治理、AI治理、物联网/工控、管理与经营​ 八大领域的完整需求目录,共60条​ 详细需求。

weixin_49199313的博客 1414

官网最差内容压力测试:长标题、缺图、空状态与溢出的自动化核查

用真实最差内容、固定视口和浏览器脚本检查官网长标题、缺图、空状态、横向溢出、表单错误与多语言布局。

sweetofmine1的博客 258

MCP+Skills 赋能APP渗透逆向,六阶段 Agent 流水线,打通 MCP 工具链实现 APP 安全自动化分析

本文的实现与思路,是对前辈经验和行业方法的一次学习与实践,若其中存在疏漏或不足之处,欢迎批评指正。目前也在继续尝试将这一体系进一步推向真正可落地的自动化方向,供更多安全研究与测试实践参考!

Chengbei11的博客 65

Nvidia Tesla A100 驱动安装方法

Nvidia Tesla A100 驱动安装方法 遇到的问题:以前安装tesla系列、geforce系列等gpu 驱动的时候,只需执行nvidiaxxxx.run驱动包或者安装nvidiaxxxx.rpm包即可,但遇到新的GPU Nvidia Tesla A100的时候,安装完驱动似乎不起作用,找了半天资料,原来需要以下步骤才可以使用;

qq_24343177的博客 2万+

当通用大模型进入神经科学实验室,科研自动化正在发生什么变化?

10月28日,Gabriel Ocana-Santero 分享了一组小鼠实验现场照片:粉色支架、显微镜、电机,以及一个醒目的红色急停按钮。这很容易被概括成“AI 给小鼠做脑手术”。**但目前能够核对的材料,主要是作者的社交媒体自述、线程转录与现场图片,尚不足以独立验证实验结果。**读懂这次展示,首先要把三个问题分开:谁提出方案,谁批准动作,什么证据能证明治疗有效。团队展示的电动实验装置全景;照片不构成疗效证据(图源:Gabriel Ocana-Santero 社交媒体图片,用户提供)

weixin_71777199的博客 177

避坑指南:Zabbix poller进程100%占用的5种常见原因及解决方案

本文深入剖析了Zabbix poller进程占用率高达100%的五大常见原因,包括监控项与进程数不匹配、不可达主机资源浪费、数据库性能瓶颈、监控项配置不合理以及版本缺陷。文章提供了从系统化诊断到针对性解决方案的完整指南,并重点介绍了如何通过优化zabbix_server.conf中的StartPollers等关键参数进行有效调优,帮助运维人员从根本上解决这一经典性能问题。

7z8x2c4v6b9的博客 253

Try-Except怎么用,3个追问解答在自动化下的应用

异常处理(Try-Except)——给程序穿上防弹衣。在真实环境里,你经常会遇到:某个子文件夹没权限访问()、某个文件刚好被同事删了()、或者网络突然断了。如果不加异常处理,只要有一个文件报错,整个扫描程序就会瞬间崩溃,直接闪退。try。

2303_76755697的博客 452

离合器KP点自学习:从原理到工程实践的全景解析

本文全面解析了离合器KP点自学习的原理与工程实践,详细介绍了KP点的物理本质、控制价值及自学习方法。通过扭矩增量式和转速变化式学习法,结合不同变速箱构型的适配策略,提升离合器控制的精度与效率。文章还探讨了液压系统迟滞补偿和摩擦材料老化应对方案,为工程实践提供可靠保障。

weixin_33717117的博客 290

AUTOSAR进阶图解==>AUTOSAR_SWS_CANNetworkManagement

本文介绍了AUTOSAR架构中的CAN网络管理(CanNm)模块,主要内容包括: 模块概述:CanNm是协调CAN网络节点状态转换的基础组件,采用去中心化设计,通过周期性发送网络管理PDU保持网络活跃状态,支持网络唤醒、睡眠和部分网络功能。 架构设计:CanNm位于AUTOSAR中间层,连接上层通信管理器(ComM)和底层CAN接口(CanIf),包含状态管理、PDU处理和定时器管理等子组件。 状态机设计:定义了三种主要模式(总线睡眠、准备睡眠和网络模式)及其转换逻辑,网络模式又包含重复消息、正常操作和准备

一名留德华的,康德的信徒的,专注于汽车电子领域的博客 2041

树莓派工控机在机器人自动化中的适用边界

讨论树莓派工控机能否用于机器人自动化,前提是把机器人控制拆成不同时间尺度的任务。电流环周期通常在 125~250 μs,速度环多在 0.5~1 ms,位置环由控制器或驱动器完成,常见取值 1~2 ms,轨迹插补周期通常为 4~8 ms。四层任务对平台的要求并不一致。 电流环与速度环由驱动器的硬件时序与 PWM 开关频率决定,与主控采用何种处理器关系有限。插补与轨迹规划运行在控制器上,占用算力与内存带宽,对单次调度延迟的容忍度相对较高。位置环处在分界位置,它由谁执行,决定了控制器是否需要具备硬实时能力。 据此

2609_96574764的博客 287

华为OD 面试手撕代码真题【判断链表是否有环】

华为OD 面试手撕代码真题【判断链表是否有环】

MISAYAONE的博客 7242

WinRAR 高级自动化实战:用脚本批量搞定压缩解压全流程

本文详解WinRAR命令行自动化实战,通过三类脚本实现批量压缩、解压与增量备份,结合环境变量配置与任务计划,彻底解放双手。涵盖加密命名、自动归档、智能增量及分卷备份,附避坑指南与配置导出技巧,助力高效无人值守文件管理。

Helix250的博客 165

探索gtwr of mgtwr in python

代码】探索gtwr of GWmodel in python。

m0_46268055的博客 3388

Unreal5从入门到精通之Landscape地形系统

虚幻引擎 5 (UE5) 能够利用其强大的地形编辑工具套件创建大规模的地形世界。使用地形工具可以创建身临其境的户外地形,这些地形经过优化,可在多种不同设备上保持可播放的帧速率。

TxNet 4147

零信任架构实战:基于海宇历史车况精准版出险构建自动化二手车以租代购与车队资产建档网关

破解汽车租赁与二手车采购出险核查痛点:从传统纸质保单调取到车况出险报告异步穿透直连 在全国连锁汽车租赁、网约车运力资产管理、二手车以租代购以及汽车融资租赁等现代化重资产出行生态中,车队采购与车辆资产建档的质量控制直接关乎运营企业的资金安全与生命线。无论是数千台批量采购的退役营运车辆、个人车主置换的准新二手车,还是长租客户退回的存量资产,机动车在历史使用周期中

haiyudashuju的博客 188

基于R-CNN深度学习的生活垃圾检测与分类系统:数据集、模型和UI界面的完整实现

我们将使用一个公开的垃圾分类数据集来训练我们的模型。一个常见的数据集是TACO数据集(Trash Annotations in Context),该数据集包含多种垃圾类别,适用于垃圾分类任务。TACO数据集中的图像标注了垃圾的类别以及其在图像中的位置,适合用于目标检测任务。图片数据:每张图片中包含不同种类的垃圾。标签文件:每个图像有相应的标签文件,标注了图像中垃圾的类别、位置(通常为边界框坐标)等信息。dataset/images/image1.jpgimage2.jpg......其中,

YOLO 1103

企业 BPM 平台如何选?炎黄盈动解析流程自动化与智能化选型要点

数字化建设持续推进,不少企业已完成基础流程线上化。但在企业全域业务协同过程中,仍面临异构业务系统互通难、流程规则调整依赖技术交付、流程资产缺乏统一沉淀、运营改善缺少常态化机制等深层挑战。炎黄盈动bpmPaaS智能BPM平台,以流程全生命周期管理为核心,融合低代码应用、智能集成与AI Agent能力,帮助企业统一管理流程资产、打通跨系统业务协同、推动AI融入流程,为企业从流程自动化走向智能化运营提供支撑。围绕企业BPM平台选型,可从以下四个维度考察其能力。

yanhuangyingdong的博客 201

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

零信任架构实战:基于海宇历史车况精准版出险构建自动化二手车出险记录异步核验网关

破解二手车收车检测与在线拍卖痛点:从传统线下拆检到车架号历史出险数据穿透直连 在全国二手车在线拍卖平台、大型智慧收车数字化门店、汽车融资租赁资产评估以及主机厂品牌认证二手车等核心流通环节中,车辆真实车况与历史出险记录核验是构筑透明交易环境与保障资产评估准确性的核心基石。二手车属于非标高价值资产,“一车一况、一车一价”是行业的客观规律。平台在将车源推向全国线上

haiyu_AI的博客 145

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

现代制造业转型下的自动化人才市场需求与职业教育法的影响

现代制造业正面临转型,其对自动化人才的市场需求持续增长,尤其是PLC工程师的培训显得尤为重要。随着国产PLC逐步替代进口设备,智能制造的人才缺口亟待填补。职业教育法的实施将对培养符合市场需求的自动化工程师起到积极作用,推动行业健康发展。

Learn_PLC的博客 125

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

上一篇: WSL2+Docker 离线部署 RAGFlow 全流程避坑指南(附 PowerShell 脚本)
下一篇: 瀚高数据库自动化部署与定时备份实战(脚本化解决方案)
devops8pract
博客等级 码龄4年 533粉丝 849原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值