【实战拆解】影刀RPA高级考试:Python编码版数据抓取与数据库入库全流程

【实战拆解】影刀RPA高级考试:Python编码版数据抓取与数据库写入全流程 本文详细拆解了影刀RPA高级认证考试中,使用Python编码模式从反爬网站抓取电影数据并写入远程数据库的全流程。文章重点分享了如何结合RPA的拟人化操作与Python编码能力对抗反爬、编写稳定的XPath定位、清洗复杂数据(如票房单位转换),以及通过pymysql进行安全的数据库连接与参数化写入,为开发者提供了实战性极强的自动化项目解决方案。 阅读详情

1. 从零开始:理解影刀RPA编码版与实战场景

大家好,我是老陈,一个在自动化和数据抓取领域摸爬滚打了十来年的“老码农”。今天我们不聊那些虚头巴脑的理论,直接上手拆解一个硬核实战项目——影刀RPA高级考试中的Python编码版数据抓取与数据库入库任务。如果你正在备考影刀RPA高级认证,或者想用Python在影刀里玩点真格的自动化,那这篇文章就是为你准备的。

简单来说,这个考试任务模拟了一个非常真实的开发场景:你需要从一个有反爬措施的电影数据网站上,精准地抓取几十甚至上百部电影的详细信息,包括片名、年份、地区、导演、票房等等,然后把这些数据清洗、整理,最终写入到一个远程的MySQL数据库里。整个流程不能使用影刀里那个方便的“批量数据抓取”指令,必须全部用Python代码来实现,并且元素定位必须用XPath。这听起来是不是有点挑战性?别担心,我会把每一步的代码逻辑、我踩过的坑、以及怎么绕开反爬机制,都掰开揉碎了讲给你听。

为什么这个场景值得深究?因为它几乎涵盖了RPA开发中数据处理链路的所有核心环节:网页交互、数据解析、异常处理、类型转换、数据库连接与写入。搞定了这一套,你再去处理电商商品抓取、新闻资讯聚合、竞品数据监控之类的任务,基本上就是换汤不换药了。我当初做这个练习的时候,感觉就像在搭一个精密的乐高模型,每一块代码都必须严丝合缝。接下来,我们就一块一块地把它拼起来。

2. 环境搭建与核心工具包准备

工欲善其事,必先利其器。在影刀RPA的编码版里写Python,和我们平时在PyCharm或VSCode里写有点不一样,它是在一个相对封闭但功能集成的环境中运行的。不过别被吓到,它的核心依然是Python,我们熟悉的很多库都能用。

2.1 影刀编码版环境初探

当你打开影刀RPA设计器,新建一个“Python模块”时,你就进入了一个预设好的编码环境。影刀已经为我们内置了一些非常强大的专属包,最核心的两个是 xbot 和 package。

  • xbot:这是影刀的自动化核心SDK。你可以把它理解为一个超级工具箱,里面装着控制浏览器(xbot.web)、操作桌面应用、读写Excel、记录日志、甚至调用AI模型的工具。在我们的抓取任务里,主要用它的 web 模块来创建浏览器实例、查找页面元素。
  • package:这个包主要用于和影刀流程本身交互。比如,你可以通过它获取在可视化流程里定义好的全局变量,或者读取你上传到项目里的资源文件。在这个纯编码任务里,我们可能用得不多,但知道它的存在很重要。

除了影刀自带的包,我们还需要引入一些标准的Python第三方库。考试题目里已经提示了,需要安装 pymysql。这里我补充一点我的经验:你最好在影刀的“模块依赖”管理里,或者通过系统命令行(确保是影刀使用的Python环境)来安装,而不是想当然地以为直接import就能用。我就曾经在这里卡了半小时,一直报错“No module named ‘pymysql‘”,最后发现是环境没搞对。

2.2 必备Python库详解

我们的脚本头部,除了影刀的包,还需要导入以下几位“老朋友”:

import time
import pymysql
import re
import random
from xbot import web
  • pymysql:连接和操作MySQL数据库的不二之选。它允许我们执行SQL语句,进行数据的插入、更新等操作。记住,一定要用参数化查询(%s占位符),这是防止SQL注入攻击、保证数据安全的基本职业操守,也是考试和实际项目的硬性要求。
  • re:正则表达式库。数据清洗时的大杀器。比如票房数据里混着“亿”、“万”这样的中文单位,或者导演名字前后有多余的空格和换行符,用正则来处理会非常高效和精准。
  • random 和 time:这对“黄金搭档”是应对反爬机制的利器。很多网站会监控请求的频率,如果发现你像机器一样每隔固定毫秒就请求一次,很容易就把你IP给封了。我们需要用 random.uniform(a, b) 来生成一个区间内的随机等待时间,再用 time.sleep() 来执行等待,这样能模拟出更接近真人浏览的随机间隔,大大降低被屏蔽的风险。

把这些库都准备好,我们的代码“武器库”就算齐全了。接下来,我们就要开始设计最关键的抓取逻辑了。

3. 实战拆解:反爬网站的数据抓取策略

目标网站通常不会让你轻易地拿走数据,它们会设置一些障碍,也就是我们常说的“反爬机制”。常见的比如验证码、请求头校验、频繁访问限制等。这次考试模拟的网站,主要防御点就在于“频繁访问限制”。我们的策略核心就是:稳字当头,模拟真人操作。

3.1 优雅的页面导航与等待机制

代码里,我们使用 xbot.web.create() 来打开浏览器并访问目标页面。这里第一个要点是,不要一打开页面就立刻开始疯狂抓取。网络有延迟,页面渲染需要时间。我习惯在关键操作前后,都加上一个自定义的随机等待函数。

def random_sleep():
    """随机等待一段时间,模拟人工操作"""
    sleep_time = random.uniform(1.5, 3.5) # 等待1.5到3.5秒之间的一个随机值
    time.sleep(sleep_time)
    # 也可以用 xbot 自带的 sleep,但用 time.sleep 更通用

这个 random_sleep() 函数应该在每次打开新页面、点击翻页、或者完成一批数据抓取后调用。比如,打开电影列表首页后等一次,点击进入一个电影详情页面前等一次,抓完这个详情页的数据、准备返回列表页时再等一次。别小看这几秒的等待,它能让你的爬虫从“粗暴的抢劫犯”变成“有礼貌的访客”,存活率直线上升。

3.2 使用XPath进行精准元素定位

题目要求必须使用XPath,这其实是个好习惯,因为XPath定位通常比CSS选择器更灵活、更精准,尤其是在处理结构复杂、缺少标准id或class的页面时。

第一步,抓取列表页的所有电影链接。 我们分析列表页的HTML结构,发现每个电影名都是一个放在 <tbody><tr><td><a> 这个路径下的链接。那么XPath可以写成://tbody/tr/td/a。这个 // 表示从根节点开始查找所有符合条件的节点,不管它们在哪一层。用 find_all_by_xpath 方法就能得到一个所有链接元素的列表。

quanbu = web_page.find_all_by_xpath('//tbody/tr/td/a')
for dys in quanbu:
    movie_url = 'https://www.endata.com.cn' + dys.get_attribute('href')
    # 然后我们用这个 movie_url 去打开详情页

第二步,在详情页中提取具体字段。 这是最考验XPath功力的时候。以“导演”信息为例,我们来看源码里那个有点复杂的表达式: //dt[text()="导演"]/following-sibling::dd[not(preceding-sibling::dt[text()="演员"])]

我来拆解一下这个“神符”:

  • //dt[text()="导演"]:找到页面上所有文本内容 exactly 是“导演”的 <dt> 标签。
  • /following-sibling::dd:选取上面找到的 <dt> 标签之后,所有同级的 <dd> 兄弟标签。在HTML的 <dl>(描述列表)中,<dt>是定义项,<dd>是描述项,所以这个组合能拿到“导演”对应的值。
  • [not(preceding-sibling::dt[text()="演员"])]:这是一个过滤条件。它排除了那些前面有一个文本是“演员”的<dt>标签的<dd>。为什么?因为有些页面结构里,“导演”和“演员”的<dd>可能是连续的,这个条件确保了只取到“导演”自己的描述,而不会错误地抓到“演员”的描述。

写这种复杂的XPath,浏览器的开发者工具(F12)是你的最佳战友。多使用“检查元素”和“复制XPath”功能,然后根据实际情况调整。记住,写XPath的原则是:在保证唯一性、准确性的前提下,尽量简洁,避免过度依赖页面结构深度,因为前端代码一变,过于复杂的路径很容易失效。

4. 数据清洗与格式化:从杂乱到规整

从网页上抓下来的数据,我们称之为“原始数据”,它通常是字符串形式,而且夹杂着各种HTML实体、多余空格、换行符,以及中文单位。直接把它们丢进数据库,要么报错,要么导致后续分析极其困难。所以,数据清洗是承上启下的关键一步。

4.1 处理多值字段与字符串拼接

导演信息就是一个典型的多值字段。一个电影可能有多个导演,在页面上可能以多个 <dd> 标签呈现,也可能在一个 <dd> 里用顿号或斜杠分隔。我们的代码逻辑是:先尝试找到所有可能是导演的<dd>元素,把它们的文本提取出来,放入一个列表 directors 中。

def get_directors(web_dg):
    directors = []
    try:
        director_elements = web_dg.find_all_by_xpath('那个复杂的XPath')
        for element in director_elements:
            if element and element.get_text():
                # 这里可以增加一步:对单个导演名字做清洗,去除首尾空格
                clean_name = element.get_text().strip()
                directors.append(clean_name)
    except Exception as e:
        print(f"获取导演信息时发生错误: {e}")
    # 将列表用英文逗号连接成一个字符串
    return ', '.join(directors)

这里有几个细节需要注意:

  1. 异常处理:用 try...except 包裹抓取逻辑。网络不稳定、元素未加载出来都可能导致 find_all_by_xpath 出错,不能让一个电影的失败导致整个程序崩溃。
  2. 空值判断:if element and element.get_text(): 这行代码确保了元素对象存在且其文本内容不为空,避免了追加空字符串或None值。
  3. 统一分隔符:题目要求“多名导演用英文逗号分隔开”,所以最后我们用 ', '.join(list) 来生成最终字符串。务必注意是英文逗号,后面跟一个空格,这是比较标准的格式。

4.2 数值转换与单位统一

票房数据(box_office)的清洗是另一个重头戏,也是容易出错的地方。原始数据可能是“56.8亿”、“10420万”、“1,234.5”等形式。我们的目标是将它们统一转换为以“万”为单位的整数(或者根据你的数据库设计,转换为以“元”为单位的数值)。

def format_box_office(box_office_str):
    if not isinstance(box_office_str, str):
        return 0
    box_office_str = box_office_str.strip()
    # 处理“亿”单位
    if '亿' in box_office_str:
        try:
            num = float(box_office_str.replace('亿', ''))
            return int(num * 10000)  # 亿转换为万
        except ValueError:
            return 0
    # 处理“万”单位
    elif '万' in box_office_str:
        try:
            num = float(box_office_str.replace('万', ''))
            return int(num)
        except ValueError:
            return 0
    # 处理带逗号的数字字符串,如 "1,234.5"
    else:
        try:
            num = float(box_office_str.replace(',', ''))
            return int(num)  # 假设原始数字单位已经是“万”
        except ValueError:
            return 0

这个函数体现了数据清洗的典型思路:先判断、再剥离、后转换。同时,每一步转换都要放在 try...except 里,因为字符串可能千奇百怪(比如“暂无”、“-”、“票房未知”),转换失败时给出一个合理的默认值(比如0),保证流程能继续走下去,而不是中途抛出异常中断。上映年份(release_year)的转换也是同理,尝试转为整数,失败则赋默认值。

5. 数据库连接与稳健写入

数据清洗干净后,就要送入数据库的“仓库”了。这一步的核心是 稳定和安全。网络会波动,数据库服务器可能重启,我们的程序必须能应对这些情况,并且不能因为程序出错而在数据库里留下脏数据或破坏表结构。

5.1 使用参数化查询防止SQL注入

这是铁律,必须遵守。绝对不要用字符串拼接的方式构造SQL语句!

# 正确做法:参数化查询
sql = """
INSERT INTO movies (电影名称, 上映年份, 制片地区, 海报链接, 导演, 票房, 提交人)
VALUES (%s, %s, %s, %s, %s, %s, %s)
"""
# 假设 data 是一个包含7个值的元组
formatted_data = format_data(data) # 先格式化数据
mycursor.execute(sql, formatted_data) # 将数据和SQL分开传入

pymysql 的 execute 方法会自动处理参数化问题。它会把 formatted_data 中的值安全地转义后,替换到SQL语句的 %s 占位符上。这样,即使用户输入里包含了SQL特殊字符(比如引号),也会被安全地处理,从而根绝SQL注入的风险。

5.2 完整的数据库操作与异常处理框架

我强烈建议你按照下面这个结构来组织你的数据库操作代码,这是我多年趟坑总结出的“稳健模板”:

def main(submitter):
    # 初始化变量为None,方便finally块中判断
    mydb = None
    mycursor = None
    web_page = None
    web_dg = None

    try:
        # 1. 建立数据库连接
        mydb = pymysql.connect(
            host="43.143.30.32",
            port=3306,
            user="yingdao",
            password="9527",
            database="ydtest",
            charset='utf8mb4'  # 建议使用utf8mb4以支持更全的字符集
        )
        mycursor = mydb.cursor()

        # 2. 主抓取循环
        web_page = xbot.web.create(url="列表页地址")
        random_sleep()

        movie_count = 0
        for movie_link_element in movie_links:
            try:
                # 抓取单个电影详情数据...
                data = fetch_single_movie_data(...)
                # 格式化数据
                formatted_data = format_data(data)
                # 执行插入
                mycursor.execute(sql, formatted_data)
                movie_count += 1
                # 每成功插入N条,提交一次事务,避免一次提交数据量过大
                if movie_count % 10 == 0:
                    mydb.commit()
                    print(f"已成功提交 {movie_count} 条记录。")
            except Exception as e:
                print(f"处理电影链接 {movie_url} 时出错: {e}")
                # 单个电影失败,记录日志,但继续下一个
                continue

        # 循环结束后,提交剩余的数据
        mydb.commit()
        print(f"所有数据抓取完成,共成功处理 {movie_count} 条记录。")

    except pymysql.Error as db_err:
        print(f"数据库操作发生错误: {db_err}")
        # 这里可以更细致地区分连接错误、执行错误等
    except Exception as general_err:
        print(f"程序发生未知错误: {general_err}")
    finally:
        # 3. 资源释放(非常重要!)
        if mycursor:
            mycursor.close()
        if mydb:
            mydb.close()  # 关闭数据库连接
        if web_dg:
            web_dg.close() # 关闭详情页浏览器实例
        if web_page:
            web_page.close() # 关闭列表页浏览器实例
        print("所有资源已释放。")

这个框架的精华在于:

  1. 清晰的资源管理:所有需要关闭的对象(数据库连接、游标、浏览器实例)都在 finally 块中确保被释放。无论程序是正常跑完还是中途出错,finally 里的代码都会执行,这能有效避免资源泄露。
  2. 事务的合理提交:不要每条数据插入后都立即 commit,这样效率低。也不要等所有数据抓完才 commit,这样万一中途出错,所有努力白费。分批提交(比如每10条)是个好平衡。
  3. 错误隔离:将单个电影的处理放在内层 try...except 中。这样即使某部电影的数据抓取出错或格式异常,也不会影响整个程序,它只会跳过这部电影,记录错误日志,然后继续抓取下一部。
  4. 详细的日志输出:在关键节点(如开始、提交事务、出错、结束)都打印信息。这在你调试程序、监控运行状态时非常有用。

6. 高级技巧与避坑指南

掌握了基本流程,我们再来聊聊那些能让你的代码从“能用”升级到“健壮”的高级技巧和常见陷阱。

6.1 应对动态加载与页面结构变化

我们之前的XPath是基于静态HTML分析的。但有些网站会用JavaScript动态加载内容。这时候,直接用 find_all_by_xpath 可能找不到元素,因为代码执行时数据还没加载出来。

解决方案:增加“显式等待”。影刀的 web 模块可能没有Selenium那样丰富的等待函数,但我们可以用循环检查配合 time.sleep 来实现。

def wait_for_element(web_instance, xpath, max_attempts=10, interval=1):
    """等待特定元素出现"""
    for i in range(max_attempts):
        elements = web_instance.find_all_by_xpath(xpath)
        if elements:
            return elements
        time.sleep(interval)
    print(f"等待元素超时: {xpath}")
    return None

# 使用示例
director_elements = wait_for_element(web_dg, '//dt[text()="导演"]/following-sibling::dd')
if director_elements:
    # 进行后续处理

此外,页面结构可能会改版。今天有效的XPath,明天可能就失效了。一个实用的建议是:不要写“绝对路径”式的XPath(如 /html/body/div[3]/div[2]/table/tbody/tr[1]/td[1]/a),这种路径极其脆弱。尽量写“相对路径”或利用元素的属性特征(如 @class, @id, text())来定位,这样的XPath适应性更强。

6.2 连接池与重试机制(进阶)

对于超大规模抓取,频繁创建和关闭数据库连接开销很大。可以考虑使用连接池(如 DBUtils 或 SQLAlchemy 的连接池功能)。但在影刀编码版和考试场景下,连接池可能有点“杀鸡用牛刀”。更实际的是实现一个简单的重试机制。

比如,数据库连接可能因为网络闪断而失败。我们可以包装连接函数:

def connect_db_with_retry(host, user, password, database, retries=3, delay=5):
    for i in range(retries):
        try:
            connection = pymysql.connect(host=host, user=user, password=password,
                                         database=database, charset='utf8mb4')
            print("数据库连接成功!")
            return connection
        except pymysql.OperationalError as e:
            print(f"数据库连接失败(第{i+1}次重试): {e}")
            if i < retries - 1:
                time.sleep(delay)
    raise Exception(f"经过{retries}次重试后,仍无法连接到数据库。")

网络请求同样可以加入重试。用 try...except 包裹 xbot.web.create 或数据抓取逻辑,失败后等待一段时间再试。重试两三次后仍然失败,再记录错误并跳过。这种机制能显著提升程序在非稳定环境下的完成率。

6.3 性能优化与小细节

当抓取几百上千条数据时,性能就值得关注了。

  • 减少不必要的浏览器实例:在循环内,复用浏览器实例比反复开关更快。就像我们的代码,web_page(列表页)只创建一次,web_dg(详情页)在循环内每次抓取新电影时创建,并在处理完后及时关闭。
  • 批量插入:我们之前是逐条执行 execute。pymysql 支持 executemany 方法,可以一次性插入多条数据,效率高得多。你可以先将所有电影的格式化数据收集到一个列表里,循环结束后用 executemany(sql, data_list) 一次性插入。但要注意,如果数据量极大,一次性插入可能超出数据库包大小限制,需要分批次。
  • 编码问题:确保数据库、连接、表字段都使用 utf8mb4 字符集,以完美支持中文和Emoji。在连接字符串和建表语句中都要明确指定。

最后,也是最重要的:一定要自己亲手跑一遍完整的流程。从环境配置、代码编写、到最终的数据入库,每一步都可能遇到意想不到的问题。比如,影刀版本更新导致API有细微变化,目标网站改版,数据库表结构微调等等。只有亲手实践,你才能真正理解每个环节,并积累下属于自己的“避坑经验”。当你看到自己抓取的数据整整齐齐地出现在数据库表中时,那种成就感就是最好的回报。

将Excel数据批量导入到数据库 我们今天就给大家介绍一个用途非常广泛的功能:批量导入,在很多系统中,这也是必须实现的功能。而且当Excel表结构越复杂时,实现的难度就越高。 不管项目如何复杂,原理却基本相同,一般是前台页面选择Excel文件,后台获取后进行数据转化,然后循环执行Sql语句即可,了解这些原理后,一切也就变得简单。 项目进行简化,只有批量导入功能,采用Struts2框架,将Excel数据导入到Mysql数据库中。 项... 阅读详情

相关推荐

【实战解析】影刀RPA高级考试:Python源码破解反爬与数据库精准写入

本文以影刀RPA高级考试实战为例,深入解析如何利用Python源码破解网站反爬机制,并实现数据清洗与精准写入数据库的全流程。文章重点探讨了稳健的XPath抓取策略、数据清洗的细节处理,以及在仅有写入权限下如何安全操作数据库,为RPA开发者提供了从数据采集到持久化的综合解决方案。

weixin_29279101的博客 1091

影刀rpa连接mysql及进阶操作

随后添加完成后,打开影刀rap,找到“连接数据库”一栏,点击配置向导按钮选择刚刚安装的odbc。odbc下载完成后,打开odbc,添加数据库地址和账号密码,点击test测试通过即可。影刀rap连接数据库必须先安装mysql的odbc驱动。我们找个表单输出一下,日志展示数据了。随后数据库就配完成了。

s7147998的博客 1901

影刀RPA初级考试实战指南:从核心逻辑到自动化思维构建

机器人流程自动化(RPA)是一种模拟人类在计算机界面执行规则化任务的技术,其核心原理是通过软件机器人自动处理重复性、大批量的业务流程。这项技术的核心价值在于将人力从繁琐的数字化劳动中解放出来,显著提升工作效率与准确性,降低运营成本。它广泛应用于财务对账、数据录入、报表生成、跨系统数据搬运等办公场景。掌握RPA的关键在于理解其流程设计与逻辑思维,并能精准调用组件命令。以影刀RPA为例,其初级认证正是考察这些核心能力,特别是通过处理Excel数据、实现网页自动化等高频任务,来系统培养学习者的自动化思维与工程实践

weixin_30706691的博客 467

影刀 AI 工作流放进小工具,证书考试该怎么理解

AI 工作流不是单纯“接入 AI”,更像把一个任务拆成可复用、可调用、可测试的小模块。放到小工具里使用时,它就从课程概念变成了实际入口:用户输入一个问题,小工具调用工作流,工作流处理数据,再返回结果。这类内容虽然属于 AI Power 方向,但对影刀证书备考也有启发。初级考基础流程逻辑,中级考流程封装和复杂场景,高级考 API、调度、编码和综合项目。AI 工作流和小工具组合在一起,本质上就是“流程封装 + 参数传递 + 结果输出”。

netho0的博客 1329

UI.Vision RPA:免费开源跨平台自动化工具实战指南

RPA(机器人流程自动化)是一种模拟人类在计算机上执行重复性任务的技术,其核心原理是通过录制或脚本控制鼠标、键盘及界面元素,实现业务流程的自动化。这项技术的价值在于能显著提升工作效率,减少人为错误,解放人力去处理更高价值的工作。其应用场景广泛,涵盖数据采集、报表生成、系统迁移、跨软件操作等日常办公与数据处理领域。本文聚焦于UI.Vision RPA这一工具,它作为一款免费、开源的跨平台自动化解决方案,特别适合个人开发者、小团队及作为自动化项目的原型验证工具。通过结合视觉识别与浏览器扩展技术,UI.Visio

weixin_34343000的博客 362

SpringBoot+Vue+MySQL 高校学科竞赛平台 完整可运行版(源码+文档)

本项目基于SpringBoot+Vue+MySQL构建高校学科竞赛管理平台,覆盖学生、教师、领队教师、管理员四大角色,实现竞赛发布、报名、刷题、评分、公示等全流程闭环管理。系统架构清晰,技术主流,配套完整源码、数据库脚本、万字论文、开题报告、答辩PPT及部署文档,支持一键运行,适用于毕业设计、课程设计及院系二次开发,真正实现“开箱即用”。

招风的黑耳优快云 314

RPA机器人流程自动化:从医疗教育实践到企业级部署指南

机器人流程自动化(RPA)是一种模拟人类操作、自动执行规则明确、重复性高的数字化任务的软件技术。其核心原理是通过录制或脚本控制,操作用户界面元素,实现跨系统、跨应用的数据搬运与流程串联。这项技术的核心价值在于将人力从繁琐的“数字流水线”工作中解放出来,显著提升运营效率与准确性,降低人为错误。其典型应用场景广泛覆盖了数据录入、报表生成、系统间数据同步等后台办公领域。随着技术演进,RPA正与AI智能体、自动化检测等能力深度融合,从处理结构化数据向理解非结构化信息进化,从而能够胜任更复杂的任务,例如结合OCR技术

weixin_33858336的博客 317

影刀RPA编码版解析[代码]

影刀RPA编码版是影刀RPA的高级版本,结合了流程版的可视化操作和编码版的灵活性。编码版允许用户直接编写Python代码,调用各种库实现复杂逻辑,适合有编程基础的用户。与流程版无缝结合,可在流程中灵活切换使用两者功能。编码版性能优化,扩展性强,支持安装第三方库进行高级应用。使用方法包括安装启动、编写代码、运行调试及保存管理。Python库管理支持安装、查看和使用第三方库。编码版与流程版可相互调用,共享数据和变量,实现更高效的自动化解决方案。

177.Agent-LangGraph-MCP的构成说明

MCP架构通过MCP主机、客户端与服务器的协同,实现工具、资源与提示词的统一管理。MCP服务器提供Tools、Resources、Prompts能力,MCP客户端则负责发现、调用与读取,使Agent可按需获取上下文。其核心在于将工具从Agent中抽离,封装为可复用的服务,提升灵活性与可维护性,推动AI应用高效协作。

计算机王的博客 313

利用eds editor生成CANOPEN 设备eds文件

通过以上步骤,您可以根据实际设备的功能特性,自动生成一份符合CANopen协议标准的电子数据表(EDS文件),该文件可以被上位机软件或其他CANopen主站设备用于识别、配置和控制您的CANopen从站设备。使用CANopen EDS Editor生成CANOPEN设备的EDS文件是一个系统化的过程,它涉及将设备的具体技术参数和功能映射到CANopen规范定义的对象字典中。

weixin_38604759的博客 6462

国产操作系统应用迁移与适配

了解国产操作系统的背景及意义

2301_77609559的博客 2681

Docker Compose:搭建本地多服务开发环境

从一个 Java API、PostgreSQL 和 Redis 开始,配置服务名、端口、环境变量、健康检查、数据卷和依赖关系。理解 Compose 文件如何被解析、项目如何隔离,以及哪些数据不能依赖“重建容器”保留,能够把个人开发环境整理成团队可复用的启动入口。

m0_62221377的博客 477

【C++】C++异常语法、使用、规范、异常安全及异常的优缺点

实际中我们可以可以去继承exception类实现自己的异常类。但是实际中很多公司像上面一样自己定义一套异常继承体系。因为C++标准库设计的不够好用。如果有一个块抛出一个异常,捕获异常的方法会使用 try 和 catch 关键字。try 块中放置可能抛出异常的代码,try 块中的代码被称为保护代码。C++ 提供了一系列标准的异常,定义在 中,我们可以在程序中使用这些标准的异常。异常是一种处理错误的方式,

weixin_51692487的博客 1525

AI全栈实战 | 3.9-01 爬虫入门:requests 加 BeautifulSoup 三分钟跑通,但 90% 的人栽在这 4 个“礼貌“问题上

⚠️:本文内容仅用于。请遵守目标站点的服务条款与相关法律法规,不得对目标服务造成负担,不得采集、传播个人隐私数据。技术是中性的,边界在你手里。爬虫的入门技术(requests 发请求 + BeautifulSoup 解析)三分钟就能学会。真正区分"会用爬虫"和"会做爬虫的人"的,是这篇我们跑通"请求→解析→存储"的最小闭环,然后重点把"合规与礼貌"这根弦给你绷上。

源码获取 | 运行部署 | 定制二开修改,如果回复不及时请耐心等待,请见谅。 440

深入MIPI DSI显示技术栈 (三) DSI vs CSI-2:孪生协议的本质差异

MIPI协议中的DSI与CSI-2存在本质差异:DSI为输出导向协议(Host→Display),用于屏幕控制和画面传输;CSI-2为输入导向协议(Sensor→Host),专攻图像采集。二者在包结构、同步机制、物理层优化等方面均有显著区别:DSI支持命令包和BLLP包,CSI-2具备嵌入式数据包;DSI时钟模式以Burst为主,CSI-2支持Continuous模式。典型场景中,二者协同工作(如手机相机预览),需注意时序同步和延迟控制。设计混合系统时,需合理规划虚拟通道和物理层资源,充分发挥这对&quot

GateWorld的博客 2110

SAP MM新手避坑指南:工厂间调拨用301还是303?手把手教你选对移动类型

本文深入解析SAP MM模块中工厂间调拨的301与303移动类型,帮助新手避开常见陷阱。通过对比一步法(301)和两步法(303+305)的核心差异、适用场景及财务影响,提供清晰的决策框架和实战技巧,确保库存调拨的准确性和效率。

weixin_29223603的博客 351

spring boot 4集成SQLLite,及其SQLLite的建库

spring boot 4集成SQLLite,及其SQLLite的建库

weixin_41463944的博客 203

1G/2.5G Ethernet PCS/PMA or SGMII

SGMII即Serial GMII,串行GMII,收发各一对差分信号线,时钟频率625MHz,在时钟信号的上升沿和下降沿均采样,所以总的数据速率为1.25Gbps=625Mbps*2。参考时钟RX_CLK由PHY提供,是可选的,主要用于MAC侧没有时钟的情况,一般情况下,RX_CLK不使用。收发都可以从数据中恢复出时钟。在TXD发送的串行数据中,每8比特数据会插入TX_EN/TX_ER 两比特控制信息,同样,在RXD接收数据中,每8比特数据会插入RX_DV/RX_ER 两比特控制信息。

sqzjiayou的博客 1万+

【基于 WebSocket 的多用户网页五子棋】—— 数据管理模块

但行好事,莫问前程

qq_42996461的博客 257

RH850从0搭建Autosar开发环境【2】- Davinci Configurator配置工程导入DBC与CDD文件

Davinci Configurator配置工程导入DBC与CDD文件,开始Autosar开发

weixin_42412049的博客 8155

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

OpenClaw 深度调查:把 AI 助手做成你自己的控制平面

对 openclaw/openclaw 的完整技术尽调:Gateway 架构、Agent 运行时、工具与沙箱、30 个消息通道、181 个插件、安全信任边界、工程代价与采用建议。17 章 / 10 张图,全部数字标注口径,数据截至 2026-10-31。

厚积薄发 336

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

IDEA 简介:从零认识 IntelliJ IDEA

IDEA 全称,是由 JetBrains 公司开发的一款主流 Java 集成开发环境(IDE)。它集代码编辑、编译、调试、测试、版本控制、构建管理等功能于一体,被大量 Java 开发者视为日常开发的首选工具。所谓 IDE(Integrated Development Environment,集成开发环境),就是把写代码所需的各类工具整合到同一个界面中。相比只用文本编辑器加命令行编译,IDE 能显著减少重复操作,让开发者把精力集中在业务逻辑上。

ztI10的博客 183

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

TransactionInactiveError:await 之后事务已经不活跃了

TransactionInactiveError 出现于 IndexedDB 事务已结束(非 active 状态)时调用 put、get 等操作。常见于 await 后或 setTimeout 中执行请求,因任务已完成,事务已提交或进入 finished 状态。请求必须在创建事务的同一任务中挂起,否则无效。解决方法:在 onsuccess 回调内同步发起后续操作,或提前将所有请求挂入事务。避免在异步上下文中使用事务操作,确保请求在事务活跃期内完成。

qq_40822000的博客 159

Docker部署linkding:HTTPS与数据备份

部署私人书签库,除了让页面能够打开,还需要考虑几个实际问题:重建容器后数据是否保留、登录和保存是否正常、升级前怎样备份,以及出现 502 或 CSRF 错误时从哪里检查。本文使用 Docker Compose 部署 linkding,采用默认 SQLite 数据库,通过 Caddy 提供 HTTPS,并完成账户创建、数据持久化验证和备份。如果重建后账户或书签消失,应先检查是否换了项目目录、改了挂载路径,或者启动了另一套实例,不要急着重新初始化。遇到权限问题,应根据日志确认具体目录和运行用户,再调整权限。

tedcloud123的博客 191
上一篇: 构建基于 FastAPI 的 MCP 流式服务器:从协议设计到多端实现
下一篇: 基于AKShare的MFI量化交易策略实战解析
php55
博客等级 码龄15年 51粉丝 1553原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值