【转】机器学习会颠覆测试工程师的工作吗?

2020机器学习硕士教育范式升级:从调参到全栈ML工程师 机器学习硕士教育已超越传统‘算法+编程’培训,演进为覆盖数学原理、算法实现与系统部署的全栈能力培养。其核心在于统计学习理论、凸优化、分布式训练框架等底层能力的扎实构建,以及MLOps、模型服务化、领域垂直应用等工业级实践的深度嵌入。这一转变源于工业界对ML系统工程师的迫切需求——如TFX流水线、Seldon Core部署、数据漂移监控等技能成为岗位标配,同时学术界在ICML等顶会中强化了生产环境问题的研究比重。典型项目如CMU MLMS、ETH数据科学、UC Berkeley MEng均采用‘理论-实践-系 阅读详情

作者:chen_h
微信号 & QQ:862251340
微信公众号:coderpai


人工智能应用概述

自从 2016 年 AlphaGo 以 4:1 战胜了围棋九段李世乭,人工智能的威力在公众面前得到了充分的展现。这种基于改进的蒙特卡洛树搜索、残差卷积神经网络的强化学习系统首次向公众展示了其超越人类智慧的强大的力量,也使 AI 变得更加广为人知。之后各行各业都出现了大量的基于 AI 的产品与应用,其中以机器学习,自然语言处理,计算机视觉和专家系统为支撑的应用层出不穷,大到金融分控模型,无人驾驶,舆情监控与分析,小到智能美颜,智能音箱,无处不见 AI 的应用。这类应用基本都是通过软件来实现的,那在软件研发的过程中,AI 技术是否也有其应用场景,并可以帮助来提高软件研发的效能呢?那么我们今天就一起来探讨一下机器学习在软件测试领域的应用。

软件测试技术的局限性

当前普遍采用的传统软件测试技术主要有以下三个方面的局限性:

从测试的执行层面来看,GUI 自动化测试的开发效率与维护成本高居不下。这个主要表现在 GUI 控件识别上,当界面发生变化,或者控件属性发生细微变化的时候,都会引发很多自动化测试用例的维护工作量,这也正是自动化测试无法真正成为“银弹”的一个主要原因。

从测试的设计层面来看,测试覆盖率的鸿沟随着产品功能点的增长而不断放大。 不知道你没有注意到,做软件产品研发的企业都有一个普遍特点,就是产品迭代的初期,一般研发的效率都比较高,但是随着产品规模的不断扩大,软件功能的逐渐增多,软件研发的效率会变得越来越差,有时候很小的改动都会引发大量测试需求。这个主要是由于随着软件生命周期的增长,功能点越来越多,因为新的功能与现有的功能进行交互,当功能点的基数很大的时候,就会引发所谓的“蝴蝶效应”,因为这个过程中测试只能线性增长,这中间就会存在大量测试无法覆盖的盲区。为此,在快速迭代持续交付的今天,即使已经普遍采用自动化测试技术,软件测试人员依然面临着前所未有的压力。下面的图 1 很好展示了这个现象。

在这里插入图片描述

图 1:测试覆盖率的鸿沟

从测试结果分析的角度来看,失败测试用例分析并进行分类的工作量是很大的,而且时间成本也很高。 注意这里的”分类”仅限于指将失败的测试用例分配给某个开发组来后续做进一步处理。由于互联网产品的自动化测试大规模普及,所以自动化测试用例的数量往往比以往任何时候都多,像 eBay 这样的大型全球化电商,全回归自动化测试用例的数量会达到好几万的数量级,这个时候,哪怕只有 1% 的测试用例失败,那么需要分析的失败测试用例的绝对数量也是好几百,可想而知这个如果完全基于人工来对失败用例进行分类分发的工作量是比较大的,很难在分钟级别完成,这就势必拉长了整个测试的周期,降低了迭代速度。

针对上述的三个局限性,接下来我们来看看如何利用机器学习技术来优化测试的过程。

机器学习在 GUI 自动化测试执行领域的应用与创新

机器学习在 GUI 自动化测试执行领域的应用有很多种不同的思路。这里我介绍其中最主要也是具有实际落地案例的应用。

第一种是通过控件的统计学特征来识别 GUI 对象,以此来克服 GUI 控件识别的稳定性难题。

早期 GUI 的自动化测试中有一种所谓的“低级录制“和”虚拟对象“功能,是指自动化测试的回放执行是通过页面对象像素的比较以及相对位置关系来完成的,也就是说是通过控件的像素比较来确定页面对象的。

这种技术虽然简单直接,但是其稳定性是个大问题,而且也无法应对今天的终端设备分辨率的多样性。那么基于统计学特征来识别 GUI 对象则是这个方法的升级版本,可以顺利解决稳定性以及应对不同分辨率的难题,同时当控件的显示发生变化的时候,依然可以做到较高的准确识别率。

那基于统计学特征的 GUI 对象识别的原理到底是怎么回事呢?这里举个简单的例子你应该就能一下子明白了。比如现在有个”OK“的按钮,那么这个按钮的深色像素(OK 的字体部分)和浅色像素(按钮的背景色部分)所占的百分比我们是可以统计计算得到的。假定是 8:92,那么当这个按钮的 ID 或者 XPATH 发生变化的时候,或者界面的大小发生变化的时候,再或者界面的配色发生变化的时候,这个深色像素和浅色像素的百分比是不会发生变化的,那么这个时候我们就可以通过这个百分比来唯一确定这个页面对象了。这个百分比就是统计特征值,当我们综合应用多个维度的统计特征,尤其是高阶统计特征的时候,我们的控件识别率就会非常稳定。

目前网易公司的 AirTest 就是利用了类似的技术来完成基于 AI 的控件识别的,并且能够很好地应对游戏测试中的对象识别。爱奇艺则更进一步,他们开发的 Aion 更是在控件识别之前利用机器学习和机器视觉对软件界面做了图像切割和子元素提取,进一步提高了页面对象的识别率。

第二种方式更加直观,即直接通过视觉外观来查找页面对象。

比如测试代码中可以直接指定点击“购物车“而无需事先提供购物车图标的 ID 和 XPATH 等定位信息。比如下面的代码(图 2)就是直接通过”购物车“来完成点击操作的,其中完全没有给出传统的定位器信息(购物车图标的 ID,XPATH 等)。

在这里插入图片描述

图 2:直接通过“ShoppingCart“来点击购物车图标

这个的实现原理就是利用机器学习来训练模型,我们会收集市面上所有的购物车图标作为模型训练的样本数据来完成模型的训练(图 3),然后就可以直接这个模型来实现各种购物车图标的识别了。

目前移动应用测试工具 Appium 的一个 AI 插件 Appium Classifier Plugin 就已经实现了类似的功能,并且这个机器学习模型的训练数据是开源的,它可以告诉我们,图标代表什么样的内容。我们可以使用此插件根据其外观在屏幕上查找图标,即通过视觉外观查找元素。

这种方法比传统的页面对象定位灵活得多,因为 AI 模型经过训练后识别图标时无需任何上下文,并且不要求进行图像样式的精确匹配,这意味着使用 AI 模型查找“购物车”图标可以跨应用程序和跨平台工作,而无需担心各个平台的细微差别。

在这里插入图片描述

图 3:用作训练样本集的各种购物车图标

机器学习在测试设计领域的应用与创新
上面讲述的利用机器学习来对 GUI 控件进行智能化识别虽然在自动化测试执行层面带了很大的帮助,但是此种类型的应用对于机器学习来讲,似乎有点“杀鸡用牛刀”了。

如果我们能将机器学习用在测试设计上,或者说用在缩小测试范围上,那么机器学习将会发挥更强大的作用,此时机器学习就像是变形金刚中的能量块,能够发挥举足轻重的重要作用。可以这样说“机器学习和测试设计结合将成为交付真正测试自自动化的催化剂”。

在这里插入图片描述

图 4:机器学习在测试设计中将发挥更大的作用

具体来讲,这里有两种完全不同的思路来应用机器学习技术来帮助测试的设计。

第一种思路是通过机器学习来训练一个机器人,使其成为某个领域的测试专家。

比如通过大量的训练,“登录”测试机器人可以比人类更好地对登录功能进行全方位的测试,“订单“测试机器人可以进行全方位的订单系统测试。这种类型的机器人有点类似于专家系统的概念,能够根据训练时积累的场景来展开测试。并且你会发现这样一个事实,几乎所有的应用都是有共性的,比如都有登录功能,都有搜索功能,都有用户管理功能等,这也就是说我们可以通过构建有限种类的机器人来支持大多数软件的测试设计工作,而且构建的测试机器人数量并不会随着应用数量的增长而增长。

相反,当构建了一定数量的测试机器人之后,这些机器人就能应对大量应用的测试了。目前比较知名的 Appdiff 就是利用了这样的思路来构建 AI 测试工具的,并且通过自动化地比较前后多次的执行结果,比如 GUI 的变化,页面性能的变化等来自动化地发现潜在问题(图 5)。

在这里插入图片描述

图 5:通过自动化地比较前后多次的执行结果来发现软件中的异常

第二种方式是先构建被测系统的模型,这里又可以分为两种不同的种类的模型。

一种是基于被测系统页面流转的模型(图 6),这个模型反映的是被测系统各个页面之间的跳转关系,比如 A 页面可以到 B 页面,然后 B 页面可以到 C 页面,那么这个三个页面就对应图论中的三个节点,然后 A 可以到 B,那么 A 到 B 之间就存在一条有向边,同样的,B 和 C 之间也有一条有向边。另一种是基于后端微服务架构的系统架构图(图 7),反映的是后端各个微服务之间的相互调用关系网络。

有了这种基于图论的模型后,接下来会通过应用的后台日志系统来分析页面和页面之间的跳转,或者是微服务和微服务之间的调用。这个过程通常需要借助大数据分析系统的能力,通常使用 Hadoop 和 MapReduce 来完成。

然后对于页面模型每检测到一次页面跳转,就将有向边的权重加一,如果是微服务模型每检测到一次调用,也将有向边的权重加一,然后后面测试路径的选择就会优先覆盖哪些高权重的路径,当测试时间资源有限的时候,就只会覆盖那些高权重路径,以此来体现软件测试中“基于风险驱动“的设计思想。同时,我们还可以考虑利用图论的算法来合并多个模型来形成一个更大的模型,下面的图 8 给出了示例。

在这里插入图片描述

图 6:基于页面流转的图

在这里插入图片描述

图 7:基于微服务调用关系的图

在这里插入图片描述

图 8:利用图论的算法来合并多个模型来形成一个更大的模型

进一步设想,如果我们将上述的测试设计和测试自动化执行结合起来,这样就能完成一条龙的测试设计和执行,并且整个过程并没有人工的干预。可想而知,这样将可以最大化利用机器的空余时间来完成大量测试用例的设计和执行,以此来填补测试覆盖率的鸿沟。

机器学习在测试分析领域的应用与创新

最后,我们来看一下机器学习在测试结果分析领域的应用与创新。前文中我们提到失败测试用例分析的工作量很大的,而且时间成本也很高,那么我们是否可以利用机器学习来对失败测试用例进行自动化的分类呢?答案是肯定的,而且这种基于特征值的分类问题正是机器学习的强项。

具体的做法是选择失败测试用例的多个特征值,然后基于 kNN 之类的算法来完成失败用例的自动化分类。这里特征值的选择将直接影响分类的准确性,同时需要事先标注大量的已知失败用例的分类结果来对 kNN 进行训练。kNN 算法的基本原理是“近朱者赤,近墨者黑”,由你的邻居来推断出你的类别。系统的整体架构设计如图 9 所示。从图中可见,我们选择了 Exception Name,Exception Message,Stack Trace 等作为了我们的特征值。

这里需要要特别注意两点:

一是我们必须确保输入日志的完整性,只有当日志包含了完整准确的信息,才有可能基于此做出准确的分类。这种对日志完整性的要求其实可以看做可测试性需求,在设计阶段,作为资深的测试工程师就应该需要关注这方面的内容。

二是在 kNN 算法模块的前面,我们放置了一个 Hard Rule 模块,这个模块和机器学习没有任何关系,而是基于日志中硬编码的规则来对失败测试用例进行分类,比如假定日志中抛出异常的模块是 A,那么我们就应该将这个失败用例自动分配给模块 A 的开发团队去做进一步的分析,由于这里采用的是确定的硬编码,所以分类的准确率在前期就会很高。而那些无法通过 Hard Rule 完成分类的用例才会进入到 kNN 的算法模块,而 kNN 模块的分类准确性在很大程度上取决于训练样本的数量与质量。

eBay 就是通过这样的系统来完成日常全回归过程中失败用例的分类,基本每天会自动完成超过 200 个失败用例的分类任务,项目前期由于样本数量的局限性,所以前期的准确率在 70% 左右,后期随着样本数量的增加,准确率维持在 90% 左右。

在这里插入图片描述

图 9:基于 kNN 和 Hard Rule 的失败测试用例分类系统

进一步,我们可以想象,如果将机器学习应用到性能测试报告的分析上又会是什么样的效果。这个和目前 AI 在医疗诊断领域的应用非常类似,只是医疗诊断领域的输入是各种化验报告,而性能测试分析领域的输入则是各种性能指标,然后基于机器学习的算法来发现这些指标之间的连带关系,以此来确定系统的性能瓶颈。

从普通软件测试到AI测试工程师:掌握未来测试领域的关键技能 AI和机器学习加速了科技行业的发展,这些技术不仅改变了我们的生活、工作和互动方式,还颠覆了传统行业规范,为全球企业创造了新机会。从自动驾驶汽车到个性化购物体验,AI和机器学习在各个领域都发挥着重要作用。然而,随着增长和高风险,对AI和机器学习应用程序测试的需求变得至关重要。因此,本文是关于测试AI(人工智能)和机器学习应用程序复杂性的综合指南。测试AI和机器学习系统就像穿越迷宫一样。这是一项复杂的任务,具有与传统软件测试显着不同的独特挑战。主要挑战有:1) 阅读详情

相关推荐

BigQuery ML:用SQL实现端到端机器学习建模

机器学习建模正从Python主导的复杂工程流程,转向以SQL为统一语言的数据原生范式。其核心原理在于将模型训练、评估与预测深度集成于数据仓库计算层,通过声明式SQL完成特征定义、模型拟合与结果解释,天然保障数据-模型一致性,并大幅降低协作成本与运维门槛。技术价值体现在迭代周期压缩至分钟级、权限与审计体系极简统一、全链路可复现可追溯。典型应用场景覆盖电商转化预测、金融用户流失预警、SaaS产品行为分析等结构化表格数据任务。BigQuery ML作为该范式的工业级代表,让数据科学家无需Python即可完成完整建

weixin_30764883的博客 454

人工智能和机器学习在测试中的应用

这种测试通常需要大量的人工工作,但是通过使用AI,Applitools可以自动比较和识别用户界面中的变化,即使是微小的变化也能被检测出来。这是一个AI驱动的测试平台,能够自动学习和适应应用程序的变化,从而提高测试的准确性和速度。我们学习必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有字节大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。这是一个基于AI的自动化测试解决方案,它可以自动修复脚本中的问题,从而提高测试的稳定性。

伤心的辣条 523

测试工程师在人工智能浪潮下的职业发展路径

AI浪潮席卷而来,我们该如何自处?这是一个我最近一直在思考的问题,也是很多同行朋友反复问我的。 大家都很焦虑,想拥抱AI,但又不知道从何下手。我们软件测试的未来到底是什么?职业生涯又该如何规划?我来分享一下我的看法。

software_test010的博客 1139

机器学习与软件测试自动化

虽然软件开发和测试过程的自动化势在必行,但困难依然重重。我们还远没有达到全面自动化所需的技术水平。**即使是当今最先进的软件测试环境,机器学习是帮助批量处理代码集,在不需要解耦的情况下测试和解决大数据问题。**如果测试过程中出现错误,基于ML的多层结构化测试也会提醒相关用户标记问题,并继续完成自动测试过程。 许多公司一直以来有成千上万的测试需要运行。代码的一个微小改动可能花费数个小时或者数天测试才能获得反馈结果。虽然通常来说测试越多质量越好, 但是同时意味着反馈更慢。 迄今为止,谷歌和脸书已经研发了机器学习

cxt707259130的博客 1046

CRISP-ML(Q):机器学习项目落地的七阶段质量保障框架

机器学习项目失败往往不源于算法缺陷,而在于缺乏适配其动态性、业务耦合性与运维持续性的工程化流程。CRISP-ML(Q)作为CRISP-DM的深度演进,以Quality(质量)和Quantitative(量化)为核心,将传统数据挖掘流程重构为‘业务理解→数据理解→建模→评估→部署→监控→反馈’七阶段闭环体系。它通过数据契约、可解释性验证、业务影响沙盒、自动驾驶式监控等机制,系统性应对数据漂移、模型退化、业务脱节等高频痛点,显著提升模型在真实生产环境中的稳定性与可归因价值。该框架已被广泛应用于金融风控、电商推荐

weixin_30613433的博客 455

机器学习工程师成长路线图:从工具书到思想书的进阶路径

机器学习(ML)是一门融合统计学、编程与工程实践的交叉学科,其核心在于理解算法原理、掌握工具链并构建可解释的业务模型。初学者常因混淆‘工具书’(如Hands-On ML,重在端到端实现)、‘原理书’(如ESL,聚焦偏差-方差、正则化等统计基础)和‘思想书’(如Goodfellow《深度学习》,强调表征学习与生成式建模)而陷入低效学习。科学路径应遵循认知负荷理论:先以Python和scikit-learn建立数据→模型→评估的肌肉记忆,再通过数学直觉深化对损失函数、梯度下降、贝叶斯推断等关键概念的理解,最终在

weixin_30245867的博客 410

机器学习在测试自动化中的应用2023(翻译)

机器学习 自动化测试

azhang190426的博客 398

机器学习测试数据

机器学习所需训练数据,仅供本人学习时测试用。机器学习所需训练数据,仅供本人学习时测试用。

2023 年软件测试、人工智能和机器学习趋势

总之,2023 年和未来几年将会发生重大的变化,这些变化将在大大小小的方面影响软件测试行业。因此,你应该开始研究如何使用人工智能(AI)和机器学习(ML)来改进你的测试流程,利用基于人工智能的安全工具,并实施基于风险的测试,例如可以利用大数据洞察力的基于风险的测试。下方这份完整的软件测试视频学习教程已经整理上传完成,朋友们如果需要可以自行免费领取【保证100%免费】这些资料,对于【软件测试】的朋友来说应该是最全面最完整的备战仓库,这个仓库也陪伴上万个测试工程师们走过最艰难的路程,希望也能帮助到你!

测试萌萌 326

C# emgu.cv图像识别 从大图中寻找小图,判断存在图的相似度

这是2个问题,我采用emgu.cv来解决这个识别问题,这里需要在nuget中引用emgu。最近写了一个在一张图片中,截取一部分,通过机器判断截取图片是这张图片的。第一、通过小图去找判断是否存在大图中,第二、小图存在大图的什么位置。

一个专注于技术研究创新的程序员 2467

别光看Demo了!用UE5 Lyra框架快速搭建你的多人对战游戏原型(含完整配置流程)

本文详细介绍了如何利用UE5 Lyra框架快速搭建多人对战游戏原型,包含完整的配置流程和实战案例。Lyra作为可直接二次开发的游戏模板,内置了GAS技能系统、Enhanced Input输入控制等核心功能,大幅缩短开发周期。通过替换角色模型、调整武器数值和配置新地图规则,开发者可在48小时内完成科幻团队竞技游戏原型的搭建。

weixin_28717411的博客 458

机器学习中的软件测试

摘要 机器学习的实现需要使用软件代码,从这一角度来说,机器学习也是软件工程的一部分。针对软件就会引入对软件是否正确的检验,那么在机器学习中如何进行软件测试?相关源码 什么是软件测试 TDD-测试驱动开发 是指开发功能代码之前,先编写测试代码,然后只编写使测试通过的功能代码,从而以测试来驱动整个开发过程的进行。这有助于编写简洁可用和高质量的代码,有很高的灵活性和健壮性,能快速响应变化,并

gdyshi的博客 3454

Oracle19c-集群节点重新添加

Oracle RAC集群在极端情况下,如硬件、主机,集群软件损坏,导致集群节点永久无法使用,需要对集群节点进行修复,删除节点集群信息并重新加入集群,以恢复集群原有的架构。 本文主要讲述一套两节点的Oracle19c RAC集群,节点一orcl01由于主机异常无法正常启动,在对主机进行重装之后,需要将orcl01节点重新加入集群的操作步骤。环境信息: 操作系统:Linux 7 RAC集群:19C 主机节点:orcl0...

sinat_36757755的博客 2352

测试工程师的AI转型指南:从工具使用到测试策略重构

测试工程师的AI转型不是“可选项”,而是技术发展和行业需求驱动的“必选项”。AI不会替代测试工程师,但会替代“只会手动执行用例”的测试工程师。转型的核心不是“学工具”,而是“升级价值定位”——从“重复劳动者”转向“质量策略设计者”,从“测试执行者”转向“业务价值守护者”。转型之路没有捷径,但有章法:从工具上手建立信心,通过技能升级深化能力,最终实现测试策略的全面重构。在这个过程中,保持“持续学习”的心态至关重要——不仅学习AI工具和技术,更要深入理解业务、优化流程、提升协作能力。

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

学习十八-UJA107xA简介及移植-0

目录 1、UJA107xA系列手册 1、介绍 2.2.1 BAT引脚功能 2.4.1 V1、V2稳压器 2.5.1 CAN收发器 3.1 Startup Operation 3.2 Normal Operation 5.1 Attached Files 5.2 NXP UJA107xA Example Software 6、main() 1、UJA107xA系列手册 看完手册关于使用还是没有头绪的,只是想SPI发送指令将V2驱动起来,进而驱动起来CAN收...

m0_56344230的博客 1708

当勒索软件盯上虚拟化层:从CVE-2025-22225漏洞看ESXi安全加固要点

本文深度剖析了针对VMware ESXi虚拟化层的CVE-2025-22225等漏洞链的攻击原理,揭示了攻击者如何利用VMCI、HGFS组件从虚拟机逃逸至宿主机。文章从实战角度出发,系统性地提出了ESXi安全加固的核心策略,包括禁用非必要服务、强化主机配置、实施网络分段、建立实时监控与自动化补丁管理体系,为企业构建纵深防御体系提供了具体可行的操作指南。

terraform7cloud的博客 861

3大颠覆性变革:MLE-Agent如何重新定义机器学习工程工作流

机器学习工程智能助手MLE-Agent为技术决策者和中级开发者带来了革命性的AI协作体验,解决了传统机器学习开发中的三大核心痛点:代码生成效率低下、知识检索碎片化、项目协作困难。通过智能代码生成、上下文感知和端到端自动化,MLE-Agent将开发效率提升300%,让工程师专注于核心创新而非重复劳动。 **核心关键词**:MLE-Agent,机器学习工程,智能助手 **长尾关键词**:AI代码

gitblog_00213的博客 981

【ESP32设备通信】-两个ESP32间UART通信

在本文中,我们将使用 Arduino IDE 的 UART 硬件库在两个 ESP32 板之间执行 UART 或串行通信。 要使用 USB 端口调试和编程 ESP32,需要使用称为通用异步接收器/发送器 (UART) 通信的串行端口。 对于大多数传感器和系统,主要的通信方法被认为是 UART。 为了共享工作负载、信息和执行不同的任务,有时需要在两个 ESP32 开发板之间进行通信。

视觉与物联智能 2998

‌软件测试的未来:AI、ML、LLM的颠覆与机遇‌

摘要:测试领域正经历AI驱动的三重技术革命:1)智能自动化工具实现自愈式测试和视觉验证;2)ML模型精准预测缺陷风险;3)LLM重构需求分析和缺陷诊断。从业者需掌握Prompt工程、模型验证等新技能,转型为AI验证专家。企业实施路径包括数字化基建、人机协作标准制定,面临模型偏见、合规等挑战,但元宇宙、量子软件测试等领域存在新机遇。建议从业者立即嵌入AI工具、获取认证并参与生态建设。(149字)

2501_94449311的博客 423

海上风电经柔性直流送出系统的阻抗建模与稳定性分析

摘要 本文针对海上风电经柔性直流送出系统的稳定性问题,提出了一种基于阻抗建模的分析方法。研究建立了直驱永磁同步发电机(PMSG)的序阻抗解析模型和模块化多电平换流器(MMC)的交流侧小信号阻抗模型,通过Matlab/Simulink平台实现了完整的仿真验证系统。采用谐波线性化原理和端口阻抗分析法,揭示了风电机组与柔直换流器之间的阻抗匹配特性对系统稳定性的影响规律。研究结果表明,控制参数设置会显著改变系统阻抗特性,进而影响稳定裕度。文中提出的阻抗建模方法为分析海上风电柔直送出系统的宽频振荡问题提供了有效工具,

huanghm88的专栏 235

VTK API 详解(115):vtkScalarBarActor - 显示颜色条

显示用于颜色映射的标量值范围。自动从vtkMapper中提取。可设置颜色条的位置、大小、字体、标签格式等。支持横向或纵向显示颜色条。是进行科学数据伪彩色可视化时非常重要的辅助工具,它能让用户直观地理解不同颜色代表的数值大小。通过灵活设置颜色表、标题、标签数量等,可以适配多种可视化需求。

yumeiguo的博客 491

机器学习工程师成长路径:从本科生到工业级ML系统构建

机器学习工程师不是单纯掌握算法或调参的岗位,而是一个融合数据工程、模型工程与系统工程的复合型技术角色。其核心能力源于真实问题驱动的学习闭环——通过最小可行问题倒逼知识获取,在实践中识别并规避典型工程陷阱(如特征泄露、训练-推理不一致、服务内存泄漏)。技术价值体现在将模型转化为稳定、可观测、可迭代的业务服务,支撑推荐、风控、搜索等关键场景。本文基于作者在Towards AI持续输出47篇工业级技术笔记的真实经历,系统拆解一条可复现的成长路径:以数据管道为基座,以模型生命周期管理为中枢,以服务网格化为高阶能力,

weixin_30240349的博客 513

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

AI不会取代测试,但会用AI的测试会取代你:测试工程师的进化之路与未来生存指南

AI浪潮下测试工程师的转型之路:测试工程师不会被AI取代,但掌握AI工具的测试者将淘汰传统从业者。文章剖析了AI在测试中的真实作用与局限,指出AI虽能高效执行测试脚本和缺陷预测,却无法替代人类在业务理解、价值判断和创造性测试场景设计上的优势。未来测试工程师需转型为"AI赋能的质量策展人",具备AI工具应用、数据分析和领域深度融合等新技能。文章为个人和团队提供了具体的AI能力建设路径,强调转变思维模式、持续学习才是应对技术变革的关键。

2501_94261392的博客 734

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

别再点点点了,AI留给测试工程师的时间不多了

AI编码工具的狂飙突进,正让代码产出效率与质量保障之间的鸿沟前所未有地加深。本文从这一现实痛点出发,深度剖析AI如何从根本上颠覆测试的定义,并预言“自主测试智能体”的到来,可能在未来1-2年内对全球百万测试岗位构成生存威胁。然而,危机亦是转机。文章为从业者指明了具体的进化路径:利用自身优势与AI协同,成为既懂开发又懂质量的“超级个体”,或转型为驾驭AI的“策略师”与“伦理审计师”。这不仅是一份生存指南,更是一张通往未来的职业迁徙地图。

架构师刘7的博客 1438

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

ChatGPT能否胜任ML工程师的数据质量工作?

数据质量是机器学习系统性能的底层地基,直接影响模型精度与召回率。在计算机视觉等非原生模态任务中,大语言模型虽无图像训练经验,但可通过文本描述理解标注框紧贴度、背景复杂度等核心概念,并转化为可量化的质量指标。其技术价值在于将模糊问题抽象为几何/统计可计算形式,支撑数据清洗、重加权与筛选决策。典型应用场景包括工业质检中的缺陷标注纠错、医疗影像的标签一致性校验,以及YOLO类目标检测 pipeline 的数据自治优化。本文基于真实熊猫检测任务,验证了纯文本交互下ChatGPT驱动数据质量提升的可行性与边界。

corg81763的博客 465
上一篇: 股票分析最简单教程
下一篇: 一步一步学习 ID3 算法
coderpai
博客等级 码龄10年 1082粉丝 469原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值