在自动化脚本编写领域,ios按键精灵一直是备受瞩目的工具,凭借其强大的功能和灵活的操作,为广大用户提供了高效的自动化解决方案。随着人工智能技术的不断发展,按键精灵积极拥抱变化,逐渐支持诸如 yolo、ddddocr、飞浆等先进模型,为自动化操作带来了全新的可能和更广阔的应用场景。
yolo(You Only Look Once)是一种先进的目标检测算法,以其快速高效的检测能力著称。在按键精灵中集成 yolo 模型,使得自动化脚本能够实时识别图像中的特定目标。
ddddocr 是一款功能强大的开源 OCR(光学字符识别)工具,它能够准确地识别图像中的文字信息。将 ddddocr 集成到按键精灵中,为自动化操作开辟了新的应用方向。在办公自动化场景中,按键精灵可以利用 ddddocr 识别文档中的文字内容,然后根据文字信息进行数据提取、整理和分析等操作。
飞浆(PaddlePaddle)是百度开发的一款功能全面的深度学习平台,提供了丰富的模型库和开发工具。按键精灵与飞浆的结合,使得自动化脚本能够借助飞浆强大的深度学习能力实现更复杂的任务。
在按键精灵ML.SetModel 设置模型
命令功能:设置神经网络引擎需引用的模型序号和目录路径
支持苹果Machine Learning导出的.mlpackage或.mlmodel,支持yolo、ddddocr、飞浆等模型(需转换成.mlpackage或.mlmodel格式)
.mlpackage:模型目录名称必须是.mlpackage结尾
.mlmodel:模型路径设置到.mlmodel文件即可
可以参考资料:https://developer.apple.com/machine-learning/models/
语法格式:ret_str = ml.setModel(index,modelPath[,confidenceThreshold][,bid][,modelParams])
参数说明:
index:整数型,模型索引,建议取值范围:0-9
modelPath:字符串型,模型本地目录路径
confidenceThreshold:数值型,可选参数,可信度,取值范围:0.25-1,默认值:0.25
bid:字符串型,可选参数,目标应用包名,一般情况下留空:""
modelParams:键值表型,可选参数,设置该模型的额外可选参数f
返回值:ret_str:字符串型,设置结果, 失败则返回原因
脚本例子:
'例1:设置并运行.mlpackage格式模型
PutAttachment "", "*" '将模型文件下载或通过附件释放到本地均可
Dim modelPath = GetTempDir() & "yolov8n.mlpackage"
Dim modelZipPath = GetTempDir() &"yolov8n.mlpackage.zip"
TracePrint dir.Exist(modelZipPath)
UnZip modelZipPath,GetTempDir() '解压模型文件到本地目录
TracePrint dir.Exist(modelPath)
TracePrint ml.setModel(1, modelPath) '设置序号为1的演示模型目录路径,目录路径必须是.mlpackage结尾
Dim ranTime,ret
Do
ranTime = TickCount()
ret = ml.runCoreMl(1, 0, 0, 0, 0) '运行神经网络引擎识别匹配序号为1的模型并返回键值表,模型设置成功后可打开相机拍照查看返回结果
TracePrint encode.tableToJson(ret),TickCount()-ranTime
Delay 2000
Loop
'例2:设置并运行.mlmodel格式模型
PutAttachment "", "*" '将模型文件下载或通过附件释放到本地均可
Dim modelPath = GetTempDir() & "YOLOv3TinyInt8LUT.mlmodel"'演示模型:https://ml-assets.apple.com/coreml/models/Image/ObjectDetection/YOLOv3Tiny/YOLOv3TinyInt8LUT.mlmodel
TracePrint dir.Exist(modelPath)
TracePrint ml.setModel(1, modelPath) '设置序号为1的演示模型目录路径,模型路径设置到.mlmodel文件即可
Dim ranTime,ret
Do
ranTime = TickCount()
ret = ml.runCoreMl(1, 0, 0, 0, 0) '运行神经网络引擎识别匹配序号为1的模型并返回键值表,模型设置成功后可打开相机拍照查看返回结果
TracePrint encode.tableToJson(ret),TickCount()-ranTime
Delay 2000
Loop
按键精灵支持 yolo、ddddocr、飞浆等模型,不仅丰富了其功能,还拓展了其应用领域。通过与这些先进模型的结合,按键精灵能够实现更加智能化、自动化的操作,满足不同用户在不同场景下的需求。无论是游戏玩家、办公人员还是智能家居爱好者,都可以借助按键精灵和这些模型的组合,提高工作效率,提升生活品质。
随着人工智能技术的不断进步,,按键精灵将继续与更多先进的模型和技术相结合,不断拓展其功能边界,为用户带来更多惊喜和便利。未来,按键精灵有望成为自动化领域的领军者,引领自动化操作迈向更加智能化、高效化的新时代。