tensorflow 里面ML Metadata，及其版本管理 是什么？

最新推荐文章于 2025-04-17 16:49:18 发布
最新推荐文章于 2025-04-17 16:49:18 发布
阅读量413 收藏
点赞数
分类专栏： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/northeastsqure/article/details/113287567
版权
MLMD提供了一种类似于TensorBoard但更强大的功能，不仅能够持久化存储实验记录以便随时查阅，还具备类似Git的功能进行版本控制，包括数据统计指标及模型准确率的追踪。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

https://mp.weixin.qq.com/s?__biz=MzU1OTMyNDcxMQ==&mid=2247492843&idx=1&sn=ad5a106ab9dc8640906a1fd7ff38f7a3&chksm=fc1bafa3cb6c26b5b61739f4a7da2dbedfe6209c9dcd27451dc9d49ce7c918b62e584bcf25b5&mpshare=1&scene=1&srcid=01267rPElYdzTSWN1fqQ0p56&sharer_sharetime=1611664264786&sharer_shareid=0842648c05a9f12b182c77d4baeb7a3a&exportkey=A4n35GhOOPoo4UboCI9O1Gk%3D&pass_ticket=Ww3agg2EIADc9%2FqI%2F%2FARRrtyWXwhqRj%2BD5QiYpH1rmixpIQRDYsPYTLerxeA5cCb&wx_header=0#rd

https://tensorflow.google.cn/tfx/guide/mlmd

1.类似与加强版tensorboard, 存入数据库里，可以永久查看

2.类似git， 做版本控制：数据统计指标，模型准确率

什么是 ONNX？它在模型部署中的作用是什么？（面试题200合集，高频、关键）
qq_38334677的博客
05-19 362
ONNX (Open Neural Network Exchange) 是一个开放的、用于表示机器学习模型的标准格式。它由微软、Facebook（现Meta）和AWS等公司共同发起并维护，旨在解决不同深度学习框架之间的互操作性问题。你可以将ONNX看作是机器学习模型领域的“通用语言”或“中间件”。ONNX的核心组成：定义了一套标准的、可扩展的计算图结构、内置的运算符集合 (operatorset) 以及标准数据类型。
【人工智能】机器学习的持续交付 （CD4ML）
热门推荐
AI天才研究院
04-29 1万+
机器学习的持续交付 自动化机器学习应用程序的端到端生命周期 机器学习应用程序在我们的行业中变得越来越流行，但是与更传统的软件（例如 Web 服务或移动应用程序）相比，开发、部署和持续改进它们的过程更加复杂。它们会在三个轴上发生变化：代码本身、模型和数据。他们的行为通常很复杂且难以预测，而且他们更难测试、更难解释、更难改进。机器学习持续交付 (CD4ML) 是将持续交付原则和实践引入机器学习应用程序的学科。
ML Metadata：ML 的版本控制
tensorflowforum的博客
07-16 647
文 / Ben Mathes 和 Neoklis Polyzotis，代表 TFX 团队发布 在编写代码时，您需要追踪代码进行追踪版本控制。那么 ML 的版本控制是什么？如果您正在构建生产 ML 系统，您需要能够回答如下问题： 模型是基于哪个数据集进行训练的？ 使用了哪些超参数？ 创建此模型时，使用了哪个流水线？ 创建此模型时，使用了哪个版本的 TensorFlow（和其他库）？ 是什么导致了此模型失败？ 上次部署的模型版本是什么？ ..
128、TensorFlow元数据MetaData
aihaotan8299的博客
02-17 1221
#tf.Session.run也接收一个可选的参数options #能够让你来配置训练时的参数 #run_metadata参数让你能够收集关于训练的元信息 #列如你可以使用这些可选项来追踪执行的信息 import tensorflow as tf y = tf.matmul([[37.0, -23.0], [1.0, 4.0]], tf.random_uniform([2,...
【能力比对】元数据管理VS元数据管理平台
最新发布
AllDataDC的博客
04-17 802
AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。
TensorFlow中元数据（matadata）是什么
发布工作学习过程中遇到的问题和解决方案
03-10 366
元数据也可翻译为诠释数据。可以参考下面两篇博客。
探索Google的ML Metadata：打造高效机器学习工作流的利器
gitblog_00067的博客
04-16 451
探索Google的ML Metadata：打造高效机器学习工作流的利器 去发现同类优质开源项目:https://gitcode.com/ 在当今的AI时代，构建和管理机器学习（ML）模型的过程越来越复杂。为了应对这一挑战，Google开源了ML Metadata (MLMD)项目，这是一个强大的工具，旨在帮助开发者记录、追踪和审计整个机器学习工作流程中的元数据。 项目简介 MLMD是一个库，为机器...
TensorFlow Metadata 开源项目指南
gitblog_00145的博客
09-11 834
TensorFlow Metadata 开源项目指南 metadata Utilities for passing TensorFlow-related metadata between tools 项目地址: https://g...
关于 tflite 移动端部署中如何为 tflite 模型添加 metadata
Abandon_first的博客
06-30 3090
https://www.tensorflow.org/lite/convert/metadata TensorFlow Lite metadata provides a standard for model descriptions. The metadata is an important source of knowledge about what the model does and its input / output information. The metadata consists of b
【TensorFlow项目实战】组织切片配准（切割角度校正） —— （自研）解决了 DeepSlice 配准精度较低的问题
shinuone的博客
01-14 2006
组织切片：即具有一定厚度的组织学（在完整3D脑图像中，具有部分且连续的帧图像），通过逐步切割得到多个切片（如：每隔6um切割一个切片）。但由于切割角度很难与正交轴完全对齐，因此切割过程中往往包含不完美之处。
【机器学习利器】：Anaconda在ML项目中的角色，环境配置与管理一步到位
[【机器学习利器】：Anaconda在ML项目中的角色，环境配置与管理一步到位](https://ucc.alicdn.com/pic/developer-ecology/izkvjug7q7swg_d97a7bb7ae9a468495e4e8284c07836e.png?x-oss-process=image/resize,s_500,m_...
TensorFlow基础教程
03-15
TensorFlow基础学习教程， 一、基础 二、线性模型 三、学习 四、分布式
pm：CLI项目元数据管理（版本，预发布等）
02-14
语义版本控制 semv这是一个有助于对软件项目的语义版本进行操作的工具。 初始化后，它将生成一个semv.toml文件，其中包含语义版本转换数据。 我们的目标 semv.toml是存储软件语义版本的标准文件 不管软件项目如何，都便于语义版本的操纵 基于spec 使用徽章 # HEADER: Copy and replace VERSION for current version [![](https://img.shields.io/badge/semv-VERSION-green)](semv.toml) [![](https://img.shields.io/badge/semver.org-by semv-green)](https://github.com/josehbez/semv) 下载并安装 如果您对获取源代码或对semv ，可以通过go get安装。 go get
TensorFlow Metadata 指南
gitblog_00085的博客
09-11 536
TensorFlow Metadata 指南 metadata Utilities for passing TensorFlow-related metadata between tools 项目地址: https://gitco...
元数据管理、治理、系统、建设方案、范例等
爱是与世界平行
03-06 8237
如果想建设好元数据系统，需要理解元数据系统的相关概念，如数据、数据模型、元数据、元模型、ETL、数据血缘等等。首先，要清楚数据的定义、数据模型的定义。数据一般是对客观事物描述的抽象，在数据库维度，数据是数据记录的简称，例如，个人的基本信息、产品信息等。数据模型是数据特征的抽象，它从抽象层次上描述了系统的静态特征、动态行为和约束条件，为数据库系统的信息表示与操作提供一个抽象的框架。数据模型所描述的内容有三部分，分别是数据结构、数据操作和数据约束。
基于Apache doris的元数据管理系统
锋哥聊DORIS数仓
09-14 1635
这里我们要先搞懂什么是元数据？元数据和数据的区别是什么？元数据有什么作用 1.什么是元数据 举几个例子： 如果一本书是一个“数据"，那么它的书名、封面、出版社、作者、总页码就是它的“元数据”。 如果数据库中某个表是一个”数据”，那么它的列名、列类型、列长度、表注释就是它的"元数据"。 元数据用来描述数据的数据，通过描述数据的产生、存储、使用情况、业务含义等信息，以及数据管理人员相关信息。让人们能够清楚拥有什么数据、代表什么、源自何处、如何在系统中移动，以及哪些人可以使用源数据，如何使用 2.元数据
第六篇：元数据管理之“灵魂”三问
大数据技术杂谈
06-26 1295
元数据管理“灵魂”三问——元数据是什么，有什么用，又该怎么管？
数据治理实战——元数据管理
爱吃辣条的博客
04-17 3172
数据治理实战——元数据管理
本地部署大模型工具
03-08
### 本地部署大型机器学习模型的工具和方法 对于希望在本地环境中部署大型机器学习(ML)模型的情况，有多种工具和技术可以利用来实现这一目标。这些工具不仅能够简化部署过程，还能提高效率和支持大规模应用。 #### TensorFlow Serving用于高效服务化部署 TensorFlow Serving是一个专门设计用来快速部署新算法和试验的同时保持稳定的生产环境的服务框架[^1]。该平台允许开发者轻松地将训练好的TensorFlow模型转换成RESTful API或gRPC服务端点，从而方便其他应用程序调用预测功能。为了适应不断变化的需求，TensorFlow Serving还支持版本控制以及动态加载新的模型文件而不需重启服务器。 #### Docker容器化解决方案 Docker提供了一种轻量级虚拟化的方案，使得可以在隔离环境下运行任何基于Linux的应用程序及其依赖项。通过创建包含特定操作系统配置、库和其他必要组件在内的镜像，用户能够在不同硬件平台上一致地执行相同的软件栈。这对于确保开发测试阶段与实际线上生产的兼容性和稳定性至关重要。特别是当涉及到复杂的AI/ML工作负载时，使用预构建的基础镜像（如NVIDIA CUDA/DL容器）能极大减少设置时间和复杂度。 #### Kubernetes集群管理 考虑到ML模型可能需要并行处理大量数据集，并且随着实验次数增加会带来更多的计算资源消耗，采用Kubernetes作为自动化编排引擎显得尤为重要[^2]。借助于其强大的调度能力，可以根据当前可用节点自动分配任务；同时提供了水平扩展机制以便应对突发流量高峰。此外，Prometheus等监控插件可以帮助实时跟踪性能指标，及时发现潜在瓶颈所在之处。 #### SDKs 和 Web APIs 的混合编程模式 针对那些由第三方提供的超大规模预训练语言模型或其他形式的大规模神经网络结构而言，直接获取源码往往不可行或者成本过高。此时，则可考虑运用官方发布的Python/C++等多种主流编程语言对应的SDK包来进行交互操作[^3]。这种方式既保留了灵活性又降低了维护难度，而且通常伴随着详尽文档指导及社区支持体系。 ```bash # 安装docker-ce sudo apt-get update && sudo apt-get install docker-ce docker-ce-cli containerd.io ``` ```yaml apiVersion: apps/v1 kind: Deployment metadata: name: tensorflow-serving-deployment spec: replicas: 3 selector: matchLabels: app: tf-serving template: metadata: labels: app: tf-serving spec: containers: - name: tensorflow-model-server image: tensorflow/serving ports: - containerPort: 8501 protocol: TCP --- apiVersion: v1 kind: Service metadata: name: tensorflow-serving-service spec: type: LoadBalancer selector: app: tf-serving ports: - port: 8501 targetPort: 8501 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值