Keras正式从TensorFlow分离:结束API混乱与耗时编译

使用Bazel编译报错ERROR: Unrecognized option: --experimental_repo_remote_exec解决方法 ERROR: Unrecognized option: --experimental_repo_remote_exec 一、问题: INFO: Options provided by the client: Inherited 'common' options: --isatty=1 --terminal_columns=80 INFO: Reading rc options for 'version' from /home/emadboctor/tensorflow/.bazelrc: . 阅读详情
来源:机器之心

以后在本地运行 Keras Bazel 测试将不再花费几小时,只需要几分钟。

对于深度学习领域的从业者而言,Keras 肯定不陌生,它是深度学习的主流框架之一。2015 年 3 月 27 日,谷歌软件工程师、Keras 之父 Francois Chollet 在其 GitHub 上提交并公布了 Keras 的首个版本。作为使用纯 Python 编写的深度学习框架,Keras 的代码更加简单方便,适用于初学者。此外,Keras 具有很强的易扩展性,能够直观地定义神经网络,函数式 API 的使用令用户可以将层定义为函数。

Keras 官网地址:https://keras.io/

为了训练自定义神经网络,Keras 需要一个后端,在 v1.1.0 版本之前,Keras 的默认后端都是 Theano。2015 年 11 月 9 日,谷歌发布了 TensorFlow。Keras 开始支持 TensorFlow 作为后端。渐渐地,TensorFlow 成为最受欢迎的后端,并从 Keras v1.1.0 发行版开始成为它的默认后端。tf.keras 正是在 TensorFlow v1.10.0 中引入的,这是将 Keras 直接集成到 TensorFlow 包中的第一步。

当谷歌在 2019 年 6 月发布 TensorFlow 2.0 时,他们宣布 Keras 成为 TensorFlow 的官方高级 API。并且,在 Keras 2.3.0 版本发布时,Francois 表示这是 Keras 首个与 tf.keras 同步的版本,也是 Keras 支持 Theano 等多个后端的最终版本。所有深度学习从业者都应将其代码转换成 TensorFlow 2.0 和 tf.keras 软件包。这意味着二者的合并,但看似双赢的决定,很多开发者却不买账。API 的混乱与割裂不仅令开发者不知所措,也加大了开发者寻找教程的难度。

是时候做出改变了!近日,Keras 之父 Francois Chollet 在其推特宣布一项重要决定:他们已经将 Keras 的代码从 TensorFlow 代码库中分离出来,移回到了自己的 repo。

对于 Keras 从 TensorFlow 分离后有哪些好处?Francois 表示:「这将提升开源贡献者的开发体验。对于用户而言,这将使他们可以在本地运行测试,不再需要编译 TF 来测试 Keras 了,并且还将改善 CI 时间。」

Keras 正式从 TensorFlow 代码库中分离

此次 Keras 分离过程的负责人是谷歌高级软件工程师 Scott Zhu,他代表 Keras 团队向所有 Keras 用户发表了公开声明,解释了 Keras 从 TensorFlow 代码库中分离出来的缘由以及分离后为用户带来的诸多便利之处。

开发团队花费了很多精力使 TensorFlow 更加模块化,并优化了 Keras 和 TensorFlow 之间的依赖关系。最终 Keras 从 TensorFlow 代码库中分离出来,并拥有了自己独立的代码库。这使 Keras 能够使用 Tensorflow Python API 作为 PIP 包依赖项,且无需在构建和测试时编译 TensorFlow。因此现在在本地运行 Keras Bazel 测试只需要几分钟,而不是几小时。

变更之后,当前 TensorFlow 代码库中的 Keras 部分将很快被删除。这意味着:

1. Keras 开源代码库的访问地址将发生变更;

  • 原地址:https://github.com/tensorflow/tensorflow

  • 新地址:https://github.com/keras-team/keras

2. 经过许可之后,原代码库中 Keras 部分的相关 PR 将被手动合并到新代码库中。Keras 团队成员将在内部进行同步和合并,相关作者无需进行任何操作。但如果 PR 已经打开很长时间且没有作者的活动,Keras 团队可能会关闭它;

3. 任何在先前代码库中未解决的 Keras 相关活跃问题将在现有的 ticket 线程中处理,并将通过提交到新代码库进行修复;

4. 与原代码库相关的陈旧问题将被关闭。如果你认为仍然是有价值的问题,请随时在新代码库中重新打开该问题;

5. 新 Keras 代码库在此次变更前未完成的任何 PR/issue 都被认为是陈旧的,将被关闭。

用户想要提交贡献,如何做?

用户在提交自己的代码以供审查并获得批准时,必须签署谷歌个人贡献者许可协议(CLA),这样才可以将代码放入 Keras 代码库中。此外,在提交更多的贡献时,用户也应首先通过问题跟踪器(issue tracker)与 Keras 联系沟通。

包括项目成员在内所有用户的提交都必须接受审查。为此,Keras 使用 GitHub 拉取请求(pull request, PR),并建议用户在创建 PR 之前阅读相关指南。

完成本地更改并通过测试验证后,用户可以在 keras-team/keras 项目中打开并发送 PR,之后会经过一系列的测试来验证它的正确性。一旦 PR 被审查者测试和批准,PR 将被镜像到谷歌内部存储库。一旦合并到 Google 内部存储库成功完成,PR 还将被标记为已合并(merged)。这与 Tensorflow OSS 的贡献流程相同,相关示例如下图所示:

在做任何更改之前,Keras 团队建议用于打开 issue,并在上面讨论。Keras 也会给予反馈并对用户提出的更改进行验证。如果更改很小,如文档修复中简单的 bug 修复,则只需打开 PR 无需讨论。

与个人用户不同,企业用户提交的贡献需要遵守《谷歌软件授权与企业贡献者许可协议》。

开发所需的工具

使用 Keras 开发所需要的工具主要包括如下:

  • 用于创建和测试 Keras 项目的 Bazel 工具和 Python;

  • 用于代码库管理的 git 工具。

设置和检查本地工作区

以苹果 Mac 电脑(Linux 系统的配置非常相似)为例,使用如下命令设置并检查本地工作区的配置:

下载 Keras 代码和设置虚拟环境

Python 虚拟环境是创建独立环境的强大工具,可以将任何系统级配置的更改隔离开来。因此,Keras 强烈建议避免出现任何意外的依赖或版本问题。

本地运行测试

在本地运行一个测试的代码如下:

(venv_dir) scottzhu-macbookpro2:keras scottzhu$ bazel test -c opt keras:backend_test
WARNING: The following configs were expanded more than once: [v2]. For repeatable flags, repeats are counted twice and may lead to unexpected behavior.
INFO: Options provided by the client:
  Inherited 'common' options: --isatty=1 --terminal_columns=147
INFO: Reading rc options for 'test' from /Users/scottzhu/workspace/keras/.bazelrc:
  Inherited 'build' options: --apple_platform_type=macos --define open_source_build=true --define=use_fast_cpp_protos=false --define=tensorflow_enable_mlir_generated_gpu_kernels=0 --define=allow_oversize_protos=true --spawn_strategy=standalone -c opt --announce_rc --define=grpc_no_ares=true --config=short_logs --config=v2
INFO: Reading rc options for 'test' from /Users/scottzhu/workspace/keras/.bazelrc:
  'test' options: --define open_source_build=true --define=use_fast_cpp_protos=false --config=v2
INFO: Found applicable config definition build:short_logs in file /Users/scottzhu/workspace/keras/.bazelrc: --output_filter=DONT_MATCH_ANYTHING
INFO: Found applicable config definition build:v2 in file /Users/scottzhu/workspace/keras/.bazelrc: --define=tf_api_version=2 --action_env=TF2_BEHAVIOR=1
INFO: Found applicable config definition build:v2 in file /Users/scottzhu/workspace/keras/.bazelrc: --define=tf_api_version=2 --action_env=TF2_BEHAVIOR=1
INFO: Analyzed target //keras:backend_test (0 packages loaded, 0 targets configured).
INFO: Found 1 test target...
Target //keras:backend_test up-to-date:
  bazel-bin/keras/backend_test
INFO: Elapsed time: 45.535s, Critical Path: 45.26s
INFO: 19 processes: 19 local.
INFO: Build completed successfully, 20 total actions
//keras:backend_test                                                     PASSED in 45.2s
  Stats over 4 runs: max = 45.2s, min = 40.0s, avg = 41.5s, dev = 2.1s


INFO: Build completed successfully, 20 total actions

最后为大家推荐一篇 Keras 的中文教程,它由 Keras 团队软件工程师金海峰翻译自官网教程,详细介绍了 Keras 和 TensorFlow 的基本用法和核心概念,并通过变分自编码器(Variational Autoencoder)和超网络(Hypernetwork)这两个完整的例子展示了如何在实践中使用 Keras。

教程知乎链接:https://zhuanlan.zhihu.com/p/380472423

参考链接:

https://github.com/qlzh727

https://zhuanlan.zhihu.com/p/364670970

https://www.jiqizhixin.com/articles/2021-04-02-6

https://docs.github.com/en/github/collaborating-with-pull-requests/proposing-changes-to-your-work-with-pull-requests/about-pull-requests


觉得还不错就给我一个小小的鼓励吧!


Lyra编码器基础环境搭建 Lyra介绍 Google最近开源了一种语音压缩的新型超低比特率编解码器,这种编码器的最大特点是基于机器学习原理,能够使用最少的数据来重建语音,这是和传统AAC和Opus编码原理的本质区别,这种基于机器学习的编码思想也逐渐应用的图像编码和视频编码上。 其次Lyra牛逼的地方在于不仅实现了以每秒3kb网络宽带提供听起来自然清晰的语音聊天,还可以在仅90ms延迟的情况下在从高端云服务器到中端智能手机的任何设备上运行。 随着谷歌的推广,估计WebRTC后续也有相关动作支持起来,特别在网络比较差带宽较低的场景下进行 阅读详情

相关推荐

TensorFlow 2深度学习操作系统:Keras、Eager Execution与SavedModel实战指南

深度学习框架已从实验工具演进为可工程化落地的基础设施。TensorFlow 2通过Eager Execution实现Python原生交互,大幅降低调试门槛;Keras API成为统一建模标准,收敛训练、评估与部署全流程;tf.data构建声明式高性能数据流水线,解决IO瓶颈;SavedModel则定义了跨平台、跨语言的模型交付契约。这些能力共同构成面向生产环境的‘深度学习操作系统’——它不苛求用户掌握图计算或编译原理,而聚焦于如何用最直观的Python范式,将模型快速嵌入Excel、小程序、边缘设备甚至Ar

weixin_30729609的博客 362

bazel+tensorflow【未解决】+ubuntu20.04 源码安装

bazel+tensorflow+ubuntu20.04 源码安装 crosstool_wrapper_driver_is_not_gcc failed: error executing command external/local_config_cuda/crosstool/clang/bin/crosstool_wrapper_driver_is_not_gcc -MD -MF

weixin_54470372的博客 1901

GAN原理通俗解析:造假者与鉴酒师的对抗博弈

生成式对抗网络(GAN)是一种基于博弈论思想的生成模型,其核心在于生成器与判别器之间的动态对抗优化过程。它通过极小极大(minimax)目标函数驱动两个神经网络相互竞争、协同进化,从而逼近真实数据分布。相比自编码器等单模型方法,GAN能有效缓解模式坍塌问题,提升生成多样性与真实性。该技术已广泛应用于图像合成、风格迁移、数据增强及AIGC内容生成等场景。本文以‘造假者vs鉴酒师’为认知锚点,结合Keras代码实操,深入浅出地揭示GAN中标签平滑、tanh归一化、交替训练等关键设计背后的工程逻辑。

weixin_30338481的博客 502

Tensorflow2.6.0-MKL for C++

在intel官网看到Optimize AI Applications with Intel® oneAPI Deep Neural Network... 查了一下,好像即使只要有intel,以后CPU预测速度也可以提高。所以决定试试,去年我编译的libtensorflow.so好像没有加入这一块! 试一下,看是否比去年的快。 ...

wd1603926823的专栏 3197

windows系统下,如何为comfyui如何安装triton

​ 有些加速插件、模型在安装的时候,比如说sageattention的安装,就需要提前安装triton这个包,不过这个包有点特殊,windows下略微不好装,经常会装失败。 🎠如何安装 之前也有人介绍过,要到github上找个wheel文件,找到对应的版本安装下就好了。 问题是:https://github.com/woct0rdho/triton-windows/releases 这个git地址上,已经找不到wheel文件了... ​

聚梦小课堂 4515

工业级越界行为识别数据集:YOLOv8/v9直接训练的围栏异常检测资源

越界行为识别是智能安防与工业安全中的基础视觉任务,其核心在于对人员、车辆等目标跨越物理边界(如围栏、警戒线、作业禁区)的精准检测与分割。该技术依赖于高质量实例分割标注、归一化坐标格式及场景鲁棒性设计,具备低延迟、高召回、强泛化等工程价值,广泛应用于智慧工地电子围栏、化工厂禁区告警、物流园区越界监控及变电站安全巡检等真实工业场景。本数据集以YOLOv8/v9为基准构建,提供万张实拍+合成图像、像素级Segmentation标注、分层划分与完备元数据,开箱即用,直击工业落地中数据清洗、格式转换与标注不一致等关键

weixin_30080745的博客 322

TensorFlow生态实战地图:SavedModel、tf.function与三大部署通道

TensorFlow已从单一深度学习框架演进为分层AI基础设施栈,其核心在于模型表示、执行模式与部署目标的严格解耦。SavedModel作为唯一可信的模型交付格式,承载可执行、可移植、可验证的计算图与签名;tf.function则是Python动态执行与Core层静态图编译之间的关键开关,决定性能与调试体验的边界。技术价值体现在跨平台一致性——同一模型经不同转换路径(TF Serving云服务、TFLite移动端、TF.js Web端)实现场景适配,但必须遵循格式约束与算子兼容性规则。典型应用场景包括高并发

a5199519的博客 354

YOLOv8模型INT8量化实战:解决sigmoid输出归零的坑(附代码修改)

本文详细介绍了YOLOv8模型INT8量化过程中遇到的sigmoid输出归零问题及其解决方案。通过修改模型导出代码、优化ONNX量化流程,并提供完整的部署优化技巧,帮助开发者在边缘计算设备上实现高效的模型推理。文章还包含量化效果验证和常见问题排查方法,助力开发者快速解决实际部署中的难题。

vvv99的博客 253

PyTorch、TensorFlow与JAX实战选型指南:研究落地与生产部署的工程权衡

AI框架不仅是代码工具,更是连接算法构想与硬件执行的‘思维翻译器’。从自动微分原理到计算图编译机制,不同框架在动态性、确定性与函数式表达上存在根本差异。PyTorch以eager模式支撑快速迭代与调试友好性,TensorFlow依托SavedModel与XLA保障云上部署一致性与边缘量化能力,JAX则通过jit/grad/vmap提供高阶可微分编程范式。技术价值体现在研究复现效率、生产SLA达标率与跨平台可维护性;典型场景覆盖金融风控模型迭代、医疗影像辅助诊断部署及工业预测性维护系统构建。本文基于12个跨行

weixin_30423977的博客 376

从零到自动化:用Python脚本搞定华为CE12800的NETCONF初始配置(含完整代码)

本文详细介绍了如何使用Python脚本实现华为CE12800交换机的NETCONF初始配置自动化。从环境准备、脚本架构设计到SSH连接与NETCONF配置实战,提供了完整的代码示例和错误处理建议,帮助运维工程师高效完成网络设备自动化配置,提升工作效率。

weixin_42525551的博客 401

Unity PSD分层导入插件ps2d原理与实战指南

PSD作为UI设计主流源文件,其图层结构、混合模式、文字矢量属性等核心语义在传统引擎导入中普遍丢失,导致设计还原度低、多语言适配难、运行时不可控。ps2d通过深度解析PSD二进制规范,将图层映射为GameObject树、文字转为TextMeshPro可编辑组件、形状生成矢量Mesh、蒙版与图层样式编译为定制Shader,实现设计意图的精准程序化表达。该方案显著提升UI开发效率,支撑高保真还原、动态修改、分辨率自适应及运行时热重载等工程需求,是Unity中连接设计师与程序员的关键工作流中枢。

weixin_32943857的博客 348

TensorFlow从零实现机器翻译:Encoder-Decoder与Attention原理实战

机器翻译是自然语言处理中的经典序列到序列任务,其核心在于建模源语言与目标语言之间的概率映射关系。基于RNN或Transformer的编码器-解码器架构,通过注意力机制动态构建跨语言对齐,解决了长程依赖与语义等价表达难题。TensorFlow凭借确定性调试能力、SavedModel工业部署支持及混合精度优化,在边缘设备与私有云场景中展现出显著工程优势。本文深入剖析梯度爆炸抑制、teacher forcing衰减策略、BPE子词正则化及BLEU评估陷阱等关键实践环节,覆盖数据清洗、模型搭建、训练调优到TFLit

chenzhuofei4155的博客 381

无人驾驶感知融合——横摆角速度的多源估计算法解析

本文深入解析了无人驾驶感知融合中的横摆角速度多源估计算法,详细介绍了轮速差法、侧向加速度法、曲率法和惯性传感器直读法四种计算方法及其优缺点。通过卡尔曼滤波实战案例,展示了多源融合算法在提升精度和稳定性方面的显著优势,并探讨了工程实践中的时间对齐、坐标系统一等关键问题。

weixin_31458015的博客 464

TensorFlow 2.9生产稳态加固:SavedModel稳定性与tf.data性能实战指南

SavedModel是TensorFlow模型部署的核心序列化格式,其稳定性直接决定AI服务的可用性;tf.data则是构建高性能数据流水线的基础API,影响训练吞吐与资源利用率。TensorFlow 2.9不再强调新功能,而是聚焦故障面收敛,通过重构SavedModel图结构绑定逻辑、强化input_signature校验、修复tf.data多GPU下worker hang等关键问题,显著提升可重现性、可部署性与可观测性。该版本已成为金融风控、工业质检等高可靠性场景的强制基线,适用于需长期稳定运行的MLO

weixin_30279671的博客 419

Python爬虫实战:全自动采集银行理财产品收益率数据

本文通过Playwright动态爬虫技术,成功实现了对银行理财产品收益率数据的实时采集,并通过 Pandas 数据清洗、SQLite 存储、调度自动化等模块,构建了一个可扩展的银行理财数据抓取系统。理财非儿戏,数据做决策。掌握银行收益信息是我们迈向理性投资的第一步。希望这套工具对你有所帮助!

2201_76125261的博客 1162

基于STM32设计的遥控小车(手机APP+GPS+温湿度+ESP8266)

一、环境介绍 小车主控MCU: STM32F103ZET6 STM32程序开发IDE: keil5 STM32程序风格: 采用寄存器方式开发,注释齐全,执行效率高,方便移植 手机APP: 采用QT设计,程序支持跨平台编译运行(Android、IOS、Windows、Linux都可以编译运行,对应平台上QT的环境搭建,之前博客已经发了文章讲解) 硬件包含: 淘宝购买的完整一套4轮遥控小车(采用STM32F103ZET6作为主控板)、DHT11温湿度传感器、中科微GPS模块、ESP8266 ...

6万+

TensorFlow开发者认证:一场端到端工程能力实操压力测试

TensorFlow开发者认证并非传统知识型考试,而是聚焦真实工业场景的端到端工程能力验证。它围绕数据加载、预处理、模型构建、训练调优、保存部署等完整ML生命周期,考察开发者在版本约束、GPU资源受限、原始数据脏乱等现实条件下的鲁棒实现能力。核心涉及tf.data管道优化、SavedModel交付规范、TF 2.7版本确定性控制等关键技术点,广泛应用于CV/NLP/时间序列等主流AI落地场景。本文深入解析其考试机制与高分实践路径,助力工程师将TensorFlow从‘能跑通’升级为‘可交付’。

weixin_30325971的博客 299

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

GRU轻量文本生成:边缘设备上的高效RNN实践指南

循环神经网络(RNN)是处理序列数据的基础模型,其核心挑战在于长程依赖建模与梯度消失问题。门控机制通过更新门和重置门动态调控信息流,显著提升训练稳定性与推理效率。GRU作为结构精简的门控RNN变体,在参数量、内存占用和功耗方面具备天然优势,成为嵌入式系统、移动端及低功耗IoT设备中文本生成任务的首选方案。相比LSTM的四门结构与Transformer的全局注意力,GRU以线性计算复杂度实现高性价比的语义连贯性建模,广泛应用于实时补全、离线摘要、语音转写等资源受限场景。本文聚焦GRU在真实工程环境中的落地路径

dianqi0560的博客 344

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Python深度学习:从入门到实战

亲爱的读者,欢迎您翻开这本书。我们即将探索的,是深度学习的宇宙——一个由数据、算法与算力构筑的奇妙世界。它既是严谨的科学,也是创造的艺术,更是一条通往未来智慧的修行之路。本书将带您从最基础的数学原理出发,亲手搭建神经网络,驾驭Transformer等前沿模型,最终将智慧转化为现实世界的价值。请放下畏惧,保持好奇。这不仅是一次知识的学习,更是一场思维的远行。来,随我一起,开启这趟非凡的旅程吧。

weixin_45747731的博客 450

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

上一篇: 全球首个开源图像识别系统上线了!
下一篇: 华为扩招一万人?这也太香了!
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值