tensorflow 解读开篇

最新推荐文章于 2024-06-18 16:59:44 发布
原创 最新推荐文章于 2024-06-18 16:59:44 发布 · 353 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Tensorflow

本文深入解析TensorFlow，涵盖计算图、Tensor、op及内核实现，详解如何在C/C++层面调试TensorFlow，适合深度学习开发者和技术爱好者。

tensorflow 解读开篇

概述

深度学习研究的热潮持续高涨，各种开源深度学习框架也层出不穷，下面列出目前一些主流的深度学习开源工具。

工具名称维护团体支持语言支持系统
TensorFlowGoogleC++、PythonLinux、Mac-OS、Windows、Android、iOS
Caffe伯克利视觉学习中心C++、Python、MATLABLinux、Mac-OS、Windows
Theano蒙特利尔大学PythonLinux、Mac-OS、Windows
TorchFacebook等Lua、LuaJIT、CLinux、Mac-OS、Windows、Android、iOS
MXNetDMLCC++、Python、Go、RLinux、Mac、Windows、Android、iOS
CNTKMSRPython、C++Linux、Windows
Deeplearn4jSkymindJava、ScalaLinux、Windows、Mac

本章主要介绍带大家一览 Tensorflow 的相关概念。

TensorFlow

TensorFlow是相对高阶的机器学习库，用户可以方便地用它设计神经网络结构，而不必为了追求效率实现C++或CUDA代码。TensorFlow通过SWIG(Simplified Wrapper and Interface Generator)实现对多种语言的支持，包括有Python、R、C++等

因为TensorFlow有着对多平台、多语言支持特性。并且TensorFlow拥有产品级的高质量代码，背后又有Google强大的开发、维护能力的加持，相比于基于Python的其他框架，TensorFlow更加成熟、更加完善。

设计上它基于计算图来描述计算过程，提供了完善而灵活的分布式支持。

计算图描述

A TensorFlow computation is described by a directed graph, which is composed of a set of nodes. The graph represents a dataflow computation.
An operation has a name and represents an abstract computation (e.g., “matrix multiply”, or “add”).

TensorFlow中的计算可以表示为一个计算图(computation graph)，又称有向图(directed graph)。在计算图中每一个运算操作(operation)将作为一个节点(node)，节点与节点之间的连接称为边(edge)。计算图的每一个节点可以有任意多个输入和输出，节点可以算是运算操作的实例化(instance).在计算图的edge中流动(flow)的数据称为张量(tensor)，故得名tensorflow.

计算图相关信息用proto描述，下面是其定义：

message GraphDef {
	repeated NodeDef node = 1;
	FunctionDefLibrary library = 2;
	VersionDef versions = 4;
    int32 version = 3 [deprecated = true];
}
NodeDef {
	string name = 1;
	string op = 2;
	repeated string input = 3;
	string device = 4;
	map<string, AttrValue> attr = 5;
}

Node中包含计算op，数据inputs和设备信息device(cpu or gpu)。

Tensor

和其他的神经网络框架类似，tensor用来描述一个多维数组(A tensor simply identifies a multidimensional array or list)，主要有三个属性Ranks, Shapes, and Types(https://www.tensorflow.org/programmers_guide/dims_types)。

tensorflow的tensor主要基于开源的Eigen::Tensor，并且做了大量的扩展。
引用的eigen文件(https://github.com/RLovelett/eigen/blob/master/unsupported/Eigen/CXX11/Tensor)

 /// \brief Parse `other` and construct the tensor.

  /// Returns `true` iff the parsing succeeds. If the parsing fails,
  /// the state of `*this` is unchanged.
  bool FromProto(const TensorProto& other) TF_MUST_USE_RESULT;
  bool FromProto(Allocator* a, const TensorProto& other) TF_MUST_USE_RESULT;

  /// \brief Fills in `proto` with `*this` tensor's content.
  ///
  /// `AsProtoField()` fills in the repeated field for `proto.dtype()`, while

  void AsProtoField(TensorProto* proto) const;

可以看到 Tensor 提供了从 protobuf 序列化和反序列化的接口， 方便进行网络数据传输。

operator and opkernel

一个 tensorflow 的op主要包含以下：

1. op interface

主要用于描述op的输入输出等性质，并且负责注册到tensorflow的系统中。下面这段代码注册了一个叫做ZeroOut的op，并且描述了其输入类型是32位int型，输出也是32位int型，并且对其shape做了描述，输入输出的tensor shape是一样的。

#include "tensorflow/core/framework/op.h"
#include "tensorflow/core/framework/shape_inference.h"

using namespace tensorflow;

REGISTER_OP("ZeroOut")
    .Input("to_zero: int32")
    .Output("zeroed: int32")
    .SetShapeFn([](::tensorflow::shape_inference::InferenceContext* c) {
      c->set_output(0, c->input(0));
      return Status::OK();
    });
2. op kernel的实现

主要是继承OpKernel这个基类，并且实现Compute这个接口，Compute有一个输入参数OpKernelContext，输入输出都是通过这个context进行管理。

#include "tensorflow/core/framework/op_kernel.h"

using namespace tensorflow;

class ZeroOutOp : public OpKernel {
 public:
  explicit ZeroOutOp(OpKernelConstruction* context) : OpKernel(context) {}

  void Compute(OpKernelContext* context) override {
    // Grab the input tensor
    const Tensor& input_tensor = context->input(0);
    auto input = input_tensor.flat<int32>();

    // Create an output tensor
    Tensor* output_tensor = NULL;
    OP_REQUIRES_OK(context, context->allocate_output(0, input_tensor.shape(),
                                                     &output_tensor));
    auto output = output_tensor->flat<int32>();

    // Set all but the first element of the output tensor to 0.
    const int N = input.size();
    for (int i = 1; i < N; i++) {
      output(i) = 0;
    }

    // Preserve the first input value if possible.
    if (N > 0) output(0) = input(0);
  }
};

同样的，这个kernel需要注册到tensorflow的系统中。

REGISTER_KERNEL_BUILDER(Name("ZeroOut").Device(DEVICE_CPU), ZeroOutOp);

调试篇

目前常用的 TensorFlow API 还是 Python 版的,因此需要用到 gdb 的附加到进程选项载 入 Python 进程, 随后进入 C/C++部分的代码。

启动 Python 进程,通过 os 包中的命令获取当前的进程号。

$ python
>>> import tensorflow as tf 
>>> import os
>>> os.getpid()
26880

得到当前 Python 进程的进程号之后即可在另一个窗口中通过 gdb 启动进程调试,以 TF_Run 函数的断点为例:

$ gdb --pid=30475
(gdb) break TF_Run
(gdb) c

回到 python 窗口：

>>> a = tf.constant(1) 
>>> sess = tf.Session() 
>>> sess.run(a)

gdb 即断在了 TF_Run 这个函数上,

Breakpoint 1, 0x00007fd5cd8ee1f4 in TF_Run ()
   from /usr/lib/python2.7/site-packages/tensorflow/python/_pywrap_tensorflow_internal.so
(gdb) bt
#0  0x00007fd5cd8ee1f4 in TF_Run () from /usr/lib/python2.7/site-packages/tensorflow/python/_pywrap_tensorflow_internal.so
#1  0x00007fd5cd60c9da in tensorflow::TF_Run_wrapper_helper(TF_DeprecatedSession*, char const*, TF_Buffer const*, _object*, tensorflow::gtl::InlinedVector<char const*, 8> const&, tensorflow::gtl::InlinedVector<char const*, 8> const&, TF_Status*, tensorflow::gtl::InlinedVector<_object*, 8>*, TF_Buffer*) ()
   from /usr/lib/python2.7/site-packages/tensorflow/python/_pywrap_tensorflow_internal.so
#2  0x00007fd5cd60cdd1 in tensorflow::TF_Run_wrapper(TF_DeprecatedSession*, TF_Buffer const*, _object*, tensorflow::gtl::InlinedVector<char const*, 8> const&, tensorflow::gtl::InlinedVector<char const*, 8> const&, TF_Status*, tensorflow::gtl::InlinedVector<_object*, 8>*, TF_Buffer*) () from /usr/lib/python2.7/site-packages/tensorflow/python/_pywrap_tensorflow_internal.so
#3  0x00007fd5cd5d10b1 in _wrap_TF_Run () from /usr/lib/python2.7/site-packages/tensorflow/python/_pywrap_tensorflow_internal.so
#4  0x00007fd60998dcf0 in PyEval_EvalFrameEx () from /lib64/libpython2.7.so.1.0
#5  0x00007fd60999003d in PyEval_EvalCodeEx () from /lib64/libpython2.7.so.1.0
#6  0x00007fd609919978 in function_call () from /lib64/libpython2.7.so.1.0
#7  0x00007fd6098f4a63 in PyObject_Call () from /lib64/libpython2.7.so.1.0
#8  0x00007fd6099886fd in PyEval_EvalFrameEx () from /lib64/libpython2.7.so.1.0
#9  0x00007fd60999003d in PyEval_EvalCodeEx () from /lib64/libpython2.7.so.1.0
#10 0x00007fd60998d53c in PyEval_EvalFrameEx () from /lib64/libpython2.7.so.1.0
#11 0x00007fd60999003d in PyEval_EvalCodeEx () from /lib64/libpython2.7.so.1.0
#12 0x00007fd60998d53c in PyEval_EvalFrameEx () from /lib64/libpython2.7.so.1.0
#13 0x00007fd60999003d in PyEval_EvalCodeEx () from /lib64/libpython2.7.so.1.0
#14 0x00007fd60998d53c in PyEval_EvalFrameEx () from /lib64/libpython2.7.so.1.0
#15 0x00007fd60999003d in PyEval_EvalCodeEx () from /lib64/libpython2.7.so.1.0
#16 0x00007fd60998d53c in PyEval_EvalFrameEx () from /lib64/libpython2.7.so.1.0
#17 0x00007fd60999003d in PyEval_EvalCodeEx () from /lib64/libpython2.7.so.1.0
#18 0x00007fd609990142 in PyEval_EvalCode () from /lib64/libpython2.7.so.1.0
#19 0x00007fd6099a957f in run_mod () from /lib64/libpython2.7.so.1.0
#20 0x00007fd6099ab630 in PyRun_InteractiveOneFlags () from /lib64/libpython2.7.so.1.0
#21 0x00007fd6099ab81e in PyRun_InteractiveLoopFlags () from /lib64/libpython2.7.so.1.0
#22 0x00007fd6099abeae in PyRun_AnyFileExFlags () from /lib64/libpython2.7.so.1.0
#23 0x00007fd6099bcb7f in Py_Main () from /lib64/libpython2.7.so.1.0
#24 0x00007fd608bd9445 in __libc_start_main () from /lib64/libc.so.6
#25 0x000000000040066e in _start ()
(gdb)

可以看到 libpython 首先到 _pywrap_tensorflow_internal 里面调了 _wrap_TF_Run 这 个函数,这部分是 SWIG 的封装,之后再是对 c_api.cc 中的 TF_Run 函数的调用。
采用类似的方法可以对代码中任何函数进行断点及调试。

to be continue.

参考

深度学习系列资料总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-17 2万+
说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................
AI Agent开发第74课-解构AI伪需求的魔幻现实主义
最新发布
打造全国最全的AI Agent开发知识领域的博客
05-24 263
当企业陷入"不加AI不罢休"的疯狂内卷，连传统电风扇都被强行塞进云端大模型。本文通过拆解声控换风、数字转译等离谱操作，揭露伪AI需求如何把简单功能变成反向创新，用幽默视角透视技术泡沫背后的资源浪费与认知偏差。
TensorFlow的深度解析与应用
2301_78863619的博客
06-18 1147
TensorFlow是由Google Brain团队开发的开源机器学习框架，用于进行高性能的数值计算。其名称来源于它的核心数据结构——张量（Tensor），以及计算流程图（Flow）的概念。TensorFlow支持分布式计算，可以运行在各种硬件平台上，包括CPU、GPU和TPU（Tensor Processing Unit）。灵活性：TensorFlow支持动态计算图，允许在运行时改变计算流程。高效性。
TensorFlow框架核心解读
weixin_48331187的博客
09-19 131
1. **静态计算图**：TensorFlow使用静态计算图，将计算过程表示为图形。2. **张量（Tensors）**：TensorFlow的基本数据结构是张量，它是多维数组，类似于NumPy的ndarray，但具有GPU加速和自动微分等功能。5. **模型训练**：TensorFlow支持各种内置优化器（如SGD、Adam等）和损失函数，使得训练神经网络变得更加简单。8. **广泛的社区和生态系统**：TensorFlow拥有一个庞大的社区，提供大量的教程、示例代码和第三方扩展库。
TensorFlow详解
顺其自然~专栏
12-25 1万+
TensorFlow是一个基于数据流编程（dataflow programming）的符号数学系统，被广泛应用于各类机器学习（machine learning）算法的编程实现，其前身是谷歌的神经网络算法库DistBelief。 Tensorflow拥有多层级结构，可部署于各类服务器、PC终端和网页并支持GPU和TPU高性能数值计算，被广泛应用于谷歌内部的产品开发和各领域的科学研究。 Tenso...
使用GDB调试TensorFlow C++代码
不想天亮的星
12-20 1715
使用
tensorflow C++报错：You must define TF_LIB_GTL_ALIGNED_CHAR_ARRAY for your compiler
u013925378的博客
11-22 218
问题： tensorflow C++报错：You must define TF_LIB_GTL_ALIGNED_CHAR_ARRAY for your compiler 解决方法： 属性管理器—>C/C++—>预处理器定义，把下面内容粘贴上去： COMPILER_MSVC NOMINMAX ...
经典论文解读——AlexNet(附tensorflow2实现)
QianLong_的博客
06-02 630
经典论文解读：AlexNet AlexNet是ImageNet LSVRC-2012夺冠模型，可以说是深度卷积神经网络的开篇。 AlexNet出自：ImageNet Classification with Deep Convolutional Neural Networks 论文总结： 1、该论文提出了AlexNet模型，对计算机视觉产生了非常大的影响。 2、提出RELU非线性激活函数，在imageNet数据集上比tanh，sigmiod等激活函数收敛快 3、由于当时GPU算力不够，在两个GPU上进行训练。
汇川机器人视觉检测技术：质量控制新标准的全面解读
[汇川机器人视觉检测技术：质量控制新标准的全面解读](https://i0.wp.com/syncedreview.com/wp-content/uploads/2021/12/image-92.png?resize=1153%2C580&ssl=1) 参考资源链接：[汇川四轴机器人编程手册：...
【ADT-24.0.2高级技能探索】：深入解读ADT-24.0.2的高级特性
![【ADT-24.0.2高级技能探索】：深入解读ADT-24.0.2的高级特性]... # 摘要 本文深入探讨了ADT-24.0.2的高级特性，重点分析了其高级系统架构的设计理念、关键技术、数据管理、网络通信以及服务集成和应用场景。...
TensorFlow调试程序介绍
谷歌开发者
03-02 604
这个工具可以简化TensorFlow中对机器学习 (ML) 模型的调试。
C++ vector 类学习笔记
whz_zb的专栏
09-27 1万+
vector简介       vector是STL中最常见的容器，它是一种顺序容器，支持随机访问。vector是一块连续分配的内存，从数据安排的角度来讲，和数组极其相似，不同的地方就是：数组是静态分配空间，一旦分配了空间的大小，就不可再改变了；而vector是动态分配空间，随着元
空间向量类Vector3的C++实现
爱冒险的技术宅
09-02 6048
double getDree( Node a, Node b ) { //求向量a，b之间的夹角 double c, d; c = a.x*b.x + a.y*b.y + a.z*b.z; d = sqrt(a.x*a.x + a.y*a.y + a.z*a.z) * sqrt(b.x*b.x + b.y*b.y + b.z*b.z); return acos(c/d);}
tensorflow：自定义op简单介绍
热门推荐
Keith
06-26 3万+
tensorflow 自定义 op本文只是简单的翻译了 https://www.tensorflow.org/extend/adding_an_op 的简单部分，高级部分请移步官网。可能需要新定义 c++ operation 的几种情况： 现有的 operation 组合不出来你想要的 op 现有的 operation 组合 出来的 operation 十分低效 如果你想要手动融合一些操作。 为了实
【代码分析】Tensorflow OpShapeInferenceFn 详解
HaoBBNuanMM的博客
03-31 1165
目录 背景 OpShapeInference分析 举个栗子 背景 在我之前的文章Tensorflow自定义算子实现原理中说明了自定义OP的注册过程，其中开始的第一步通过REGISTER_OP注册算子，有一个类型为OpShapeInferenceFn的参数通过SetShapeFn注册到OpRegistrationData对象中，本文解释OpShapeInferenceFn的作用和实例 OpShapeInference分析 OP定义了Input和Output，但是没有定义它们的形状（...
TensorFlow 源码阅读[1] OpKernel的注册
gaussrieman123的博客
04-10 1732
OpKernel介绍 在TF的架构中，OpKernel是Ops和硬件的中间层，用来抽象统一各个硬件平台上的Kernel类和接口。 注册过程 我们首先大致列出OpKernel注册的过程，后面再详细分析，我们按照调用顺序，从上层往下说： 在各个xxx_op.cc文件中调用REGISTER_KERNEL_BUILDER() 调用OpKernelRegistrar的构造函数 并在该构造函数中调用OpK...
[转载]tensorflow二次开发
s_sunnyy的博客
09-11 2万+
本文转载自 https://leslie-fang.github.io/2019/02/27/tensorflow%E4%BA%8C%E6%AC%A1%E5%BC%80%E5%8F%91/ 1. 编译 方法1 ./configure bazel build --config=opt //tensorflow/tools/pip_package:build_pip_package build出...
executor.h
s_sunnyy的博客
06-06 2226
#ifndef TENSORFLOW_COMMON_RUNTIME_EXECUTOR_H_ #define TENSORFLOW_COMMON_RUNTIME_EXECUTOR_H_ #include "tensorflow/core/common_runtime/device.h" #include "tensorflow/core/framework/rendezvous.h" #inclu
unity开篇动画
03-22
### 如何在 Unity 中制作启动时的开篇动画 要在 Unity 中创建一个启动时的开篇动画，可以利用 Unity 的内置功能来完成这一目标。以下是关于如何实现的具体方法： #### 使用 `Animation` 组件 Unity 提供了一个名为 `Animation` 的组件，它可以用来播放预定义好的动画片段 (Animation Clip)[^1]。通过将这些动画片段附加到场景中的对象上，就可以轻松地控制它们的行为。 首先，在 Unity 编辑器中新建一个 GameObject 并命名为 "OpeningAnimation" 或其他合适的名称。接着添加一个 Animator Controller 和 Animation Component 到这个物体上。确保已经准备好了所需的动画资源文件 (.anim)，并将该文件拖拽至 Animation component 下方对应的字段里[^1]。 对于脚本部分，则可以根据实际需求决定是否需要自定义逻辑处理。如果只是单纯展示一段视频或者图片序列作为开场白的话，那么可能根本无需任何额外编码工作即可达成目的；然而当涉及到更复杂的交互操作比如按钮点击跳过等功能的时候就需要适当引入简单的 C# 脚本来辅助实现了[^3]。 另外值得注意的是, 如果计划最终导出为 Android 应用程序形式发布出去给更多用户下载体验的话还需要注意调整相关设置以适配不同设备屏幕尺寸等问题以及考虑性能优化等方面因素[^2][^4]. ```csharp using UnityEngine; public class OpeningSequenceController : MonoBehaviour { private bool _isPlaying = true; void Start(){ StartCoroutine(PlayIntro()); } IEnumerator PlayIntro() { yield return new WaitForSeconds(5); // 假设动画持续时间为5秒 _isPlaying = false; LoadNextScene(); } void Update(){ if(Input.anyKey && _isPlaying){ StopAllCoroutines(); _isPlaying=false; LoadNextScene(); } } void LoadNextScene(){ Application.LoadLevel("MainGame"); // 加载下一个游戏场景 } } ``` 上述代码展示了如何管理一个基础版本的启动画面控制器类。其中包含了等待特定时间自动切换场景的功能同时也允许玩家按下任意键提前结束观看过程并进入主要玩法区域。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值