AirFish的博客

Tensorflow采用的是一种编译执行的模式。即计算过程定义与计算执行分离的模式。用户通过框架提供的 API 构建算法描述（一般使用 python 进行开发）。框架将用户的算法定义编译成由计算逻辑节点（ OP ），数据输入输出关联关系 Edge ）和计算参数（ Variable ）组成的可序列化对象 Graph ）。 在正式执行时，框架将 Graph 序列化成 ...

FeatureColumn是Tensorflow 特征 工程的一类接口在文本类算法中应用广泛 。在文本类算法中特征工程的目的是将文本转化为向量即Embedding操作）。FeatureColumn中提供了丰富的基本转化操作用户可以通过组合不同的FeatureColumn来实现自己的 特征工程 。下面介绍几种常见的特征工程组合 。 FeatureColumn对于利用 Te...

利用Tensorflow进行训练时，训练性能是用户经常 关心 的问题，训练速度慢 导致模型迭代慢工作效率低。尤其在一些在线训练场景会导致数据堆积，模型跟不上数据变化。解决性能问题的关键是快速定位到算法中的性能瓶颈 。在Tensorflow中提供了默认 的性能指标收集机制FULL_TRACE。 FULL_TRACE可以帮助用户查看训练全过程耗时指标。但是使用时需要用户在运...

Tensorflow对于大部分算法用户来说能够满足使用需求 。但是在日常使用过程中也发现有一些bug导致日常生产过程中的训练异常中断，影响使用 。尤其是在离线集群进行大规模训练时，集群网络负载大，机器环境恶劣，导致故障频发，影响用户体验。 因此对于Tensorflow的稳定性改造，在大规模生产中是一项必要工作。Worker 角色的 Failover 及动态扩缩容改造为了提升用户使用体验提升集群资...