tensorflow
关注
分享
扫一扫
ChaosJ
毕业于北京邮电大学，现就职于Tencent 。
主要技术栈：Yarn、K8S、Tensorflow、Java、C++、Python、Spark、Mapreduce；
主要工作内容：hadoop 平台运维、机器学习平台、服务部署管理平台建设及运维；
展开
-
Tensorflow分布式训练的调度方案
TensorFlow 本身支持分布式训练，但是构建分布式 TensorFlow 框架并非易事，也不是所有数据科学家和相关的工程师都具备所需的专业知识，或想要这样做——尤其是因为这项工作必须手动完成，缺少一个【调度框架】，调度Tensorflow进行分布式训练。工业界的大厂相继开源了很多方案。总的来说有两种方案【Tensorflow on Yarn】和【Tensorflow on K8S】和 【Te...原创 2020-03-10 23:08:14 · 2017 阅读 · 0 评论 -
广告CTR预估场景下的DNN调优实战
广告CTR预估场景下的DNN调优实战特征DNN需要组合特征LR模型的时候，我们需要构造许多组合特征，比如UserID与ItemID的组合，许多做DNN的都宣称简化了特征工程，由隐层学习特征交叉，但是隐层进行特征组合的方式并没有明确的理论解释，并且通过隐层参数学习的方式进行隐式的特征组合并不能保证收敛到最优解，通过显示的构造组合特征能给DNN提供一些先验信息，从实战来看，DNN加上显示的...转载 2020-03-09 18:48:19 · 746 阅读 · 0 评论 -
使用pudb调试TensorFlow Python源码
简介 TensorFlow是C++和Python实现的，构建Graph和一些op的调用都是在Python实现，可以使用pudb来单步调试TensorFlow的Python源码。pudb 项目地址：https://github.com/inducer/pudbpudb 文档地址：https://documen.tician.de/pudb/Python的调试工具pdb：...原创 2019-07-15 08:50:06 · 395 阅读 · 0 评论 -
使用TensorFlow训练WDL模型性能问题定位与调优
简介TensorFlow是Google研发的第二代人工智能学习系统，能够处理多种深度学习算法模型，以功能强大和高可扩展性而著称。TensorFlow完全开源，所以很多公司都在使用，但是美团点评在使用分布式TensorFlow训练WDL模型时，发现训练速度很慢，难以满足业务需求。经过对TensorFlow框架和Hadoop的分析定位，发现在数据输入、集群网络和计算内存分配等层面出现性能瓶颈。...转载 2019-07-28 12:29:12 · 572 阅读 · 0 评论 -
基于TensorFlow Serving的深度学习在线预估
一、前言随着深度学习在图像、语言、广告点击率预估等各个领域不断发展，很多团队开始探索深度学习技术在业务层面的实践与应用。而在广告CTR预估方面，新模型也是层出不穷： Wide and Deep[^1]、DeepCross Network[^2]、DeepFM[^3]、xDeepFM[^4]，美团很多篇深度学习博客也做了详细的介绍。但是，当离线模型需要上线时，就会遇见各种新的问题： 离线模型性能...转载 2019-07-28 12:31:30 · 370 阅读 · 0 评论