
高效工具
ifenghao
用数据感知世界
展开
-
深度模型spark部署
1、深度模型为什么需要部署在spark? 现在很多依赖于TensorFlow、PyTorch等深度学习框架训练的模型,都需要GPU的支持。训练好以后需要部署上线,如果是在线模块就需要将模型部署在serving上,但如果是离线模块且预测数据量较大的情况,使用GPU去预测速度就显得比较慢。这时就可以考虑将深度模型部署在spark上,利用深度学习框架的CPU计算方式。尽管CPU的计算相比GPU慢很多,但spark的并发计算能力是远超过GPU的,通过扩大和缩小spark使用的partition数量,就可以自由调整整原创 2021-04-16 12:07:09 · 1628 阅读 · 1 评论 -
Markdown 简明语法介绍
Markdown 简明语法介绍Markdown 简明语法介绍 段落与换行 斜体和粗体 内容目录 标题 区块引用 列表 代码区块 1 行内代码区块 2普通代码区块 3 增强代码区块 上标注脚 分隔线 删除线 链接 图片 LaTeX 公式 表格 1. 段落与换行一个 Markdown 段落是由一个或多个连续的文本行组成,它的上下要有一个以上的空行(也可以包含空格和制表符等),可以插入换行符。普通段落不该原创 2016-04-09 19:52:04 · 989 阅读 · 0 评论 -
Git常用操作
1. 安装与配置Linux系统$ sudo apt-get install gitWindows系统 从官网下载[https://git-for-windows.github.io/][1], 用Git bash操作。配置提交时相关联的用户名和邮箱$ git config --global user.name [name] $ git config --global user.email [ema原创 2016-09-24 16:12:55 · 386 阅读 · 0 评论 -
高性能Numpy/Scipy:使用Intel MKL和Intel Compilers
1.获取Intel Parallel Studio XEIntel免费软件工具提供免费的软件包,其中包括完整的Intel编译器和计算库及其激活码,软件和激活码一一对应。注意需要使用教育邮箱注册,否则不予通过。2. 安装过程解压后在终端进入./install_GUI.sh,按照提示进行就好,其中激活的步骤需要联网,且最多只能激活5次。最后整个库会安装在\opt\intel路径下,重要的是配置环境变量。原创 2016-12-17 11:48:26 · 3363 阅读 · 0 评论