
机器学习
未竟
这个作者很懒,什么都没留下…
展开
-
分词工具Jieba使用过程记录
1、环境搭建在window下开发工程,需要用到pycharm,安装包在165的ftp下,路径 /ambari/soft/pycharm测试jieba的demo地址https://github.com/WanZhang1/cars_jieba,下载后直接用pycharm打开即可2、安装相关python包在线安装pip install jiebapip install py...原创 2019-05-28 11:12:35 · 296 阅读 · 0 评论 -
使用Streamsets实现TensorFlow的二分类
原文链接:https://streamsets.com/blog/binary-classification-of-streaming-data-using-tensorflow-to-adls-gen1-and-adls-gen2/作者:Rupal Shah2019年5月2日/StreamSets新闻在过去的十年中,数字化转型已经发展,每个系统和设备都有数字化的线索:从IT服务器...翻译 2019-05-29 11:58:52 · 391 阅读 · 0 评论 -
在Streamsets中使用TensorFlow进行实时机器学习
原文链接:https://streamsets.com/blog/machine-learning-with-tensorflow-and-kafka-in-data-collector作者:Dash Desai / 2018年10月18日 /工程,StreamSets新闻 只有当业务用户和应用程序能够从一系列来源访问原始和聚合数据并及时生成数据驱动的洞察时,才能实...翻译 2019-05-29 11:51:17 · 795 阅读 · 0 评论 -
TensorFlow环境安装
前提是安装了python3 和pip1、准备虚拟环境pip install --upgrade virtualenv# for Python 3.nvirtualenv --system-site-packages -p python3 ~/tensorflow 2、激活虚拟环境#激活虚拟环境source ~/tensorflow/bin/activate#退出虚拟环...原创 2019-05-24 11:37:01 · 115 阅读 · 0 评论 -
pyspark使用说明
PySparkPySpark 是 Spark为Python开发者提供的 API,位于 $SPARK_HOME/bin 目录,使用也非常简单,进入pyspark shell就可以使用了。子模块pyspark.sql 模块pyspark.streaming 模块pyspark.ml 包pyspark.mllib 包PySpark 提供的类pyspark.Spa...原创 2019-05-28 14:12:30 · 1456 阅读 · 1 评论 -
TensorFlow Serving安装配置
TensorFlow Serving 是一个用于机器学习模型 serving 的高性能开源库。它可以将训练好的机器学习模型部署到线上,使用 gRPC 作为接口接受外部调用。更加让人眼前一亮的是,它支持模型热更新与自动模型版本管理。这意味着一旦部署 TensorFlow Serving 后,你再也不需要为线上服务操心,只需要关心你的线下模型训练。1、安装Bazel把下面的文件放到/etc/...原创 2019-05-28 13:53:26 · 960 阅读 · 1 评论 -
Tensorflow cpu分布式原理和运行示例
1、TF分布式原理TF的实现分为了单机实现和分布式实现,在分布式实现中,需要实现的是对client,master,worker process不在同一台机器上时的支持。数据量很大的情况下,单机跑深度学习程序,过于耗时,所以需要TensorFlow分布式并行。2、TF分布式模式In-graph 模式将模型的计算图的不同部分放在不同的机器上执行。在大数据训练的情况下, 不推荐使...原创 2019-05-28 13:49:02 · 1881 阅读 · 0 评论 -
文本标注工具测试
参考文档:https://mp.weixin.qq.com/s?__biz=MzI1MjQ2OTQ3Ng==&mid=2247486935&idx=1&sn=3beffc58b1360a2891c74539e35d2295&chksm=e9e2045cde958d4ac8a69d29d511a133155eeab2c062711cec45a23037895871...转载 2019-05-28 13:42:05 · 2706 阅读 · 1 评论 -
Jieba作为分词器与Elasticsearch集成
在github上找到相关项目,https://github.com/sing1ee/elasticsearch-jieba-plugin,支持5.X版本的es。在165主机上部署的是5.2.2版本的es,下载对应的elasticsearch-jieba-plugin 版本支持两种analyzer:jieba_index: 用于索引分词,分词粒度较细jieba_search:...原创 2019-05-28 11:17:58 · 3886 阅读 · 0 评论