u013303361的专栏

前言：就2016-2022最近几年来看，很多做算法的岗位招聘信息都要求硕士学历起步，但有的也非必要条件；所以劝退第一学历非重点本科的童鞋，有些公司、岗位卡学历，其实其他研发岗也挺好的，不少公司算法跟其他研发岗是同薪的，没有必要在自己不占优的方向上死磕。以下原创皆本人自身理解以及推荐看过的部分好文，若有疏漏，不吝赐教。传统机器学习篇入门阶段还是建议从传统机器学习开始，一来因为传统机器学习相对简单，方便工程上实现并快速部署，二来是不少深度学习中的算法都是在传统机器学习的基础上改进而来的。这里着重掌

问题一：com.google.protobuf.Parser.parseFrom方法找不到。因cdh默认的spark依赖jar中protobuf-java-[version].jar版本太低，需要手动升级替换；问题二：序列化org.tensorflow.SavedModelBundle后广播各种空指针，建议直接改道addFile(modelPath,true)于executor加载模型；sparkConf.set("spark.serializer", "org.apache.spark.seri

背景：TensorFlow性能差强人意，但DeepLearning领域优势，spark则反之。TensorFlow训练好的模型在spark中调用各种小问题不断。基于spark相关的DeepLearning大致看了下面这些，各有优缺点：elephas：参考：https://github.com/maxpumperla/elephasdist-keras：参考：https://github.com/cerndb/dist-kerassparknet：低活跃，https://github.com/

步骤：一. Python环境搭建：Python官网下载Python3.7.2压缩包ZIP（注意我们一般用embeddable免安装压缩包）解压安装Python3；再安装pip：curl https://bootstrap.pypa.io/get-pip.py -o get-pip.pypython get-pip.py然后进到pycharm中使用刚下载的Python3无法pip添...

spark-shell --master local[10] --driver-memory 10G --jars s3://boomplay-noversion/EMR/jars/tensorflow-1.14.0.jar,s3://boomplay-noversion/EMR/jars/libtensorflow-1.14.0.jar,s3://boomplay-noversion/EMR/jars/libtensorflow_jni-1.14.0.jarspark-shell --jars s3:/

主体转自：https://blog.youkuaiyun.com/baymax_007/article/details/83931698，豆沙绿部分为个人认为需注意修改的。背景：相关的文章网上一传十十传百且质量良莠不齐，对于初学者晦涩难懂；我在前人的总结上加入了自己的理解稍作增删修改，以作为学习记录，如有疏漏，敬请指正。因子分解机（Factorization Machine, FM）是由Steff...