孟知之的搬砖填坑历险记

文章目录笔记业务流程迭代中的模型改进1.损失函数的选择2.业务规则融入模型3.缺失值处理长尾问题优化工程开发实践1.训练实践部分整体训练流程数据并行训练方式TF模型集成预处理2.TF模型线上预测笔记今天在美团技术博客上学习了一下送达时间的预测模型工程化，记录一下。ETA（Estimated Time of Arrival，“预计送达时间”），即用户下单后，配送人员在多长时间内将外卖送达到用户...

文章目录1.prophet简介2.安装fbprophet3.prophet的参数设置3.1增长函数的设置3.2变点的设置3.3周期性的设置3.4节假日的设置4.画图1.prophet简介prophet是facebook开源的一是序列预测模型，算法本身可以处理掉异常值和部分缺失值的情况，并可以通过广义的相性模型，分成周期项，趋势项，剩余项和节假日效应四项。模型的输入数据有固定的格式，df[‘d...

使用英特尔MKl优化，原理分为三种：1.算子层面上可以做融合2.在数据流图上面可以做优化整合3.在推理侧的时候，可以把Batch Nomalization（过减小内部协变量偏移来加速深度神经网络训练）给进行一个算子折叠。...

一般在TF serving 在推理测进行控制，可以限制模型大小，可以限制请求数量，同时可以控制排队数量，也可以限制整个的访问数量 。下面是没有对GPU进行限制的，程序会将GPU占满。$ nohub tensorflow_model_server \ --rest_api_port=8501 \ --model_name=mobilenet \ --model_base_path="...

文章目录1 Tensorflow模型是什么？1.1 Meta graph1.2 Checkpoint file2 保存一个Tensorflow模型3 导入模型3.1 加载网络4 如何恢复任何一个预训练好的模型1 Tensorflow模型是什么？Tensorflow模型主要包含网络的设计或者图（graph），和我们已经训练好的网络参数的值。因此Tensorflow模型有两个主要的文件：1.1 ...

文章目录1. SVM1.1 优点1.2 缺点1.3 适用场景2. 朴素贝叶斯2.1 优点2.2 缺点2.3 适用场景3. 树模型1. SVM1.1 优点SVM在解决小样本，非线性以及高维特征中表现出许多特有的优势。SVM基于有限的样本信息在模型的复杂度和模型准确性之间寻求最佳折中，以获得最好的预测效果。1.2 缺点在数据量大的情况下运算复杂度高，不适合处理过大的数据。模型稳定性...

文章目录1. 概率分布是什么2. 正态分布意味着什么2.1 中心极限定理2.2 重要性3. 正态分布的变量有哪些4.python来检验数据的分布5.特别注意1. 概率分布是什么我们可以投10000次骰子，每次都有6种可能的取值，我们可以将类别数设为6，然后我们就可以开始对每一类出现的次数进行计数了。我们可以画出上述结果的曲线，该曲线就是概率分布曲线。目标变量每个取值的可能性就由其概率分布决定。...

1. 业务沟通与业务确认（1）哪些数据（2）想做什么事情（3）之前是怎么做的（4）之前有什么不满意的地方（5）能不能用机器学习方法来做（6）如何转换机器学习问题以及优先级（*）（7）训练出来的模型怎么用（8）期望达到什么样的效果（确定业务目标）2. 业务问题转换机器学习问题（1）是否可以用机器学习方法来做（2）如何设计开发节奏（3）最终产品的检...

文章目录特征工程1.特征无量纲化1.1归一化 (Normalization)1.2标准化(Standardization)1.3正则化2.生成交叉项3.对数的数据变换4.处理缺失值4.1计算缺失值个数4.2删除有缺失值的数据4.3填充缺失值5.通过正则提取字符串里的指定内容6.字典批量修改变量值7.独热编码7.1数值型类别变量7.2字符串型类别变量8.分桶9.处理数据倾斜9.1观察数据集中数据是否...

特征工程的方法总概