<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[就俩字，咱们要做精通，不做熟悉]]></title><description><![CDATA[技术是一种信仰]]></description><link>https://blog.youkuaiyun.com/github_38414650</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; github_38414650]]></copyright><item><title><![CDATA[关于“调包”，职业调包侠在此【update ++】！]]></title><link>https://blog.youkuaiyun.com/github_38414650/article/details/118155759</link><guid>https://blog.youkuaiyun.com/github_38414650/article/details/118155759</guid><author>github_38414650</author><pubDate>Thu, 24 Jun 2021 18:17:58 +0800</pubDate><description><![CDATA[1.“铲子”的经验、学习记录，不定期update【接上】
7）自编码器
结论：用来压缩特征

自编码器模型主要由编码器（Encoder）和解码器（Decoder）组成，其主要目的是将输入xxx转换成中间变量yyy，然后再将yyy转换成 x~\tilde{x}x~，然后对比输入xxx和输出x~\tilde{x}x~使得他们两个无限接近。比如建立一个MSE的loss，然后优化这个loss。
其实就是无监督的一个embedding
另外，和PCA这种思想也是，有损压缩，尽量信息损失少
8）无监督文本embeddi]]></description><category></category></item><item><title><![CDATA[关于“调包”，职业调包侠在此！]]></title><link>https://blog.youkuaiyun.com/github_38414650/article/details/117919647</link><guid>https://blog.youkuaiyun.com/github_38414650/article/details/117919647</guid><author>github_38414650</author><pubDate>Fri, 18 Jun 2021 15:38:19 +0800</pubDate><description><![CDATA[0.个人思考
做算法策略的同学，大致可以看做两类:
一类是“卖铲子”的，也就是“造轮子”的，比如Xgboost、tf、keras、pytorch等各种包；
一类是“用铲子的”，也就是“调包侠”，比如用各种轮子做“搜广推”的；
并不是说谁比谁高贵，分工尔。
有一些“用铲子”的，被人说“调包侠”，不开心了，也开始把精力分散去“抄轮子”，做一些重复性的工作，就好像明明有“sort”函数可以直接用了，得自己手写个“快排”表明自己的尊贵…
心态还是不好。
既然社会分工是提高生产效率的，那么“调包侠”就应该好好理解手头]]></description><category></category></item><item><title><![CDATA[gbdt的一个笔记【“梯度提升”是一个通用的框架，GBDT是其中一员】]]></title><link>https://blog.youkuaiyun.com/github_38414650/article/details/116943358</link><guid>https://blog.youkuaiyun.com/github_38414650/article/details/116943358</guid><author>github_38414650</author><pubDate>Tue, 18 May 2021 14:33:16 +0800</pubDate><description><![CDATA[看了这一篇，更清晰了，下面截图做点笔记。
http://aandds.com/blog/ensemble-gbdt.html

方框1，本质就是每一轮弱学习器，去拟合损失函数关于预测值的负梯度，迭代下去，损失越来越小，这里也就是核心所在了----“梯度下降”
方框2，这里最速下降，有一个步长的最优搜索。


这个地方其实在之前博客中，写gbdt、xgboost树生成流程的时候算过，并没有先算梯度、再寻优步长，而是作为一个整体算这一轮弱分类器的预测值。

...]]></description><category></category></item><item><title><![CDATA[最近一段时间做图像挖掘的3个经验mark一下【人脸、全图、形体】]]></title><link>https://blog.youkuaiyun.com/github_38414650/article/details/115733741</link><guid>https://blog.youkuaiyun.com/github_38414650/article/details/115733741</guid><author>github_38414650</author><pubDate>Thu, 15 Apr 2021 18:49:59 +0800</pubDate><description><![CDATA[1.判断一个人颜值好看不好看，截取“人脸部分”去训练模型，比整图要好。（这里贴下seetaface取人脸特征的脚本，部分函数是小伙伴写的）
关键词：颜值，人脸部分
import os
os.environ["CUDA_VISIBLE_DEVICES"]="-1" #不使用gpu
import tensorflow as tf

#配置seetaface
sys.path.append('./seetaface')
from seetaface.api import *
init_mask = FACE_DE]]></description><category></category></item><item><title><![CDATA[很久以前写的Xgboost有一些没写好，现在填坑_part1【xgboost是gbdt升级版】]]></title><link>https://blog.youkuaiyun.com/github_38414650/article/details/109903170</link><guid>https://blog.youkuaiyun.com/github_38414650/article/details/109903170</guid><author>github_38414650</author><pubDate>Mon, 23 Nov 2020 14:53:41 +0800</pubDate><description><![CDATA[无论是gbdt还是xgboost，以前我纠结拟合的是啥，后来才明白，优化才是核心。优化是核心1.先看GBDT功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入
优化是核心
GBDT也好，XGBOOST也好，目标就是寻找多棵树的预测结果]]></description><category></category></item><item><title><![CDATA[我的轮子学习-part（2020-11）【人脸识别、物体检测】]]></title><link>https://blog.youkuaiyun.com/github_38414650/article/details/109625082</link><guid>https://blog.youkuaiyun.com/github_38414650/article/details/109625082</guid><author>github_38414650</author><pubDate>Mon, 16 Nov 2020 15:19:26 +0800</pubDate><description><![CDATA[我的机器学习（这次是搬轮子）-part（2020-3）
文章目录前言一、1号轮子-人脸识别相关1.基于特征脸的传统方法2.基于深度学习的炼丹二、2号轮子-物体检测object dection1.思路1-RCNN系列2.思路2-YOLO系列三、轮子2人体 segmention+皮肤检测四、轮子2 操作web看开发机上面的图片开发五、Human activity recognition总结
前言
0. 以下两点内容与技术无关，关于自我认知而已
1. 越来越清晰的自我定位：桥梁工作

那些造优秀轮子的是大佬，比如]]></description><category></category></item><item><title><![CDATA[我的机器学习-part（2020-2）【tf-server】]]></title><link>https://blog.youkuaiyun.com/github_38414650/article/details/108982507</link><guid>https://blog.youkuaiyun.com/github_38414650/article/details/108982507</guid><author>github_38414650</author><pubDate>Sat, 10 Oct 2020 15:28:50 +0800</pubDate><description><![CDATA[我的机器学习part（记录2020一次实践）0.引言1.环境配置：centos环境2.模型训练：resnet50、dt3.服务部署：docker、tf-server、tornado5.结语
0.引言
什么炫酷的模型都是手段而已，解决问题才是目的。
国庆加班，做了个紧急项目，今天主要是记录机器学习在解决实际问题中的这一次经历。
主要部分：
（1）环境配置：这部分主要是同事来做，自己家里的Ubuntu是自己装的，公司的centos安装不一样，此处时间紧，分工配合，同事主配环境，我主作数据集、训练模型、搭建部分服]]></description><category></category></item><item><title><![CDATA[我的机器学习-part（2020-1）【有监督/无监督、Spark+BigDL】]]></title><link>https://blog.youkuaiyun.com/github_38414650/article/details/107252708</link><guid>https://blog.youkuaiyun.com/github_38414650/article/details/107252708</guid><author>github_38414650</author><pubDate>Fri, 28 Aug 2020 13:25:56 +0800</pubDate><description><![CDATA[回望过去+看未来1.过去经历1.1 问题抽象1.2 特征工程2.强化学习
1.过去经历
个人理解，抛砖引玉，另外为了通俗，难免不严谨，会其意。
大致分为有监督学习（如回归、分类）、无监督学习（如聚类、降维）、强化学习这3支，强化学习我暂时还没有亲身去玩，就不乱说，后续补上。
首先，回归和分类其实一个问题，比如预测房价0~100000的某一个数值，你把房价切成几个区间，预测在哪个区间，就实现了回归和分类的转化。
然后，实际中大部分问题是一个分类/回归问题，拿分类举例，你现在要对某产品的user进行使用目的分类]]></description><category></category></item><item><title><![CDATA[几个例子，立点flag【python爬虫、多进程、spark-ml库等例子】]]></title><link>https://blog.youkuaiyun.com/github_38414650/article/details/106855246</link><guid>https://blog.youkuaiyun.com/github_38414650/article/details/106855246</guid><author>github_38414650</author><pubDate>Fri, 19 Jun 2020 15:27:13 +0800</pubDate><description><![CDATA[内心有点难受，还得想办法加油，人啊，就一辈子哟序言例子1 爬数据-python爬虫例子2.多进程multiprocessing例子3. spark里面ml库随便结尾
序言
1.首先还是那句话，如有雷同，当我抄你的。
2.疫情影响，想出去玩也不行，有点抑郁。
3.19年年底，换工作了，大的硬核技术上还没啥进阶的，还是工程落地解决实际问题为主了，多点经验罢了，这些事儿多少有丢丢boring。
4.主要就是，利用机器学习思路来解决产品中实际的问题，比如预测流失、活跃、投诉等等，无非就是拆解问题、找特征、构建样本、]]></description><category></category></item><item><title><![CDATA[发散阅读、拓宽思路【PageRank、Tf-Idf、协同过滤、分布式训练、StyleTransfer、Node2vec】]]></title><link>https://blog.youkuaiyun.com/github_38414650/article/details/93141911</link><guid>https://blog.youkuaiyun.com/github_38414650/article/details/93141911</guid><author>github_38414650</author><pubDate>Mon, 16 Sep 2019 16:01:32 +0800</pubDate><description><![CDATA[刚工作一年，做的内容算是比较单一，基本是NLP相关，当然主流的算法、模型还是基本都了解，偶尔发散的看一些东西，算是留个印象，日积月累，可能以后会用到或者有所启发。PageRank+Tf-Idf+协同过滤+分布式训练+StyleTransfer+Node2vec。]]></description><category></category></item><item><title><![CDATA[通俗易懂系列机器学习之手撕bert【bert论文、源码、实践都被我撸了】]]></title><link>https://blog.youkuaiyun.com/github_38414650/article/details/89467746</link><guid>https://blog.youkuaiyun.com/github_38414650/article/details/89467746</guid><author>github_38414650</author><pubDate>Sat, 24 Aug 2019 09:29:37 +0800</pubDate><description><![CDATA[优质的fine-tune工具

]]></description><category></category></item><item><title><![CDATA[短文一篇：坐标下降/K-means算法收敛性]]></title><link>https://blog.youkuaiyun.com/github_38414650/article/details/99424268</link><guid>https://blog.youkuaiyun.com/github_38414650/article/details/99424268</guid><author>github_38414650</author><pubDate>Tue, 13 Aug 2019 14:20:14 +0800</pubDate><description><![CDATA[查了一下网上的收敛性证明，看的我头大，我觉得原因就是那些博客都是抄来抄去的，理解的也不一定到位。
此处来简单清晰的证明一下，原理就用数学上的单调收敛定理之一：举个例子，如果一个实数序列是递减且有下界，则它的最大下界就是它的极限。
单调收敛定理的证明，数学教材上（数理统计相关的书应该有）。
换句话说，只要证明迭代算法：1）单调；2）有界，就可以说明目标函数最终一定会收敛，当然收敛数值不一定是这个界。...]]></description><category></category></item><item><title><![CDATA[常见linux操作、spark上切词方式等]]></title><link>https://blog.youkuaiyun.com/github_38414650/article/details/93141806</link><guid>https://blog.youkuaiyun.com/github_38414650/article/details/93141806</guid><author>github_38414650</author><pubDate>Wed, 24 Jul 2019 17:21:55 +0800</pubDate><description><![CDATA[常见linux操作、spark上切词方式等。
自己的笔记本，文档不断更新，实习小同学自取。]]></description><category></category></item><item><title><![CDATA[机器学习通俗易懂系列之trainingData]]></title><link>https://blog.youkuaiyun.com/github_38414650/article/details/97002879</link><guid>https://blog.youkuaiyun.com/github_38414650/article/details/97002879</guid><author>github_38414650</author><pubDate>Tue, 23 Jul 2019 20:17:02 +0800</pubDate><description><![CDATA[有监督学习的样本，在尽量少人工标注的情况下，利用各种半监督、无监督算法进行样本标记；在有了labeled data之后，根据测试集表现，调整labeled data比例/清洗label，生成优质训练集]]></description><category></category></item><item><title><![CDATA[机器学习通俗易懂系列之Word2vec]]></title><link>https://blog.youkuaiyun.com/github_38414650/article/details/90522185</link><guid>https://blog.youkuaiyun.com/github_38414650/article/details/90522185</guid><author>github_38414650</author><pubDate>Wed, 17 Jul 2019 15:34:08 +0800</pubDate><description><![CDATA[本来工作后比较懒，很久不写博客了，因为实习小同学时不时问到一些问题，网上的资料比较分散、不够通俗透彻，决定重新开启这个系列，这一篇是word2vec]]></description><category></category></item><item><title><![CDATA[文本分类+机器学习浅谈？]]></title><link>https://blog.youkuaiyun.com/github_38414650/article/details/86174627</link><guid>https://blog.youkuaiyun.com/github_38414650/article/details/86174627</guid><author>github_38414650</author><pubDate>Fri, 18 Jan 2019 16:25:43 +0800</pubDate><description><![CDATA[0.引言
开门老话：如有雷同算我抄你的，私信；我就是给自己做个笔记，顺带如果能帮到别人算积德行善；文章通俗风格，难免不严谨，大家意会即可；严谨的可以去找论文推导公式看书.…
现在，随处可见的深度学习课程，一抓一大把的github与博客，什么CNN、LSTM、GRU、Attention，各种“几行实现人脸识别”，诶，我说，导包复制粘贴谁还不会呢。个人深感现在学习成本低，浮躁心理明显，抓个PM让ta看...]]></description><category></category></item><item><title><![CDATA[spark使用中的一些总结-进阶版]]></title><link>https://blog.youkuaiyun.com/github_38414650/article/details/80910677</link><guid>https://blog.youkuaiyun.com/github_38414650/article/details/80910677</guid><author>github_38414650</author><pubDate>Wed, 04 Jul 2018 14:50:10 +0800</pubDate><description><![CDATA[太久没写博客了，我，回来了。

忙完毕业，写点啥呢，写点实习中的东西吧，主要关于spark的使用相关，相当于之前spark-scala的进阶版？惯例，我主要是做个笔记自己看的，如有雷同，算我抄你的。


rdd与dataframe选哪个用
dataframe的几个操作
一些环境参数的配置与submit的问题
一些语法细节的坑




rdd与dataframe

先说重点：尽量使用datafram...]]></description><category></category></item><item><title><![CDATA[好久不更新博客，关于spark-scala上开发的总结]]></title><link>https://blog.youkuaiyun.com/github_38414650/article/details/78634663</link><guid>https://blog.youkuaiyun.com/github_38414650/article/details/78634663</guid><author>github_38414650</author><pubDate>Sat, 25 Nov 2017 22:08:38 +0800</pubDate><description><![CDATA[很久一段时间没有更新博客了，因为实验室项目（我真不是学cs的）的原因耽搁了一阵，主要在实习的地方做一个基于spark的大流量自然语言处理的项目，这里主要是一些注意事项和总结，不分先后：1. 对于共享变量举个例子，你的一个模型是LR或者是其他，那么矩阵系数w是一个大矩阵，如何将这个矩阵放到每个executor，方便计算和处理，目前我是用的是driver读入数据，然后broadcast，然后在map里面]]></description><category></category></item><item><title><![CDATA[一点笔记，好记性不如烂笔头]]></title><link>https://blog.youkuaiyun.com/github_38414650/article/details/78177447</link><guid>https://blog.youkuaiyun.com/github_38414650/article/details/78177447</guid><author>github_38414650</author><pubDate>Sun, 08 Oct 2017 20:57:42 +0800</pubDate><description><![CDATA[最近电脑的硬件革新了一波，但还是留瞎了windows系统，因为word、visio、mathtype有时候得用，毕竟有时候合作的人还是windows为主，好记性不如烂笔头（致敬炅炅）
硬件 
1）cpu有内置显卡，主板上插入独显后记得设置显卡优先级； 
2）买cpu的时候注意和主板、内存的搭配，如针脚、支持内存频率等等； 
3）同样的textCNN的代码，在我更新一波主板（12年的板子换成msi z]]></description><category></category></item><item><title><![CDATA[linux下xgboost、python版本、tensorflow_GPU的一些小事情]]></title><link>https://blog.youkuaiyun.com/github_38414650/article/details/78077076</link><guid>https://blog.youkuaiyun.com/github_38414650/article/details/78077076</guid><author>github_38414650</author><pubDate>Sun, 24 Sep 2017 15:23:03 +0800</pubDate><description><![CDATA[最近要搬实验室的砖，博客不怎么更新，可能到11月继续开始跟新，这次就说说最近的一些小问题，python版本的事情，和xgboost和tensorflow安装相关；还有tensorflow上GPU的使用]]></description><category></category></item></channel></rss>