<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[jacobwe的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/jacobwe</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; jacobwe]]></copyright><item><title><![CDATA[hdfs常用命令 和缩写]]></title><link>https://blog.youkuaiyun.com/jacobwe/article/details/119320934</link><guid>https://blog.youkuaiyun.com/jacobwe/article/details/119320934</guid><author>jacobwe</author><pubDate>Mon, 02 Aug 2021 11:01:01 +0800</pubDate><description><![CDATA[hadoop fs -mkdir
hadoop fs -ls 缩写 hls
hadoop fs -cat 缩写 hcat
hadoop fs -du

]]></description><category></category></item><item><title><![CDATA[spark那些年]]></title><link>https://blog.youkuaiyun.com/jacobwe/article/details/115304225</link><guid>https://blog.youkuaiyun.com/jacobwe/article/details/115304225</guid><author>jacobwe</author><pubDate>Wed, 31 Mar 2021 13:56:24 +0800</pubDate><description><![CDATA[1 spark 2.3 引入了  structorstreaming , 有了 微批处理 ，和flink 实时诧异在一个基于RDD，一个基于事件编程，都有checkpoint 注册，spark的checkpoint  需要 手动设置，对于宽依赖数据，恢复数据占用消耗较大，flink只需设置check point 环境 变量。
2  spark= DAG + Executor + Driver + parallel + 算子 + checkpoint + cache (prisist)
3  spark组建：]]></description><category></category></item><item><title><![CDATA[短链系统]]></title><link>https://blog.youkuaiyun.com/jacobwe/article/details/113575455</link><guid>https://blog.youkuaiyun.com/jacobwe/article/details/113575455</guid><author>jacobwe</author><pubDate>Tue, 02 Feb 2021 22:12:25 +0800</pubDate><description><![CDATA[短链接系统的算法原理
平时我们在上网的时候，印象最深刻的有一次是短链接的服务。例如：平时在微信上看一个网页的时候，如果我们选择在浏览器打开的时候，会看到很长的URL，我们分享的时候，会看到一个很短URL，这就是本次所说的短链接的应用之一。
长链接示例：https://mp.weixin.qq.com/s?__biz=MzAxNzMwOTQ0NA==&amp;mid=2653355437&amp;idx=1&amp;sn=5901826ea638462ff71b7f2d06c6331d&amp;chksm=8]]></description><category></category></item><item><title><![CDATA[特征工程]]></title><link>https://blog.youkuaiyun.com/jacobwe/article/details/110573499</link><guid>https://blog.youkuaiyun.com/jacobwe/article/details/110573499</guid><author>jacobwe</author><pubDate>Thu, 03 Dec 2020 21:21:43 +0800</pubDate><description><![CDATA[目前业界有句话被广为流传：
“数据和特征决定了机器学习的上限，而模型与算法则是逼近这个上限而已。”
因此，特征工程做得好，我们得到的预期结果也就好。
那特征工程到底是什么呢？在此之前，我们得了解特征的类型：文本特征、图像特征、数值特征和类别特征等。我们知道计算机并不能直接处理非数值型数据，那么在我们要将数据灌入机器学习算法之前，就必须将数据处理成算法能理解的格式，有时甚至需要对数据进行一些组合处理如分桶、缺失值处理和异常值处理等。
这也就是特征工程做的事：提取和归纳特征，让算法最大程度地利用数据，从而得到更]]></description><category></category></item><item><title><![CDATA[多路召回1130]]></title><link>https://blog.youkuaiyun.com/jacobwe/article/details/110405020</link><guid>https://blog.youkuaiyun.com/jacobwe/article/details/110405020</guid><author>jacobwe</author><pubDate>Mon, 30 Nov 2020 20:34:02 +0800</pubDate><description><![CDATA[推荐多路召回是对各个模型出的结果进行混合排序的过程，以达到推荐结果曝光最大，一般会有基于用户兴趣，热点，内容的

]]></description><category></category></item><item><title><![CDATA[数据分析-补]]></title><link>https://blog.youkuaiyun.com/jacobwe/article/details/110248764</link><guid>https://blog.youkuaiyun.com/jacobwe/article/details/110248764</guid><author>jacobwe</author><pubDate>Fri, 27 Nov 2020 22:22:34 +0800</pubDate><description><![CDATA[补

]]></description><category></category></item><item><title><![CDATA[推荐11-25 模型评估]]></title><link>https://blog.youkuaiyun.com/jacobwe/article/details/110171890</link><guid>https://blog.youkuaiyun.com/jacobwe/article/details/110171890</guid><author>jacobwe</author><pubDate>Thu, 26 Nov 2020 11:20:37 +0800</pubDate><description><![CDATA[1 编程基础知识准备
函数编程环境
函数编程语言
2 推荐理论知识准备
协同过滤
基于物品的item-cf
基于用户的item-cf
FM
根据内容语意的词频
余弦相似度：数字表达后的夹角相似度
特征编码：对分类类型进行数字表示
独热编码：将类别编码 作为 数据表达，稀疏维度过高
emedding：稠密向量
向量：加入方向
矩阵：图片网格变成数字矩阵，销售省市数据变成数字矩阵
张量：
欧式距离：两点之间的距离
3 模型评估
均方根误差：两个向量平方相减开平方根
ROC：预测结果按照正，负概率排序，绘制真正率]]></description><category></category></item><item><title><![CDATA[scala的flink的使用基础知识总结]]></title><link>https://blog.youkuaiyun.com/jacobwe/article/details/110088718</link><guid>https://blog.youkuaiyun.com/jacobwe/article/details/110088718</guid><author>jacobwe</author><pubDate>Tue, 24 Nov 2020 17:55:32 +0800</pubDate><description><![CDATA[flink大多使用scala编程
函数型编程知识分类
一，类/方法/常量
1类定义
object 单例模型
trait  子类必须实现父类方法
abstract 支持结构体
2变量
var 可修改
val  是final 不支持修改
弱类型，会根据赋值变换
3 对象/函数
val person = new Person()
def 无需声明返回值
4 数据类型描述
常用数据类型
unit 空无返回
Null 空值
Noting 所有类型子类型，空值
Any 所有类型的超类
5 注意点
首字母大写
class]]></description><category></category></item><item><title><![CDATA[flink的那些事]]></title><link>https://blog.youkuaiyun.com/jacobwe/article/details/108489768</link><guid>https://blog.youkuaiyun.com/jacobwe/article/details/108489768</guid><author>jacobwe</author><pubDate>Wed, 09 Sep 2020 16:38:31 +0800</pubDate><description><![CDATA[flink开发流程
一 自定义source
1 定义实体bean
2 获取kafka里的数据
3 生成流，并对gson转换
问题：对类的定义 以及类转换
获取kafka的步骤，在测试阶段如何去自定义消费断点时间
代码：
//1.1
case class SpeedBean(rts: Long, parserData: Long, carModelId: String, receiveDate: Long, tripId: String, sn: String, sp: Int, ts: Long,
    ]]></description><category></category></item><item><title><![CDATA[AI的基本概念和数据建模调参]]></title><link>https://blog.youkuaiyun.com/jacobwe/article/details/105259095</link><guid>https://blog.youkuaiyun.com/jacobwe/article/details/105259095</guid><author>jacobwe</author><pubDate>Wed, 01 Apr 2020 23:49:03 +0800</pubDate><description><![CDATA[1监督学习：利用一组带标签的数据，学习从输入到输出的映射，然后用新数据对照映射关系得到映射结果，达到分类或回归目的
D=(X, y) X:数据 y:标签 学习X y的映射关系 算法:线性回归、逻辑回归、朴素⻉贝叶斯、决策树、随机森林林、SVM、神 经⽹网络
2 非监督学习
输入数据没有被标记，也没有确定的结果
D=(X) ⽆无标签 寻找X中的特征或规律律eg:⽤用户分层(兴趣/特征等等)，降维⼯工...]]></description><category></category></item><item><title><![CDATA[EDA]]></title><link>https://blog.youkuaiyun.com/jacobwe/article/details/105060094</link><guid>https://blog.youkuaiyun.com/jacobwe/article/details/105060094</guid><author>jacobwe</author><pubDate>Mon, 23 Mar 2020 22:44:32 +0800</pubDate><description><![CDATA[一，缺失数据概要
　1 .缺失原因 分为无意的，有意的，不存在。
2.缺失类型 ，缺失分为完全随机缺失，随机缺失，完全非随机缺失
　3.缺失处理方法
&nbsp;&nbsp;&nbsp;&nbsp;  删除法,数据补充(替换补充，拟合补充)，虚拟变量，不处理
二，缺失数据的类型
　1，缺失分为完全随机缺失，随机缺失，完全非随机缺失
　2 完全缺失- MCAR(missing completely ...]]></description><category></category></item><item><title><![CDATA[特征工程]]></title><link>https://blog.youkuaiyun.com/jacobwe/article/details/105047047</link><guid>https://blog.youkuaiyun.com/jacobwe/article/details/105047047</guid><author>jacobwe</author><pubDate>Mon, 23 Mar 2020 13:48:06 +0800</pubDate><description><![CDATA[特征工程  -brief
特征工程
一 脑图
1特征提取
统计特征
文本类型特征（tfidf,embeeding）
模型特征 stacking 特征
2单个特征处理
归一化
哑变量
分箱
数据变换
log，指数
3 多特征处理
特征交叉
二特征工程 概念
1 特征工程很重要
2 从x 到 X‘ ，衍生（升维），筛选（将维）
3从原始特征的分布抽取统计量 拟合数据标签的分布
三特征工程过程
sour...]]></description><category></category></item><item><title><![CDATA[yarn的HA配置]]></title><link>https://blog.youkuaiyun.com/jacobwe/article/details/102744469</link><guid>https://blog.youkuaiyun.com/jacobwe/article/details/102744469</guid><author>jacobwe</author><pubDate>Fri, 25 Oct 2019 15:51:05 +0800</pubDate><description><![CDATA[yarn.resourcemanager.ha.enabled
ha状态切换为自动切换
true


yarn.resourcemanager.ha.rm-ids
rm1,rm2


yarn.resourcemanager.hostname.rm1
bigdata01


yarn.resourcemanager.hostname.rm2
bigdata02


yarn.resource...]]></description><category></category></item><item><title><![CDATA[车场景音乐推荐]]></title><link>https://blog.youkuaiyun.com/jacobwe/article/details/102165284</link><guid>https://blog.youkuaiyun.com/jacobwe/article/details/102165284</guid><author>jacobwe</author><pubDate>Sat, 05 Oct 2019 19:15:31 +0800</pubDate><description><![CDATA[车场景音乐主题推荐
开车，停车，音乐的展示推荐位置。
曲目 -&gt; 流行，2轻音乐 3 古典 4 摇滚
-&gt;加入热门曲目	-》 推荐相似曲目    --》    转按曲目
艺人/专辑
1 艺人画像  2 艺人的相似度
专辑相似度–》二次推荐 （由专辑过滤到曲目）
—	协同
召回 |--    主题相似度
—	用户兴趣
— 热门
排序 1 LR+GBDT FM FRM
2 NDCG

...]]></description><category></category></item><item><title><![CDATA[hadoop&hive的重启关闭-复习一下]]></title><link>https://blog.youkuaiyun.com/jacobwe/article/details/98479022</link><guid>https://blog.youkuaiyun.com/jacobwe/article/details/98479022</guid><author>jacobwe</author><pubDate>Mon, 05 Aug 2019 10:10:31 +0800</pubDate><description><![CDATA[查看hdfs目录 结构 hdfs dfs -ls /user/hive/warehouse
报错，重启hive
ps -aux|grep hive 查找进程命令
kill -9 2323
#启动metastore服务
hive --service metastore &amp;
依然不能解决，内容ip由于没有加白名单而造成namenode  和datanode 无法通信，
重启hadoop
sbi...]]></description><category></category></item><item><title><![CDATA[mysql 导入导出dmup文件]]></title><link>https://blog.youkuaiyun.com/jacobwe/article/details/98110380</link><guid>https://blog.youkuaiyun.com/jacobwe/article/details/98110380</guid><author>jacobwe</author><pubDate>Thu, 01 Aug 2019 22:19:48 +0800</pubDate><description><![CDATA[安装szrz
root 账号登陆后执行以下命令：
yum install -y lrzsz
注意:rhel安装完系统后 直接可使用 rz sz
dump文件
mysqldump -u root -p 库命 &gt; /home/bi_back.sql
sz下载文件
rz上传目标服务器

...]]></description><category></category></item><item><title><![CDATA[python 常用函数 和 写spark sql 的udf函数]]></title><link>https://blog.youkuaiyun.com/jacobwe/article/details/97395591</link><guid>https://blog.youkuaiyun.com/jacobwe/article/details/97395591</guid><author>jacobwe</author><pubDate>Fri, 26 Jul 2019 17:12:11 +0800</pubDate><description><![CDATA[#!/usr/bin/python
udf 函数 在调取接口的时候会有并发，可以用sleep去做时间均衡～
sleep 函数的详解，程序将
print “Start : %s” % time.ctime()
time.sleep( 5 )
print “End : %s” % time.ctime()

...]]></description><category></category></item><item><title><![CDATA[重温 当年 linux 的 基础架构的 那些命令]]></title><link>https://blog.youkuaiyun.com/jacobwe/article/details/96484271</link><guid>https://blog.youkuaiyun.com/jacobwe/article/details/96484271</guid><author>jacobwe</author><pubDate>Fri, 19 Jul 2019 16:51:03 +0800</pubDate><description><![CDATA[useradd matt
passwd matt
chown -R matt /etc 对某个目录进行权限更改

]]></description><category></category></item><item><title><![CDATA[元数据管理-hive表的数据字典表信息查询-metastore 的mysql导出]]></title><link>https://blog.youkuaiyun.com/jacobwe/article/details/96424983</link><guid>https://blog.youkuaiyun.com/jacobwe/article/details/96424983</guid><author>jacobwe</author><pubDate>Thu, 18 Jul 2019 10:34:05 +0800</pubDate><description><![CDATA[尝试了 sh 脚本的导出源数据表，导出来的都需要再加工。
通过hive在mysql里的 表结构可以查询，以下是查询sql
select t.TBL_ID,c.COLUMN_NAME,COMMENT from TBLS t left join COLUMNS_V2 c on t.TBL_ID = c.CD_ID

...]]></description><category></category></item><item><title><![CDATA[spark on yarn 的运行模式]]></title><link>https://blog.youkuaiyun.com/jacobwe/article/details/95765874</link><guid>https://blog.youkuaiyun.com/jacobwe/article/details/95765874</guid><author>jacobwe</author><pubDate>Sat, 13 Jul 2019 17:46:19 +0800</pubDate><description><![CDATA[任务提交方式
sudo -u hadoop /srv/soft/spark-2.4.0-bin-hadoop2.7/bin/spark-submit 
–master yarn 
–deploy-mode cluster 
–num-executors 5 
–driver-memory 1g 
–executor-memory 1g 
–executor-cores 1 
–files /srv...]]></description><category></category></item></channel></rss>