<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[metooman的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/metooman</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; metooman]]></copyright><item><title><![CDATA[读《推荐系统算法实战 黄美灵》 第五章笔记]]></title><link>https://blog.youkuaiyun.com/metooman/article/details/100940061</link><guid>https://blog.youkuaiyun.com/metooman/article/details/100940061</guid><author>metooman</author><pubDate>Tue, 17 Sep 2019 21:12:36 +0800</pubDate><description><![CDATA[基于内容相似度的召回-word2vec ： 就是通过对物品内容的理解，比如物品的基础属性，物品的特征，得到物品的向量表达，然后通过余弦相似度计算得到相似物品的列表。
word2vec 在python和spark 中都有实现api， spark mllib feature word2vec的方法

中间有大量nlp相关的东西，和代码之后再补充
...]]></description><category></category></item><item><title><![CDATA[读《推荐系统算法实战 黄美灵》 第四章笔记]]></title><link>https://blog.youkuaiyun.com/metooman/article/details/100937347</link><guid>https://blog.youkuaiyun.com/metooman/article/details/100937347</guid><author>metooman</author><pubDate>Tue, 17 Sep 2019 19:49:41 +0800</pubDate><description><![CDATA[有离线召回和实时召回（用户的行为需要实时的召回数据，然后排序推荐，整个过程应该在100ms内）
推荐系统召回方法有以下几类：
行为相似的召回：比如用户的行为对应物品的相似物品（通常是协同过滤算法）
相似用户召回：通过用户画像和用户行为，计算相似用户，可以根据KNN来得到推荐结果
内容相似召回：通过对物品内容的理解和分析，得到物品之间的相似度，然后根据用户对物品的行为得到相似物品的推荐结果，常用的方...]]></description><category></category></item><item><title><![CDATA[读《推荐系统算法实战 黄美灵》 第二章笔记]]></title><link>https://blog.youkuaiyun.com/metooman/article/details/100936520</link><guid>https://blog.youkuaiyun.com/metooman/article/details/100936520</guid><author>metooman</author><pubDate>Tue, 17 Sep 2019 19:22:44 +0800</pubDate><description><![CDATA[推荐系统：

主要功能是召回和排序两个过程。

推荐系统的召回算法：一般使用简单的特征进行快速查询，比如根据用户点击的物品召回相似的物品，根据用户兴趣类目召回物品等
排序模块：针对召回模块的候选集进行精排，根据用户的所有标签特征，物品的特征，以及交叉组合特征，通过排序模型计算得到用户对候选集物品的评分，排序模块使用的特征比召回模块复杂，目的是计算用户精确的预测值
后排模块：在得到用户对候选集评分结...]]></description><category></category></item><item><title><![CDATA[impala 0]]></title><link>https://blog.youkuaiyun.com/metooman/article/details/81735503</link><guid>https://blog.youkuaiyun.com/metooman/article/details/81735503</guid><author>metooman</author><pubDate>Thu, 16 Aug 2018 09:36:33 +0800</pubDate><description><![CDATA[在写impala的技术文档前，先做一下工作的整理。

架构是  日志收集到kafka ，经过清洗后存放到kudu中，然后定时去做mapreduce 任务，将kudu中的老表的数据分配到hdfs 中。

其中 hdfs 是用hive来管理， 文件格式是parquet格式（列式存储）。 通过impala 去查询parquet格式文件和kudu表，做一个union all的聚合。

因此在这里我用到了i...]]></description><category></category></item><item><title><![CDATA[大数据的整理]]></title><link>https://blog.youkuaiyun.com/metooman/article/details/81735460</link><guid>https://blog.youkuaiyun.com/metooman/article/details/81735460</guid><author>metooman</author><pubDate>Thu, 16 Aug 2018 09:23:37 +0800</pubDate><description><![CDATA[主要分为，大数据运维方向，大数据数仓方向，大数据的计算方向。

接下来的4天会输出一份 impala的文档]]></description><category></category></item><item><title><![CDATA[18年专业课考试大纲]]></title><link>https://blog.youkuaiyun.com/metooman/article/details/79184110</link><guid>https://blog.youkuaiyun.com/metooman/article/details/79184110</guid><author>metooman</author><pubDate>Sat, 27 Jan 2018 23:15:08 +0800</pubDate><description><![CDATA[803计算机学科基础综合

一、 考查目标

计算机学科基础综合考试涵盖数据结构、计算机组成原理、操作系统和计算机网络等学科专业基础课程。要求考生比较系统地掌握上述专业基础课程的基本概念、基本原理和基本方法，能够综合运用所学的基本原理和基本方法分析、判断和解决有关理论问题和实际问题。

二、考试形式和试卷结构

　　1、试卷满分及考试时间

　　本试卷满分为150分，考试时间为]]></description><category></category></item><item><title><![CDATA[canal  mysql数据同步到其它数据库（oracle，hbase，redis，mongoDB等）]]></title><link>https://blog.youkuaiyun.com/metooman/article/details/79061323</link><guid>https://blog.youkuaiyun.com/metooman/article/details/79061323</guid><author>metooman</author><pubDate>Mon, 15 Jan 2018 09:55:45 +0800</pubDate><description><![CDATA[1.canal是阿里巴巴mysql数据库binlog的增量订阅&消费组件
GitHub 地址 https://github.com/alibaba/canal
下载地址 https://github.com/alibaba/canal/releases
目前最新的是 1.0.25 我在单节点上配置的是1.0.24版本canal.deployer-1.0.25.tar.gz

2.首先是m]]></description><category></category></item><item><title><![CDATA[centos7.3 CDH5.11.2安装]]></title><link>https://blog.youkuaiyun.com/metooman/article/details/79061278</link><guid>https://blog.youkuaiyun.com/metooman/article/details/79061278</guid><author>metooman</author><pubDate>Mon, 15 Jan 2018 09:51:43 +0800</pubDate><description><![CDATA[前面是按照centeros 6.5   cms5.3.6 来安装，后面是centos7.3 CDH5.11.2安装与前面不同的地方。




1.目前安装的环境：centeros 6.5   cms5.3.6  cdh5.3.6   本地虚拟机， 3节点（测试环境），主节点需要的内存多点（8G以上），使用的时root用户安装  所以再集群搭建时要注意这些方面的问题。

(linux ]]></description><category></category></item><item><title><![CDATA[大数据笔记和学习的一些思考]]></title><link>https://blog.youkuaiyun.com/metooman/article/details/78801136</link><guid>https://blog.youkuaiyun.com/metooman/article/details/78801136</guid><author>metooman</author><pubDate>Thu, 14 Dec 2017 12:01:15 +0800</pubDate><description><![CDATA[框架学习方法]]></description><category></category></item><item><title><![CDATA[spark1.3版本源码解读]]></title><link>https://blog.youkuaiyun.com/metooman/article/details/78776002</link><guid>https://blog.youkuaiyun.com/metooman/article/details/78776002</guid><author>metooman</author><pubDate>Mon, 11 Dec 2017 19:47:23 +0800</pubDate><description><![CDATA[脚本启动流程1、在主节点启动start-all.sh 调用  start-master.sh 调用 start-daemon.sh org.apache.spark.deploy.master.Master 调用 spark-class  (启动后面类的main方法)
2、start-slaves.sh 调用 start-slave.sh spark://hadoop01:7077
3、spark-]]></description><category></category></item><item><title><![CDATA[SparkWordCount源码原理]]></title><link>https://blog.youkuaiyun.com/metooman/article/details/78775959</link><guid>https://blog.youkuaiyun.com/metooman/article/details/78775959</guid><author>metooman</author><pubDate>Mon, 11 Dec 2017 19:40:32 +0800</pubDate><description><![CDATA[def textFile(
      path: String,
      minPartitions: Int = defaultMinPartitions): RDD[String] = withScope {
    assertNotStopped()
    hadoopFile(path, classOf[TextInputFormat], classOf[LongWritable]]]></description><category></category></item><item><title><![CDATA[spark-streaming]]></title><link>https://blog.youkuaiyun.com/metooman/article/details/78775951</link><guid>https://blog.youkuaiyun.com/metooman/article/details/78775951</guid><author>metooman</author><pubDate>Mon, 11 Dec 2017 19:39:19 +0800</pubDate><description><![CDATA[SparkStrem是一个可扩展，高吞吐量，实时的流式处理
可以与多个数据源整合
将数据流分批次处理，每个批次就是一个时间段（每隔一段时间处理一次）Dstream将持续性的数据流，分割成一系列RDD，每个RDD含有一段时间内的数据。
是一个离散流，是sparkstreaming的基本数据抽象，由连续的RDD构成。
Dstram之间有依赖关系窗口函数：一段时间内数据发生的变化 (像统计每小时注册量，金]]></description><category></category></item><item><title><![CDATA[sparkRDD]]></title><link>https://blog.youkuaiyun.com/metooman/article/details/78775928</link><guid>https://blog.youkuaiyun.com/metooman/article/details/78775928</guid><author>metooman</author><pubDate>Mon, 11 Dec 2017 19:37:12 +0800</pubDate><description><![CDATA[RDDRDD弹性分布式数据集，spark最基本的数据抽象，代表一个不可变，可分区，里面元素可并行计算的集合。
具有数据流模型的特点：自动容错，位置感知性调度和可伸缩性。
RDD允许用户在执行多个查询时，显示地将工作集缓存在内存中，后续的查询能重用工作集，这极大提高查询速度
特点：一系列的分区，每一个函数作用于每个分区，RDD之间是一系列依赖，如果是k-v类型的RDD，会有一个分区器，分区器就是决定把]]></description><category></category></item><item><title><![CDATA[spark的一些小项目]]></title><link>https://blog.youkuaiyun.com/metooman/article/details/78775918</link><guid>https://blog.youkuaiyun.com/metooman/article/details/78775918</guid><author>metooman</author><pubDate>Mon, 11 Dec 2017 19:35:53 +0800</pubDate><description><![CDATA[sparkwordcountobject SparkWC {
  def main(args: Array[String]): Unit = {
    //创建配置信息类，并设置应用的程序名称
    //local [2] 本地启用2个线程模拟集群运行任务
    //local [*] 本地有多少空线程就启用多少线程来运行任务
    //提交到集群运行时setmaster注释掉
    va]]></description><category></category></item><item><title><![CDATA[spark源码打包编译步骤]]></title><link>https://blog.youkuaiyun.com/metooman/article/details/78775901</link><guid>https://blog.youkuaiyun.com/metooman/article/details/78775901</guid><author>metooman</author><pubDate>Mon, 11 Dec 2017 19:34:00 +0800</pubDate><description><![CDATA[目的是当需要修改spark源码时，项目需要使用自己的编译包硬件环境：centOS6.x 64位系统，安装桌面版 内存4G以上  IDEA-linux版软件环境：JDK  Maven  Spark源码步骤：
1、解压spark源码包： tar -zxvf spark-1.6.1.tgz -C /usr/local/src
2、用maven编译源码：
    export MAVEN_OPTS="-Xm]]></description><category></category></item><item><title><![CDATA[spark-sql使用]]></title><link>https://blog.youkuaiyun.com/metooman/article/details/78775889</link><guid>https://blog.youkuaiyun.com/metooman/article/details/78775889</guid><author>metooman</author><pubDate>Mon, 11 Dec 2017 19:33:00 +0800</pubDate><description><![CDATA[spark-sql
spark-sql 在cli端的操作
使用spark-sql编程需要配置jar包
通过反射推断schema
通过structtype指定schema
通过spark-shell从mysql中加载数据
将数据保存到mysql中
hive-on=spark
spark-sqlDataFrames:分布式数据容器，像关系型数据库的二维表格。相当于一张表。除了数据外，还记录了数据的结构信]]></description><category></category></item><item><title><![CDATA[RDD的一些api的用法]]></title><link>https://blog.youkuaiyun.com/metooman/article/details/78775871</link><guid>https://blog.youkuaiyun.com/metooman/article/details/78775871</guid><author>metooman</author><pubDate>Mon, 11 Dec 2017 19:31:17 +0800</pubDate><description><![CDATA[RDD API 分为Actor类型与Transformation类型Transformation：延迟加载，并不会直接计算结果，而是记住这些应用到基础数据集上的转换动作。只有在要求返回结果给Driver的动作时（也可以说到actor方法），这些转换才会真正运行，这让spark更加有效率地运行常用的transformation apimap(func)，遍历元素通过func函数生成新的元素
filte]]></description><category></category></item><item><title><![CDATA[spark搭建]]></title><link>https://blog.youkuaiyun.com/metooman/article/details/78775856</link><guid>https://blog.youkuaiyun.com/metooman/article/details/78775856</guid><author>metooman</author><pubDate>Mon, 11 Dec 2017 19:29:59 +0800</pubDate><description><![CDATA[spark
搭建]]></description><category></category></item><item><title><![CDATA[scala语法]]></title><link>https://blog.youkuaiyun.com/metooman/article/details/78775831</link><guid>https://blog.youkuaiyun.com/metooman/article/details/78775831</guid><author>metooman</author><pubDate>Mon, 11 Dec 2017 19:26:59 +0800</pubDate><description><![CDATA[scala语法]]></description><category></category></item><item><title><![CDATA[hadoop  java  API问题总结一]]></title><link>https://blog.youkuaiyun.com/metooman/article/details/77995343</link><guid>https://blog.youkuaiyun.com/metooman/article/details/77995343</guid><author>metooman</author><pubDate>Fri, 15 Sep 2017 20:21:47 +0800</pubDate><description><![CDATA[关于副本数量的问题
副本数由客户端的参数dfs.replication决定（优先级： conf.set >  自定义配置文件 > jar包中的hdfs-default.xml）]]></description><category></category></item></channel></rss>