【推荐系统篇】--推荐系统之之特征工程部分---构建训练集流程

最新推荐文章于 2022-07-12 08:30:31 发布
最新推荐文章于 2022-07-12 08:30:31 发布
阅读量345 收藏
点赞数
分类专栏： 用户行为分析系统+推荐系统+智能家居 文章标签： 推荐系统 特征工程

原文地址：https://blog.youkuaiyun.com/LHWorldBlog/article/details/80822720

一、前述

根据前文中架构，本文我们讨论线下部分构建训练集部分。因为我们离线部分模型的选择是逻辑回归，所以我们数据必须有x和y.

二、具体流程

1.从数据库中分离出我们需要的数据。

    用户行为表（日志）

   用户历史下载表

  

   商品词表（商品的基本特征）

 

2.构建训练集中的关联特征

流程：

2.构建训练集中的基本特征

 

总结：注意特征名离散化因为如果特征不离散化会造成数据之间有关系。

三、具体构建过程

1、hive建表

真实的生产场景涉及到大概五十张表的字段，这里全部简化流程，直接给出最终的三张表：

应用词表：

 

  1. CREATE EXTERNAL TABLE IF NOT EXISTS dim_rcm_hitop_id_list_ds

  2. (

  3. hitop_id STRING,

  4. name STRING,

  5. author STRING,

  6. sversion STRING,

  7. ischarge SMALLINT,

  8. designer STRING,

  9. font STRING,

  10. icon_count INT,

  11. stars DOUBLE,

  12. price INT,

  13. file_size INT,

  14. comment_num INT,

  15. screen STRING,

  16. dlnum INT

  17. )row format delimited fields terminated by '\t';

/**
  *
  *模拟app的商品词表
  hitop_id    STRING,  应用软件ID
  name        STRING,  名称
  author      STRING,   作者
  sversion    STRING,   版本号
  ischarge    SMALLINT,  收费软件
  designer    STRING,    设计者
  font        STRING,   字体
  icon_count  INT,      有几张配图
  stars       DOUBLE,   评价星级
  price       INT,      价格
  file_size   INT,      大小
  comment_num INT,      评论数据
  screen      STRING,   分辨率
  dlnum       INT       下载数量
  */

 
用户历史下载表：

CREATE EXTERNAL TABLE IF NOT EXISTS dw_rcm_hitop_userapps_dm
(
    device_id           STRING,
    devid_applist       STRING,
    device_name         STRING,
    pay_ability         STRING
)row format delimited fields terminated by '\t';
/**
  *用户下载历史表   这里没有用户这个概念   手机设备ID就是userId
  * device_id           STRING,   手机设备ID
    devid_applist       STRING,     下载过软件列表
    device_name         STRING,     设备名称
    pay_ability         STRING      支付能力
  */

 


正负例样本（用户当前行为即日志）表：

CREATE EXTERNAL TABLE IF NOT EXISTS dw_rcm_hitop_sample2learn_dm
(
    label       STRING,
    device_id   STRING,
    hitop_id    STRING,
    screen      STRING,
    en_name     STRING,
    ch_name     STRING,
    author      STRING,
    sversion    STRING,
    mnc         STRING,
    event_local_time STRING,
    interface   STRING,
    designer    STRING,
    is_safe     INT,
    icon_count  INT,
    update_time STRING,
    stars       DOUBLE,
    comment_num INT,
    font        STRING,
    price       INT,
    file_size   INT,
    ischarge    SMALLINT,
    dlnum       INT
)row format delimited fields terminated by '\t';
/**
  * 正负例样本表 = 浏览记录+标签
  label       STRING,        Y列，-1或1代表正负例    label值实际上是批处理得出来的，用户浏览了并在一段时间内下载为正例
  device_id   STRING,        设备ID
  hitop_id    STRING,        应用ID
  screen      STRING,        手机软件需要的分辨率
  en_name     STRING,        英文名
  ch_name     STRING,        中文名
  author      STRING,        作者
  sversion    STRING,        版本
  mnc         STRING,      Mobile Network Code，移动网络号码
  event_local_time STRING,   浏览的时间
  interface   STRING,
  designer    STRING,
  is_safe     INT,
  icon_count  INT,
  update_time STRING,
  stars       DOUBLE,
  comment_num INT,
  font        STRING,
  price       INT,
  file_size   INT,
  ischarge    SMALLINT,
  dlnum       INT
  */

 2、load数据

分别往三张表load数据：

商品词表：

load data local inpath '/opt/sxt/recommender/script/applist.txt' into table dim_rcm_hitop_id_list_ds;

用户历史下载表：

load data local inpath '/opt/sxt/recommender/script/userdownload.txt' into table dw_rcm_hitop_userapps_dm;

正负例样本表：

load data local inpath '/opt/sxt/recommender/script/sample.txt' into table dw_rcm_hitop_sample2learn_dm;

 

3、构建训练数据

3.1创建临时表

创建处理数据时所需要的临时表
CREATE TABLE IF NOT EXISTS tmp_dw_rcm_hitop_prepare2train_dm    
(
    device_id           STRING,
    label               STRING,
    hitop_id            STRING,
    screen              STRING,
    ch_name             STRING,
    author              STRING,
    sversion            STRING,
    mnc                 STRING,
    interface           STRING,
    designer            STRING,
    is_safe             INT,
    icon_count          INT,
    update_date         STRING,
    stars               DOUBLE,
    comment_num         INT,
    font                STRING,
    price               INT,
    file_size           INT,
    ischarge            SMALLINT,
    dlnum               INT,
    idlist              STRING,
    device_name         STRING,
    pay_ability         STRING
)row format delimited fields terminated by '\t';

最终保存训练集的表
CREATE TABLE IF NOT EXISTS dw_rcm_hitop_prepare2train_dm
(
    label                   STRING,
    features       STRING
)row format delimited fields terminated by '\t';

3.2 训练数据预处理过程

首先将数据从正负例样本和用户历史下载表数据加载到临时表中

 

  1. INSERT OVERWRITE TABLE tmp_dw_rcm_hitop_prepare2train_dm

  2. SELECT

  3. t2.device_id,

  4. t2.label,

  5. t2.hitop_id,

  6. t2.screen,

  7. t2.ch_name,

  8. t2.author,

  9. t2.sversion,

  10. t2.mnc,

  11. t2.interface,

  12. t2.designer,

  13. t2.is_safe,

  14. t2.icon_count,

  15. to_date(t2.update_time),

  16. t2.stars,

  17. t2.comment_num,

  18. t2.font,

  19. t2.price,

  20. t2.file_size,

  21. t2.ischarge,

  22. t2.dlnum,

  23. t1.devid_applist,

  24. t1.device_name,

  25. t1.pay_ability

  26. FROM

  27. (

  28. SELECT

  29. device_id,

  30. devid_applist,

  31. device_name,

  32. pay_ability

  33. FROM

  34. dw_rcm_hitop_userapps_dm

  35. ) t1

  36. RIGHT OUTER JOIN

  37. (

  38. SELECT

  39. device_id,

  40. label,

  41. hitop_id,

  42. screen,

  43. ch_name,

  44. author,

  45. sversion,

  46. IF (mnc IN ('00','01','02','03','04','05','06','07'), mnc,'x') AS mnc,

  47. interface,

  48. designer,

  49. is_safe,

  50. IF (icon_count <= 5,icon_count,6) AS icon_count,

  51. update_time,

  52. stars,

  53. IF ( comment_num IS NULL,0,

  54. IF ( comment_num <= 10,comment_num,11)) AS comment_num,

  55. font,

  56. price,

  57. IF (file_size <= 2*1024*1024,2,

  58. IF (file_size <= 4*1024*1024,4,

  59. IF (file_size <= 6*1024*1024,6,

  60. IF (file_size <= 8*1024*1024,8,

  61. IF (file_size <= 10*1024*1024,10,

  62. IF (file_size <= 12*1024*1024,12,

  63. IF (file_size <= 14*1024*1024,14,

  64. IF (file_size <= 16*1024*1024,16,

  65. IF (file_size <= 18*1024*1024,18,

  66. IF (file_size <= 20*1024*1024,20,21)))))))))) AS file_size,

  67. ischarge,

  68. IF (dlnum IS NULL,0,

  69. IF (dlnum <= 50,50,

  70. IF (dlnum <= 100,100,

  71. IF (dlnum <= 500,500,

  72. IF (dlnum <= 1000,1000,

  73. IF (dlnum <= 5000,5000,

  74. IF (dlnum <= 10000,10000,

  75. IF (dlnum <= 20000,20000,20001)))))))) AS dlnum

  76. FROM

  77. dw_rcm_hitop_sample2learn_dm

  78. ) t2

  79. ON (t1.device_id = t2.device_id);

选择右外关联的原因是因为以用户行为为基准。

这张表得到的数据就是关联特征中的数据，截图如下：


然后再利用python脚本处理格式
这里要先讲python脚本加载到hive中
ADD FILE /opt/sxt/recommender/script/dw_rcm_hitop_prepare2train_dm.py;
可以通过list files;查看是不是python文件加载到了hive

在hive中使用python脚本处理数据的原理：
Hive会以输出流的形式将数据交给python脚本，python脚本以输入流的形式来接受数据，接受来数据以后，在python中就行一系列的数据处理，处理完毕后，又以输出流的形式交给Hive，交给了hive就说明了就处理后的数据成功保存到hive表中了。

 

  1. INSERT OVERWRITE TABLE dw_rcm_hitop_prepare2train_dm

  2. SELECT

  3. TRANSFORM (t.*)

  4. USING 'python dw_rcm_hitop_prepare2train_dm.py'

  5. AS (label,features)

  6. FROM

  7. (

  8. SELECT

  9. label,

  10. hitop_id,

  11. screen,

  12. ch_name,

  13. author,

  14. sversion,

  15. mnc,

  16. interface,

  17. designer,

  18. icon_count,

  19. update_date,

  20. stars,

  21. comment_num,

  22. font,

  23. price,

  24. file_size,

  25. ischarge,

  26. dlnum,

  27. idlist,

  28. device_name,

  29. pay_ability

  30. FROM

  31. tmp_dw_rcm_hitop_prepare2train_dm

  32. ) t;

 python处理流程：

#! /usr/bin/env python
# -*- coding: utf-8 -*-
# ----------------------------------------------------------------------------
#  File Name: dw_rcm_hitop_prepare2train_dm.py
#  Copyright(C)Huawei Technologies Co.,Ltd.1998-2014.All rights reserved.
#  Describe: 
#  Input:  tmp_dw_rcm_hitop_prepare2train_dm
#  Output: dw_rcm_hitop_prepare2train_dm

import sys
import codecs
import random
import math
import time
import datetime

if __name__ == "__main__":
    random.seed(time.time())
    for l in sys.stdin:
        d = l.strip().split('\t')
        if len(d) != 21:
            continue

        # Extract data from the line
        label = d.pop(0)
        hitop_id = d.pop(0)
        screen = d.pop(0)
        ch_name = d.pop(0)
        author = d.pop(0)
        sversion = d.pop(0)
        mnc = d.pop(0)
        interface = d.pop(0)
        designer = d.pop(0)
        icon_count = d.pop(0)
        update_date = d.pop(0)
        stars = d.pop(0)
        comment_num = d.pop(0)
        font = d.pop(0)
        price = d.pop(0)
        file_size = d.pop(0)
        ischarge = d.pop(0)
        dlnum = d.pop(0)
        hitopids = d.pop(0)
        device_name = d.pop(0)
        pay_ability = d.pop(0)

        # Construct feature vector
        features = []
        features.append(("Item.id,%s" % hitop_id, 1))
        features.append(("Item.screen,%s" % screen, 1))
        features.append(("Item.name,%s" % ch_name, 1))
        features.append(("All,0",1))
        features.append(("Item.author,%s" % author, 1))
        features.append(("Item.sversion,%s" % sversion, 1))
        features.append(("Item.network,%s" % mnc, 1))
        features.append(("Item.dgner,%s" % designer, 1))
        features.append(("Item.icount,%s" % icon_count, 1))
        features.append(("Item.stars,%s" % stars, 1))
        features.append(("Item.comNum,%s" % comment_num,1))
        features.append(("Item.font,%s" % font,1))
        features.append(("Item.price,%s" % price,1))
        features.append(("Item.fsize,%s" % file_size,1))
        features.append(("Item.ischarge,%s" % ischarge,1))
        features.append(("Item.downNum,%s" % dlnum,1))

        ####User.Item and User.Item*Item
        idlist = hitopids[:-2].split(',')
        idCT = 0;
        for id in idlist:
            features.append(("User.Item*Item,%s" % id +'*'+hitop_id, 1))
            idCT += 1
            if idCT >= 3: #取每一个用户的前3个下载历史进行关联，因为用户量比较多，所以这里最后结果覆盖还是比较全的。
                break;
        features.append(("User.phone*Item,%s" % device_name + '*' + hitop_id,1))#升维
        features.append(("User.pay*Item.price,%s" % pay_ability + '*' + price,1))

        # Output

        output = "%s\t%s" % (label, ",".join([ "%s:%d" % (f, v) for f, v in features ]))#这里join相当于是把list中的数据进行拆分，然后添加上分号。
        print output

 

经过上述处理之后的数据如图所示：

 

 特征工程部分前期准备结束。

特征工程与模型调优
langzhining的博客
05-28 2224
一. 数据选择/清洗/采样1. 数据选择 主要思考哪些数据对预测结果有用 是否可以采集到 线上实时计算时获取是否便捷 如做商品推荐可从：店家、商品、用户三个角度去思考 2. 数据格式化 确定数据存储格式，关联hive表和hdfs文件夹 3. 数据清洗 该过程会花掉大部分时间，但也会使我们对业务有更为深入的理解，数据的好坏决定一个算法模型的上限 主要操作有去除脏数据，如根据常识判断的不可信数据；补齐缺
推荐系统的训练集数据
07-16
推荐系统的数据，直接可以运行，修改一下具体的文件路径就可以。
【精】【推荐系统】推荐系统-构建训练集
wssjdysf1的专栏
01-21 297
https://raw.githubusercontent.com/bjmashibing/Recommender/master/%E6%8E%A8%E8%8D%90%E7%B3%BB%E7%BB%9F02-%E6%9E%84%E5%BB%BA%E6%8E%92%E5%BA%8F%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83%E9%9B%86/%E6%8E%A8%E8%8D%90%E7%B3%BB%E7%BB%9F-%E6%9E%84%E5%BB%BA%E8%AE%AD...
「推荐系统特征工程」05. 特征构建
大数据与人工智能
07-12 805
作者 |gongyouliu编辑|gongyouliu机器学习模型一般只能处理向量化的数据，因此在建模过程中，需要将收集到的原始数据进行转化，构建出机器学习模型可以利用的数据形式（即向量化的数据），这个过程就是特征构建的过程。特征构建从收集到的机器学习模型的原始数据中提取出特征，将原始数据空间映射到新的特征空间，使得在新的特征空间中，模型能够更好地学习数据中的规律。...
【推荐系统】构建排序模型的训练集
wssjdysf1的专栏
01-28 363
【推荐实践】推荐系统中模型训练及使用流程的标准化
m0_37586850的博客
11-05 974
文章作者：梁超 腾讯 高级工程师编辑整理：Hoh Xil内容来源：DataFun AI Talk导读：本次分享的主题为推荐系统中模型训练及使用流程的标准化。在整个推荐系统中，点击率 ( CTR ) 预估模型是最为重要，也是最为复杂的部分。无论是使用线性模型还是当前流行的深度模型，在模型结构确定后，模型的迭代主要在于特征的选择及处理方面。因而，如何科学地管理特征，就显得尤为重要。在实践中，我们对特征...
零基础入门推荐系统 - 新闻推荐-数据集
03-19
本数据集是专为零基础学习者设计的入门级新闻推荐系统实践案例，旨在帮助初学者理解推荐系统的基本原理和构建流程。 首先，我们来看两个核心文件：“train_click_log.csv”和“articles.csv”。 `articles.csv` ...
Spark-MovieRecommender-推荐系统源码
最新发布
02-11
Spark-MovieRecommender推荐系统源码的实现是一个复杂的工程项目，它涉及到数据处理、特征工程、算法设计、模型训练和系统部署等多个环节。通过不断优化和创新，开发者可以构建出更加高效、精准的推荐系统，以满足日...
CLIP预训练-基于Region-based实现的Language-Image多模态大模型CLIP的预训练-附项目源码+流程教程
10-20
项目的教程部分对于初学者来说尤为重要，因为它为用户提供了从零开始构建和训练CLIP模型的指导。 项目中提供的源码是CLIP模型实现的核心，它包含了模型架构的定义、数据预处理、模型训练和验证等关键步骤。通过阅读...
Python-深度学习工程模板简化加载数据构建网络训练模型和预测样本的流程
08-11
本篇文章将深入探讨如何利用Python进行深度学习工程，并以"Python-深度学习工程模板简化加载数据构建网络训练模型和预测样本的流程"为主题，详细讲解其核心知识点。 首先，数据加载是深度学习的第一步。在Python中...
RecSys:机器学习与推荐系统RS-006期
03-11
推荐系统的设计流程通常包括数据预处理、特征工程、模型选择与训练、评估与优化。数据预处理涉及清洗、标准化和缺失值处理；特征工程则是从原始数据中提取有用的特征；模型选择根据问题性质和数据特点，可以是基于...
推荐系统——模型训练与特征保存
salmonwilliam的博客
06-23 2292
内容都是百度AIstudio的内容，我只是在这里做个笔记，不是原创。 启动训练前，复用前面章节的数据处理和神经网络模型代码 import random import numpy as np from PIL import Image import paddle.fluid as fluid import paddle.fluid.dygraph as dygraph from paddle.fluid.dygraph import Linear, Embedding, Conv2D, Pool2.
特征工程
weixin_37461330的博客
03-28 175
我们为什么要收集数据呢？因为有些问题需要靠数据找出答案。从数据到答案的路上，充满了错误的开始和死胡同，经常是有意栽花花不发，无心插柳柳成荫。数据处理工作流往往是对阶段的迭代过程。 数学模型：描述了数据不同部分之间的关系。 特征：原始数据的数值表示。 特征工程：是在给定数据、模型和任务的情况下设计出最合适的特征的过程。 特征的数量也非常重要，如果没有足够的有信心量的特征，那么模型将不能完成最...
1.内容推荐系统的建模过程和特征的选择方法
haidixipan的博客
10-16 1008
内容推荐系统的目标是将用户感兴趣的内容推荐给用户。 一、建模过程 基于内容的推荐系统面临的问题有1.怎么从海量级物料中挑出用户感兴趣的内容 2.用户最感兴趣的内容如何第一时间呈现给用户 问题1， 1）利用统一的标签体系，将用户和物料分别打标签，然后从海量视频中捞出与用户标签相符的物料 2）利用itemCF,通过用户当前与历史场景下喜欢的内容，找出他们的相关的内容 问题2， 1）将问题...
【特征工程】Hive特征工程数据处理常用命令记录
weixin_40714990的博客
08-23 736
（1）建表、查看表、删除表、向某个分区插入数据 create table if not exists table_name; desc table_name; drop table if exists table_name; insert into behavior_log_basic_100291674 partition(dt='20190705',ts='5') values ()...
推荐系统之---正负样本构造trick
热门推荐
Ricky
05-25 1万+
1.说明 在推荐系统的排序阶段，有一个很重要的步骤就是，构造用户-物品的特征向量，这个过程可以说直接决定了模型的优劣情况。正所谓 “数据是模型的上限” 。 在后续的时间会持续更新一些小trick。 2.Some Tricks 2.1 Feed流场景下构造样本 在Feed流场景下，使用曝光(展示)日志时，应该选择APP的SDK埋点的日志，而不是服务器Web接口返回的日志，因为Web接口...
【特征工程】Chp1 介绍
nemo的博客
03-03 750
机器学习使用数学模型对数据进行拟合来做预测或者帮助理解。模型以特征作为输入。特征是原始数据的一种数字表达，从数据到模型的中间过程，就是特征工程。特种工程是将原始数据提取出来，然后转换为适合机器学习模型的形式。这一步骤非常关键，优秀的特种工程可以有效的降低建模难度。虽然在建立一个ML流水线的时候，大部分时间都是用来做特种工程和数据清洗的，但是因为数据和模型的多样，很难泛化这一过程。尽管如此，本书会逐...
豆芽发根检测数据集发布，助力mask r-cnn模型训练
资源摘要信息:"豆芽发根检测数据集是一套专门为深度学习研究和应用设计的数据集，包含100张高清晰度的豆芽发根图像。这些图像旨在用于训练和测试mask r-cnn（Region-based Convolutional Neural Networks，基于区域...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值