<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[lz你ps的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/qq_25202521</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_25202521]]></copyright><item><title><![CDATA[推荐系统-特征工程]]></title><link>https://blog.youkuaiyun.com/qq_25202521/article/details/110595343</link><guid>https://blog.youkuaiyun.com/qq_25202521/article/details/110595343</guid><author>qq_25202521</author><pubDate>Thu, 03 Dec 2020 23:38:42 +0800</pubDate><description><![CDATA[目录1. 制作与用户历史行为相关特征2. 用户相关特征3. 用户的系列习惯
1. 制作与用户历史行为相关特征
对于每个用户， 获取最后点击的N个商品的item_id，
对于该用户的每个召回商品， 计算与上面最后N次点击商品的相似度的和(最大， 最小，均值)， 时间差特征，相似性特征，字数差特征，与该用户的相似性特征
# 下面基于data做历史相关的特征
def create_feature(users_id, recall_list, click_hist_df,  articles_info, artic]]></description><category></category></item><item><title><![CDATA[推荐系统-多路召回]]></title><link>https://blog.youkuaiyun.com/qq_25202521/article/details/110411411</link><guid>https://blog.youkuaiyun.com/qq_25202521/article/details/110411411</guid><author>qq_25202521</author><pubDate>Mon, 30 Nov 2020 23:48:10 +0800</pubDate><description><![CDATA[目录1. 含义2. 定义多路召回字典3. 召回效果评估函数4. 计算相似性矩阵5. 召回
1. 含义
指采用不同的策略、特征或简单模型，分别召回一部分候选集，然后把候选集混合在一起供后续排序模型使用。
示意图：

2. 定义多路召回字典
# 定义一个多路召回的字典，将各路召回的结果都保存在这个字典当中
user_multi_recall_dict =  {'itemcf_sim_itemcf_recall': {},
                           'embedding_sim_ite]]></description><category></category></item><item><title><![CDATA[推荐新闻-数据分析]]></title><link>https://blog.youkuaiyun.com/qq_25202521/article/details/110249425</link><guid>https://blog.youkuaiyun.com/qq_25202521/article/details/110249425</guid><author>qq_25202521</author><pubDate>Fri, 27 Nov 2020 23:01:15 +0800</pubDate><description><![CDATA[目录1. 目的2. 流程3. 数据探索4. 数据分析5. 总结
1. 目的
数据分析的目的是解数据集的整体情况，了解每个字段的含义，了解特征之间的关联性，以便更好地做特征工程工作。
2. 流程
主要分为数据读取、数据预处理、数据浏览和数据分析等过程。下面重点看数据浏览和数据分析部分。
3. 数据探索
用户点击日志文件_训练集

用户点击日志文件_测试集

新闻文章信息数据表

新闻文章embedding向量表示

4. 数据分析
用户重复点击

用户点击环境变化分析

省略若干图
用户点击新闻数量的分布

]]></description><category></category></item><item><title><![CDATA[推荐新闻-赛题理解]]></title><link>https://blog.youkuaiyun.com/qq_25202521/article/details/110149886</link><guid>https://blog.youkuaiyun.com/qq_25202521/article/details/110149886</guid><author>qq_25202521</author><pubDate>Wed, 25 Nov 2020 23:12:05 +0800</pubDate><description><![CDATA[目录1. 赛题简介2. 数据概况3. 评分方式4. 赛题理解
1. 赛题简介
该赛题立足于真实新闻浏览数据，根据用户历史浏览记录，预测他点击的下一篇文章。
2. 数据概况
一共30用户的真实浏览数据，包括近300万次点击和36万篇不同文章。20万用户的日志为训练集，5万测试集，5万验证集。
3. 评分方式

赛题要求给出5篇文章作为最后的结果。如果用户最后点击的文章就是第一篇文章，那么s(user,1)=1,其他s(user,2-4)=0，那么结果是1。如果用户最后点击的文章是第二篇文章那么s(user,2]]></description><category></category></item><item><title><![CDATA[逻辑回归]]></title><link>https://blog.youkuaiyun.com/qq_25202521/article/details/108135536</link><guid>https://blog.youkuaiyun.com/qq_25202521/article/details/108135536</guid><author>qq_25202521</author><pubDate>Thu, 20 Aug 2020 22:29:06 +0800</pubDate><description><![CDATA[文章目录1. 逻辑回归知识点2. 鸢尾花逻辑回归实例
1. 逻辑回归知识点

逻辑回归是一种分类算法
使用Sigmoid函数，函数形式为：
log(z)=11+e−z
log(z) =\frac{1}{1+e^{-z}}
log(z)=1+e−z1​
函数图像如下：

当z≥0时，y≥0.5，分类为1，当 z&lt;0时，y&lt;0.5，分类为0

2. 鸢尾花逻辑回归实例
鸢花数据（iris）一共包含5个变量，其中4个特征变量，1个目标分类变量。

目标变量为 花的类别 其都属于鸢尾属下的三个亚属，分别]]></description><category></category></item><item><title><![CDATA[RFM模型聚类分析客户价值]]></title><link>https://blog.youkuaiyun.com/qq_25202521/article/details/108029556</link><guid>https://blog.youkuaiyun.com/qq_25202521/article/details/108029556</guid><author>qq_25202521</author><pubDate>Sat, 15 Aug 2020 22:53:20 +0800</pubDate><description><![CDATA[文章目录1. 导入工具库2. 构建RFM模型3. K-Means聚类分析4. 结论
1. 导入工具库
import pandas as pd
from math import ceil
from datetime import datetime
from sklearn.cluster import KMeans

2. 构建RFM模型
读取数据
df = pd.read_excel('原始数据.xlsx',index_col='用户编码')
df.head()


提取数据日期
# 提数日为2016年7月]]></description><category></category></item><item><title><![CDATA[Python数据分析及可视化——以拉勾网数据分析岗位为例]]></title><link>https://blog.youkuaiyun.com/qq_25202521/article/details/107982146</link><guid>https://blog.youkuaiyun.com/qq_25202521/article/details/107982146</guid><author>qq_25202521</author><pubDate>Thu, 13 Aug 2020 21:20:00 +0800</pubDate><description><![CDATA[文章目录1. 导入工具库2. 读取文件3. 岗位城市分布图4. 学历要求百分图5. 企业词云图6. 各城市平均薪资对比图
对上篇文章（点击回顾）爬取的拉勾网数据分析岗位招聘信息进行数据分析和可视化操作。
1. 导入工具库
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib
from wordcloud import WordCloud

2. 读取文件
# 添加表头，保存为新文件（避免污染元数据）
df = pd.rea]]></description><category></category></item><item><title><![CDATA[利用Python爬取拉勾网招聘信息]]></title><link>https://blog.youkuaiyun.com/qq_25202521/article/details/107964515</link><guid>https://blog.youkuaiyun.com/qq_25202521/article/details/107964515</guid><author>qq_25202521</author><pubDate>Wed, 12 Aug 2020 20:23:17 +0800</pubDate><description><![CDATA[文章目录第一步：导入工具库第二步：爬取数据第三步：解析数据第四步：保存数据完整代码结果

第一步：导入工具库
import requests,json,csv,time

第二步：爬取数据
因为拉勾使用异步加载方式对数据进行了封装，所以不能直接用requests库的get或post方法，而是使用session会话。
构建session会话
session = requests.session()

构建请求头
headers = {
    'referer' : 'https://www.lagou.co]]></description><category></category></item><item><title><![CDATA[文件和文件系统]]></title><link>https://blog.youkuaiyun.com/qq_25202521/article/details/107861805</link><guid>https://blog.youkuaiyun.com/qq_25202521/article/details/107861805</guid><author>qq_25202521</author><pubDate>Fri, 07 Aug 2020 15:02:51 +0800</pubDate><description><![CDATA[目录1. 文件操作2. OS模块
1. 文件操作
打开文件
open(file, mode='r', buffering=None, encoding=None, errors=None, newline=None, closefd=True)

file: 必需，文件路径（相对或者绝对路径）。
mode: 可选，文件打开模式
buffering: 设置缓冲
encoding: 一般使用utf8
errors: 报错级别
newline: 区分换行符

打开一个文件，并返回文件对象，如果该文件无法被打开，会]]></description><category></category></item><item><title><![CDATA[模块]]></title><link>https://blog.youkuaiyun.com/qq_25202521/article/details/107853035</link><guid>https://blog.youkuaiyun.com/qq_25202521/article/details/107853035</guid><author>qq_25202521</author><pubDate>Fri, 07 Aug 2020 00:44:37 +0800</pubDate><description><![CDATA[目录1. 模块介绍2. datatime模块
1. 模块介绍
模块是一个包含所有人为定义函数和变量的文件，其后缀名是.py。

容器 -&gt; 数据的封装
函数 -&gt; 语句的封装
类 -&gt; 方法和属性的封装
模块 -&gt; 程序文件

创建一个 hello.py 文件
# hello.py
def hi():
    print('Hi everyone, I love lsgogroup!')

命名空间因为对象的不同，也有所区别，可以分为如下几种：

内置命名空间（Built-in Na]]></description><category></category></item><item><title><![CDATA[类，对象和魔法方法]]></title><link>https://blog.youkuaiyun.com/qq_25202521/article/details/107815887</link><guid>https://blog.youkuaiyun.com/qq_25202521/article/details/107815887</guid><author>qq_25202521</author><pubDate>Wed, 05 Aug 2020 19:37:20 +0800</pubDate><description><![CDATA[目录1. 类和对象2. 魔法方法
1. 类和对象
封装：信息隐蔽技术。
class Turtle:  # Python中的类名约定以大写字母开头
    """关于类的一个简单例子"""
    # 属性
    color = 'green'
    weight = 10
    legs = 4
    shell = True
    mouth = '大嘴'

    # 方法
    def climb(self):
        print('我正在很努力的向前爬...')

    def]]></description><category></category></item><item><title><![CDATA[函数和匿名表达式]]></title><link>https://blog.youkuaiyun.com/qq_25202521/article/details/107753358</link><guid>https://blog.youkuaiyun.com/qq_25202521/article/details/107753358</guid><author>qq_25202521</author><pubDate>Sun, 02 Aug 2020 23:37:16 +0800</pubDate><description><![CDATA[目录1. 函数2. 匿名表达式
1. 函数
函数的定义
def functionname(parameters):
    "函数_文档字符串"
    function_suite
    return [expression]

函数的参数
位置参数：
def functionname(arg1):
    "函数_文档字符串"
    function_suite
    return [expression]

默认参数：
def printinfo(name, age=8):
    print(]]></description><category></category></item><item><title><![CDATA[字典、集合和序列]]></title><link>https://blog.youkuaiyun.com/qq_25202521/article/details/107723193</link><guid>https://blog.youkuaiyun.com/qq_25202521/article/details/107723193</guid><author>qq_25202521</author><pubDate>Fri, 31 Jul 2020 23:44:22 +0800</pubDate><description><![CDATA[目录1. 字典2. 集合
1. 字典
创建和访问字典
brand = ['李宁', '耐克', '阿迪达斯']
slogan = ['⼀切皆有可能', 'Just do it', 'Impossible is nothing']
print('耐克的⼝号是:', slogan[brand.index('耐克')]) 
# 耐克的⼝号是: Just do it

# 法1
dic = {'李宁': '⼀切皆有可能', '耐克': 'Just do it', '阿迪达斯': 'Impossible is not]]></description><category></category></item><item><title><![CDATA[列表、元组和字符串]]></title><link>https://blog.youkuaiyun.com/qq_25202521/article/details/107646586</link><guid>https://blog.youkuaiyun.com/qq_25202521/article/details/107646586</guid><author>qq_25202521</author><pubDate>Tue, 28 Jul 2020 23:36:56 +0800</pubDate><description><![CDATA[目录1. 列表2. 元组3. 字符串
1. 列表
由于list的元素可以是任何对象，因此列表中所保存的是对象的指针。即使保存一个简单的[1,2,3]，也有3个指针和3个整数对象。
x = [a] * 4操作中，只是创建4个指向list的引用，所以一旦a改变，x中4个a也会随之改变。
x = [[0] * 3 for row in range(4)]
print(x, type(x))
# [[0, 0, 0], [0, 0, 0], [0, 0, 0], [0, 0, 0]] &lt;class 'list]]></description><category></category></item><item><title><![CDATA[异常处理]]></title><link>https://blog.youkuaiyun.com/qq_25202521/article/details/107586776</link><guid>https://blog.youkuaiyun.com/qq_25202521/article/details/107586776</guid><author>qq_25202521</author><pubDate>Sat, 25 Jul 2020 23:12:46 +0800</pubDate><description><![CDATA[目录1.  try - except 语句2. try - except - finally 语句3. try - except - else 语句4.  raise语句5. 练习题
1.  try - except 语句
try:
    检测范围
except Exception[as reason]:
    出现异常后的处理代码

实例：
try:
    f = open('test.txt')
    print(f.read())
    f.close()
except OSError as]]></description><category></category></item><item><title><![CDATA[推导式]]></title><link>https://blog.youkuaiyun.com/qq_25202521/article/details/107549321</link><guid>https://blog.youkuaiyun.com/qq_25202521/article/details/107549321</guid><author>qq_25202521</author><pubDate>Thu, 23 Jul 2020 23:08:59 +0800</pubDate><description><![CDATA[目录1. assert2. enumerate3. 推导式3.1 列表推导式3.2 元组推导式3.3 字典推导式3.4 集合推导式3.5 生成器练习题
1. assert
assert这个关键词我们称之为“断言”，当这个关键词后边的条件为 False时，程序自动崩溃并抛出AssertionError的异常。
assert 3 &gt; 7

# AssertionError

2. enumerate
枚举函数
enumerate(sequence, [start=0])


sequence – 迭代对象]]></description><category></category></item><item><title><![CDATA[位运算]]></title><link>https://blog.youkuaiyun.com/qq_25202521/article/details/107523077</link><guid>https://blog.youkuaiyun.com/qq_25202521/article/details/107523077</guid><author>qq_25202521</author><pubDate>Wed, 22 Jul 2020 21:43:31 +0800</pubDate><description><![CDATA[目录位运算符实例练习题其他想法
位运算符




操作符
描述




~
按位取反


&amp;
按位与


|
按位或


^
按位异或


&lt;&lt;
左移


&gt;&gt;
右移


## 按位取反，0 变为 1，1 变为 0
~ 1 = 0
~ 0 = 1

## 按位与，只有两个对应位都为 1 时才为 1
1 &amp; 1 = 1
1 &amp; 0 = 0
0 &amp; 1 = 0
0 &amp; 0 = 0

## 按位或，只要两个对应位中有一个 1 时就为 1
1 | 1 ]]></description><category></category></item><item><title><![CDATA[街景字符识别—模型集成]]></title><link>https://blog.youkuaiyun.com/qq_25202521/article/details/106431064</link><guid>https://blog.youkuaiyun.com/qq_25202521/article/details/106431064</guid><author>qq_25202521</author><pubDate>Fri, 29 May 2020 22:30:22 +0800</pubDate><description><![CDATA[目录1. 集成学习方法2. 深度学习中的集成学习2.1 Dropout2.2 TTA2.3 Snapshot3. 后处理
1. 集成学习方法
集成学习方法可以提高预测精度，常见的有Stacking、Bagging和Boosting。一般利用交叉验证法提高精度，如下所示。

使用10折交叉验证法，得到10个CNN模型，可通过以下方法进行集成。

平均预测结果的概率值，然后解码为具体字符。
对预测的字符进行投票，得到最终字符。

2. 深度学习中的集成学习
2.1 Dropout
Dropout在训练过程中会随]]></description><category></category></item><item><title><![CDATA[街景字符识别—模型训练和验证]]></title><link>https://blog.youkuaiyun.com/qq_25202521/article/details/106366211</link><guid>https://blog.youkuaiyun.com/qq_25202521/article/details/106366211</guid><author>qq_25202521</author><pubDate>Tue, 26 May 2020 23:22:29 +0800</pubDate><description><![CDATA[目录1. 构建验证集2. 模型训练和验证3. 模型保存和加载4. 模型调参
1. 构建验证集
在深度学习过程中，可能出现过拟合问题。过拟合指模型误差在训练集上随着训练次数和模型复杂度增加而减少，却在训练集上先减后增。如下所示。

构建验证集能够有效解决过拟合问题，验证集需要尽可能与测试集保持一致，在训练过程中不断验证模型在验证集上的精度，以此控制模型训练。
总结一下：
训练集：模型训练和调整模型参数；
验证集：验证模型精度和调整模型超参数；
测试集：测试模型泛化能力。
如图，构建验证集常用三种方法：



]]></description><category></category></item><item><title><![CDATA[街景字符识别—字符识别模型]]></title><link>https://blog.youkuaiyun.com/qq_25202521/article/details/106356007</link><guid>https://blog.youkuaiyun.com/qq_25202521/article/details/106356007</guid><author>qq_25202521</author><pubDate>Tue, 26 May 2020 15:56:44 +0800</pubDate><description><![CDATA[目录1. CNN简介2. 使用pytorch构建CNN模型
1. CNN简介
CNN，卷积神经网络，是深度学习中的一个分支，在计算机视觉领域，特别是图像分类、图像检索、物体检测和语义分割的主流模型。CNN每一层由众多卷积核组成，每个卷积核对输入的像素进行卷积操作，得到下一次输入。

CNN是一种层次模型，由卷积、池化、非线性激活函数和全连接层组成。

上图为LeNet结构图，是经典的字符识别模型。通过多次卷积和池化，最后将输入的像素映射为具体的输出。假若是分类任务，则会输出不同类别的概率，然后计算真实标签与]]></description><category></category></item></channel></rss>