<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Lenskit]]></title><description><![CDATA[逆水行舟 不进则退]]></description><link>https://blog.youkuaiyun.com/chenKFKevin</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; chenKFKevin]]></copyright><item><title><![CDATA[使用词向量特征建模-逻辑回归]]></title><link>https://blog.youkuaiyun.com/chenKFKevin/article/details/151820738</link><guid>https://blog.youkuaiyun.com/chenKFKevin/article/details/151820738</guid><author>chenKFKevin</author><pubDate>Thu, 18 Sep 2025 10:36:42 +0800</pubDate><description><![CDATA[【代码】使用词向量特征建模-逻辑回归。]]></description><category></category></item><item><title><![CDATA[使用pyspark对设备在装app列表生成词向量]]></title><link>https://blog.youkuaiyun.com/chenKFKevin/article/details/151820313</link><guid>https://blog.youkuaiyun.com/chenKFKevin/article/details/151820313</guid><author>chenKFKevin</author><pubDate>Thu, 18 Sep 2025 10:27:14 +0800</pubDate><description><![CDATA[摘要 本文介绍了使用Spark和Word2Vec模型处理10亿级设备应用安装数据的技术方案。该方案通过分析设备上安装的应用程序列表，训练生成150维的应用程序特征向量，并将设备上所有应用向量的平均值作为设备特征向量。主要参数包括vectorSize(150维)、minCount(500次最低出现次数)和windowSize(10个上下文窗口)。最终输出结果可用于用户相似度计算、群体划分和精准广告投放等应用场景。该方案巧妙地将自然语言处理技术应用于用户行为分析，为大规模用户画像提供了有效解决方案。]]></description><category></category></item><item><title><![CDATA[使用scala对applist生成词向量]]></title><link>https://blog.youkuaiyun.com/chenKFKevin/article/details/151820201</link><guid>https://blog.youkuaiyun.com/chenKFKevin/article/details/151820201</guid><author>chenKFKevin</author><pubDate>Thu, 18 Sep 2025 10:24:42 +0800</pubDate><description><![CDATA[【代码】使用scala对applist生成词向量。]]></description><category></category></item><item><title><![CDATA[shell运行python打印日志]]></title><link>https://blog.youkuaiyun.com/chenKFKevin/article/details/151819783</link><guid>https://blog.youkuaiyun.com/chenKFKevin/article/details/151819783</guid><author>chenKFKevin</author><pubDate>Thu, 18 Sep 2025 10:16:26 +0800</pubDate><description><![CDATA[记录：主要是有些pyspark任务跑六七个小时，日志消失，所以用sh跑。]]></description><category></category></item><item><title><![CDATA[pyspark读取hive表中数据后进行lgb建模]]></title><link>https://blog.youkuaiyun.com/chenKFKevin/article/details/151403218</link><guid>https://blog.youkuaiyun.com/chenKFKevin/article/details/151403218</guid><author>chenKFKevin</author><pubDate>Wed, 10 Sep 2025 14:49:34 +0800</pubDate><description><![CDATA[本文介绍了使用原生LightGBM进行二分类建模的过程。由于集群环境限制，无法使用Spark版的LightGBM实现，转而采用单机版进行训练。主要步骤包括：1) 加载已标记数据并转换为CSR稀疏矩阵；2) 通过样本权重处理类别不平衡问题；3) 进行精简版网格搜索优化关键参数（叶子数、最小子样本数等）；4) 模型评估显示AUC为0.6631。整个流程耗时约4小时，重点解决了大数据场景下的分布式训练限制问题，并提供了完整的评估指标体系。]]></description><category></category></item><item><title><![CDATA[使用pyspark对上百亿行的hive表生成稀疏向量]]></title><link>https://blog.youkuaiyun.com/chenKFKevin/article/details/151142338</link><guid>https://blog.youkuaiyun.com/chenKFKevin/article/details/151142338</guid><author>chenKFKevin</author><pubDate>Wed, 03 Sep 2025 11:26:25 +0800</pubDate><description><![CDATA[摘要：本文介绍了一种使用PySpark处理超大规模Hive表（338亿行数据）的方法，将用户ID和APP数据转换为稀疏向量表示。方案分为两步：首先对APP进行One-Hot编码生成稀疏向量，然后按用户ID聚合这些向量。针对数据量大的特点，采用了分区处理、两阶段聚合等优化策略，并使用SparkML标准稀疏向量格式（包含类型、长度、索引和值数组）高效存储结果。该方法充分发挥了Spark的分布式计算优势，解决了传统Hive UDF性能不足的问题，同时生成的稀疏向量格式与SparkML算法完全兼容，为后续机器学习任]]></description><category></category></item><item><title><![CDATA[嫌Deepseek不回复？这里有免费使用Deepseek的法子！]]></title><link>https://blog.youkuaiyun.com/chenKFKevin/article/details/145760555</link><guid>https://blog.youkuaiyun.com/chenKFKevin/article/details/145760555</guid><author>chenKFKevin</author><pubDate>Thu, 20 Feb 2025 20:17:23 +0800</pubDate><description><![CDATA[众所周知，东方出了个Deepseek，把openai打懵逼了，打破了老美的科技封锁，让国外高高在上的大模型一个个主动开启免费使用。然而正因为Deepseek效果好，适合咱们中国人的中文语境，所以现在Deepseek的官网基本属于问完一个问题下个问题等一小时的情况，极大得影响了普通人享受科技进步的效率（没有责备Deepseek的意思，我知道他们在忙着赋能全国的公司）。so，急需一个能让大家自由使用Deepseek的方法，这里便引出这次要介绍的——火山方舟。]]></description><category></category></item><item><title><![CDATA[windows安装Graphviz]]></title><link>https://blog.youkuaiyun.com/chenKFKevin/article/details/111443521</link><guid>https://blog.youkuaiyun.com/chenKFKevin/article/details/111443521</guid><author>chenKFKevin</author><pubDate>Sun, 20 Dec 2020 16:42:24 +0800</pubDate><description><![CDATA[windows安装graphviz
1、下载windows环境的graphviz安装包，下载exe文件后安装至本机，将安装目录下的bin目录配置到环境变量path中
2、配置成功在cmd输入dot -version会出现版本信息，则为成功。

3、在使用时如果出现以下报错：
graphviz.backend.CalledProcessError: Command ‘[‘dot’, ‘-Tpng’, ‘-O’, ‘web_service’]’ returned non-zero exit status 1. ]]></description><category></category></item><item><title><![CDATA[mac安装xgboost方法（最简单方式）]]></title><link>https://blog.youkuaiyun.com/chenKFKevin/article/details/109472554</link><guid>https://blog.youkuaiyun.com/chenKFKevin/article/details/109472554</guid><author>chenKFKevin</author><pubDate>Tue, 03 Nov 2020 16:38:56 +0800</pubDate><description><![CDATA[百度上使用brew install llvm， brew install clang-omp，再pip install xgboost的方法，试了不行。

还有要下载安装包，升级gcc 的方式，也没有安装成功。

最后使用conda install py-xgboost命令，

期间出现报错：RemoveError: 'requests' is a dependency of conda and cannot be removed from conda's operating environment.，使.]]></description><category></category></item><item><title><![CDATA[解析经纬度]]></title><link>https://blog.youkuaiyun.com/chenKFKevin/article/details/107907455</link><guid>https://blog.youkuaiyun.com/chenKFKevin/article/details/107907455</guid><author>chenKFKevin</author><pubDate>Mon, 10 Aug 2020 10:59:44 +0800</pubDate><description><![CDATA[记录

-- 解析经纬度

select

split(regexp_extract('POINT(120.400870660833 27.500001565702)','([0-9.]+ [0-9.]+)'),' ')[2],

split(regexp_extract('POINT(120.400870660833 27.500001565702)','([0-9.]+ [0-9.]+)'),' ')[1]


]]></description><category></category></item><item><title><![CDATA[sparksql建表时java.sql.BatchUpdateException: Duplicate entry ‘‘ for key ‘PRIMARY‘]]></title><link>https://blog.youkuaiyun.com/chenKFKevin/article/details/107408173</link><guid>https://blog.youkuaiyun.com/chenKFKevin/article/details/107408173</guid><author>chenKFKevin</author><pubDate>Fri, 17 Jul 2020 14:49:22 +0800</pubDate><description><![CDATA[此报错大概率是因为列名有问题（中文列名或列名过长）

When creating a table in Hive with column names over 128 characters an error like below is raised. Note: "COLUMNS_V2" is a Hive metadata table.

具体链接：https://support.oracle.com/knowledge/Oracle%20Database%20Products/2255940_1.ht.]]></description><category></category></item><item><title><![CDATA[Spark入门]]></title><link>https://blog.youkuaiyun.com/chenKFKevin/article/details/102872966</link><guid>https://blog.youkuaiyun.com/chenKFKevin/article/details/102872966</guid><author>chenKFKevin</author><pubDate>Sat, 02 Nov 2019 16:03:35 +0800</pubDate><description><![CDATA[本篇是介绍Spark的入门系列文章，希望能帮你初窥Spark的大门。

一、 Spark概述

1 首先回答什么是Spark？

Spark是一种基于内存的快速，通用，可扩展的大数据计算引擎。

那有的同学可能会问，大数据计算引擎，MapReduce不就是吗？为什么又来个Spark？

其中最大的原因还是MapReduce自身的短板导致：

1. 基本运算规则从存储介质中采集数据，然后进行计算，最...]]></description><category></category></item><item><title><![CDATA[Python机器学习及实践——进阶篇6（超参数搜索）]]></title><link>https://blog.youkuaiyun.com/chenKFKevin/article/details/99707945</link><guid>https://blog.youkuaiyun.com/chenKFKevin/article/details/99707945</guid><author>chenKFKevin</author><pubDate>Sun, 18 Aug 2019 19:01:50 +0800</pubDate><description><![CDATA[前面所提到的模型配置，我们一般统称为模型的超参数，如K近邻算法中的K值 支持向量机中不同的和函数等。多数情况下，超参数的选择是无限的。因此在有限的时间内，除了可以验证人工预设几种超参数组合以外，也可以通过启发式的搜索方法对超参数组合进行调优。我们称这种启发式的超参数搜索方法为网格搜索。同时由于超参数的的验证过程之间彼此独立，因此为并行计算提供了可能。

网格搜索：
由于超参数的空间是无尽的，因此超...]]></description><category></category></item><item><title><![CDATA[Python机器学习及实践——进阶篇5（模型检验）]]></title><link>https://blog.youkuaiyun.com/chenKFKevin/article/details/99707925</link><guid>https://blog.youkuaiyun.com/chenKFKevin/article/details/99707925</guid><author>chenKFKevin</author><pubDate>Sun, 18 Aug 2019 18:59:02 +0800</pubDate><description><![CDATA[前面时不时提到模型检验或者交叉验证等词汇，特别是在对不同模型的配置，不同的特征组合，在相同的数据和任务下进行评价的时候。究其原因是因为仅仅使用默认配置的模型与不经处理的数据特征，在大多数任务下是无法得到最佳性能表现的。因此在最终交由测试集进行性能评估之前，我们希望可以利用手头现有的数据对模型进行调优，甚至可以粗略地估计测试结果。

这里需要强调的是，前面所使用的测试数据是由原始数据中采样而来，并且...]]></description><category></category></item><item><title><![CDATA[Google OR-Tools简介]]></title><link>https://blog.youkuaiyun.com/chenKFKevin/article/details/94738752</link><guid>https://blog.youkuaiyun.com/chenKFKevin/article/details/94738752</guid><author>chenKFKevin</author><pubDate>Fri, 05 Jul 2019 16:05:45 +0800</pubDate><description><![CDATA[组合优化可以用来从很多可能解中寻找到问题的最佳解。

比如下面这些例子：

一、车辆路线：为在给定限制条件下提取和交付包裹的车队找到最佳路线（例如，“此卡车不能承载超过20000磅”或“所有交付必须在两小时内完成”）。

二、调度：为一组复杂的任务找到最佳的调度，其中一些任务需要先于其他任务在一组固定的机器或其他资源上执行。

三、装箱：尽可能多地将各种尺寸的物品装入存放固定数量以及有最大承重的箱...]]></description><category></category></item><item><title><![CDATA[Python机器学习及实践——进阶篇4（模型正则化之L1正则&L2正则）]]></title><link>https://blog.youkuaiyun.com/chenKFKevin/article/details/90578547</link><guid>https://blog.youkuaiyun.com/chenKFKevin/article/details/90578547</guid><author>chenKFKevin</author><pubDate>Sun, 26 May 2019 18:06:31 +0800</pubDate><description><![CDATA[正则化的目的在于提高模型在未知测试数据上的泛化力，避免参数过拟合。由上一篇的例子可以看出，2次多项式回归是相对较好的模型假设。之所以出现如4次多项式那样的过拟合情景，是由于4次方项对于的系数过大，或者不为0导致。

因此正则化的常见方法都是在原模型优化目标的基础上，增加对参数的惩罚项。以我们之前在线性回归器一节中介绍过的最小二乘优化目标为例，如果加入对模型的L1范数正则化，那么新的线性回归目标如下...]]></description><category></category></item><item><title><![CDATA[Python机器学习及实践——进阶篇3（模型正则化之欠拟合与过拟合）]]></title><link>https://blog.youkuaiyun.com/chenKFKevin/article/details/90573770</link><guid>https://blog.youkuaiyun.com/chenKFKevin/article/details/90573770</guid><author>chenKFKevin</author><pubDate>Sun, 26 May 2019 11:13:39 +0800</pubDate><description><![CDATA[一个需要记住的重要事项：任何机器学习模型在训练集上的性能表现，都不能作为其对未知测试数据预测能力的评估。

这里讲详细及时什么是模型的泛化力以及如何保证模型的泛化力，一次会阐述模型复杂度与泛化力的关系以及使用L1范数正则化与L2范数正则化加强模型的泛化力，避免模型参数过拟合。



所谓拟合，是指机器学习模型在训练的过程中，通过更新参数，使得模型不断契合训练集的过程。本篇将使用一个“比萨饼价格预...]]></description><category></category></item><item><title><![CDATA[Python机器学习及实践——进阶篇2（特征提升之特征筛选）]]></title><link>https://blog.youkuaiyun.com/chenKFKevin/article/details/90573548</link><guid>https://blog.youkuaiyun.com/chenKFKevin/article/details/90573548</guid><author>chenKFKevin</author><pubDate>Sun, 26 May 2019 10:46:47 +0800</pubDate><description><![CDATA[总体来说，良好的数据特征组合不需太多，便可以使得模型的性能表现突出。比如我们在“良/恶性乳腺癌肿瘤预测“问题中，仅仅使用两个描述肿瘤形态的特征便取得较高的识别率。冗余的特征虽然不会影响模型性能，但会浪费cpu的计算。主成分分析主要用于去除多余的那些线性相关的特征组合，这些冗余的特征组合并不会对模型训练有更多贡献。

特征筛选与PCA这类通过选择主成分对特征进行重建的方法略有区别：对于PCA而言，我...]]></description><category></category></item><item><title><![CDATA[Python机器学习及实践——进阶篇1（特征提升之特征抽取）]]></title><link>https://blog.youkuaiyun.com/chenKFKevin/article/details/88759391</link><guid>https://blog.youkuaiyun.com/chenKFKevin/article/details/88759391</guid><author>chenKFKevin</author><pubDate>Sat, 23 Mar 2019 13:10:01 +0800</pubDate><description><![CDATA[在前面的一系列文章中，已经介绍了大量经典的机器学习模型，并且使用python语言分析这些模型在许多不同现实数据上的性能表现。细心的读者会发现一个问题，我们之前使用的数据几乎都经过了规范化处理，而且模型也大多只是采用了默认的初始化配置。换言之，尽管我们使用经过处理后的数据，在默认配置下学得一套可以拟合数据的参数，并用这些参数和默认配置取得了一些看似良好的性能表现；但是我们无法解决最为关键的问题：实际...]]></description><category></category></item><item><title><![CDATA[用TensorFlow来实现梯度下降]]></title><link>https://blog.youkuaiyun.com/chenKFKevin/article/details/88252471</link><guid>https://blog.youkuaiyun.com/chenKFKevin/article/details/88252471</guid><author>chenKFKevin</author><pubDate>Tue, 19 Mar 2019 20:22:55 +0800</pubDate><description><![CDATA[本篇我们尝试使用批量梯度下降。

首先我们将通过手动计算梯度来实现，然后使用TensorFlow的自动扩展功能来使TensorFlow自动计算梯度，最后我们将使用几个TensorFlow的优化器。

使用梯度下降时，首先要对输入特征向量进行归一化，否则训练会慢很多，可以使用TensorFlow，numpy，sklearn的standardscaler或其他解决方案，下面的代码会假定此规范化已经完成...]]></description><category></category></item></channel></rss>