- 博客(137)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 FunPapers[3]：WWW‘25「快手」生成式回归预测观看时长
连续值预测（Continuous Value Prediction, CVP）是推荐系统和视频平台中的一项重要任务，其目标是对用户的观看时长、评分或其他连续数值进行预测。生成式回归（Generative Regression, GR）是一种新颖的CVP框架，其核心思想是将连续值预测问题转化为序列生成任务，通过逐步生成时间槽序列来逼近目标值。这里的词汇表中是由时间槽（time slot）组成，类似于文本任务中的token，每个时间槽代表预先定义的一定时长，如5秒、10秒等。提出一种新型的连续值预测框架，
2025-03-02 23:14:03
721
原创 LLM规划能力如何成为Agent超级大脑？
LLM在Agent规划模块中的应用越来越广泛，但传统规划方法存在很多局限，比如符号化方法需要人工转换，强化学习方法又需要大量样本。而LLM凭借推理、工具使用、规划、指令遵循等能力，正在改变这一切！今天来给大家介绍一下AI如何成为Agent的大脑——LLM规划能力！都说2025年是Agent落地的元年，让我们一起期待它未来的发展吧！
2025-02-22 09:30:00
304
原创 FunPapers[2]：www‘24 「快手」连续特征单调性建模
深度模型在当前工业推荐系统中引用广泛，数值特征则是深度模型输入的重中之重，但现有研究较少关注数值特征与模型输出之间的单调性关系，而这对于模型的可解释性和准确性具有重要意义，特别是在搜广推领域。
2025-02-16 11:26:35
631
原创 FunPapers[1]: GBDT和DNN强强联手，表格预测新突破！
论文提出了Tree-hybrid MLP（T-MLP）方法，其核心思想是结合GBDT的特征选择和模型集成优势与DNN的高维特征空间和光滑优化特性，通过张量化GBDT特征门、DNN架构剪枝和反向传播协同训练MLP模型，以实现高效、有效的表数据预测。
2025-01-28 10:30:00
369
原创 大模型训练工具，小白也能轻松搞定！
常见的大模型微调、训练工具，包括Axolotl、Llama-Factory、Firfly、Xtuner、Swift、Unsloth、Trainer。
2025-01-22 00:42:50
756
原创 浅谈文本匹配
本文简单谈了一下笔者关于文本匹配的一些认识，主要以字面匹配和语义匹配的角度为中心。这里没有涉及具体的匹配方法，主要是关于文本匹配的一些理解，以及当前的一些挑战和难点。文本匹配是一个比较具体的任务，离实际的业务比较近，在搜广推都中都有非常广泛的应用，面临的问题也比较具象和琐碎。从“上古”的纯字面匹配，到词向量，再到基于语言模型的语义匹配，文本匹配已经基本完成字面匹配到语义匹配的转换，但仍然有一些语义匹配不能覆盖的点。
2025-01-04 10:36:49
785
2原创 Empowering Long-tail Item Recommendation through Cross Decoupling Network (CDN)
长尾问题是个老大难问题了。在推荐中可以是用户/物料冷启动，在搜索中可以是中低频query、文档，在分类问题中可以是类别不均衡。长尾数据就像机器学习领域的一朵乌云，飘到哪哪里就阴暗一片。今天就介绍来自Google的一篇解决长尾物品推荐的论文。
2023-09-03 00:39:14
662
原创 Improved Deep Metric Learning with Multi-class N-pair Loss Objective
从N-pair loss初探度量学习
2023-08-10 01:14:55
424
原创 Rethinking the Role of Pre-ranking in Large-scale E-Commerce Searching system
这篇论文对粗排的角色进行了分析，讨论了粗排过度模拟精排的问题，分别从离线评估方式、样本构造、目标构造和学习框架上进行了改进。论文没有花太多篇幅在模型框架的创新上，而是在深入的分析和解决真实粗排场景中常见的问题，在各种细节上也处理的很到位，如多个正样本的list-wise损失函数的改造上。完整、仔细地读下来，对理清粗排地整个流程和挑战都很有帮助，值得学习。欣赏一下北京的夜景😀。
2023-07-09 22:13:20
559
原创 浅尝Transformer和LLM
大语言模型势不可挡啊。哲学上来说，语言就是我们的一切，语言所不能到达的地方我们也不能达到。就人类来说，语言或许已经不仅仅是一种工具那么简单，其不仅是人类在物理世界进行活动时不可或缺的媒介，也是我们自身构建精神世界时的一砖一瓦。语言的重要性已经无需多言了。教会计算机人类的语言（用人类的语言进行思考）是一项艰巨的任务，或许从计算机发明之初这一征程就已经开始了，然而直到现在我们还有很长的路要走。最近，大语言模型大放异彩让我们看到了更大的希望。
2023-06-22 22:01:26
3912
原创 Spark Shuffle
这一篇主要讲 Spark 中的 Shuffle 机制.将 job 划分成多个 task 后, stage 内的一个 task 可以在一个节点上完成计算, task 内以来的数据可以直接存储在当前结点上 (内存或者磁盘中). 但是 stage 间的 task 可能在不同节点上计算, 那么当前 task 怎么拿到上一 stage 的数据呢?注意到在生成物理执行计划时, 是按照宽依赖对 DAG 进行划分的, 也就是在宽依赖型的 transformation 的输入和输出之间切一刀. 所以这个问题等价于。
2022-10-31 15:50:59
305
原创 Spark 逻辑处理流程与物理执行计划
一直以来都想了解一下 Spark 的运行原理, 但一直都浮于表面, 难以深入. 去年买了一本 《大数据处理框架 Apache Spark 设计与实现》, 但是一直没时间好好看看, 最近抽时间过了一下这本书, 在此记录一下.这一篇主要讲 Spark 中逻辑处理流程时怎么生成的, 以及在逻辑处理流程的基础上如何生成物理执行计划.⟶⟶。
2022-10-31 15:24:24
1333
原创 Spark Overview
一直以来都想了解一下 Spark 的运行原理, 但一直都浮于表面, 难以深入. 去年买了一本 《大数据处理框架 Apache Spark 设计与实现》, 但是一直没时间好好看看, 最近抽时间过了一下这本书, 在此记录一下.先大致了解一下 Spark.
2022-10-31 15:22:06
1185
原创 softmax求导的过程
(图出自李宏毅老师的PPT)对机器学习/深度学习有所了解的同学肯定不会对 softmax 陌生，它时而出现在多分类中用于得到每个类别的概率，时而出现在二分类中用于得到正样本的概率(当然，这个时候 softmax 以 sigmoid 的形式出现)。1. 从 sigmoid 到 softmaxsigmoid 出现的频率在机器学习/深度学习中不可谓不高，从 logistic 回归到深度学习中的...
2022-02-25 21:21:00
102
原创 湖南大学信息科学与工程学院选课指南！！！
由于研一的疏忽，导致学科的时候少选了一个学分????????????????????，悲催的我只得在研二上学期，其他同学都不用上课的时候，还要每周去上课，到了还要紧张兮兮的准备期末考试，再一次体会到了被期末考试支配的恐惧，特别是我选的是令人望而生畏的随机过程。不过经过一学期的学习，也算摸着了一点随机过程的门道，希望以后能够逐渐加深自己对随机过程的理解，并能够应用起来，哈哈哈，做到学以致用。今天晚上刚考完试的我，就更新了我研...
2022-01-06 21:51:00
290
原创 提升方法
文章记录的内容是参加DataWhale的组队学习统计学习方法(第二版)习题解答过程中的笔记与查缺补漏！参考解答地址： 提升方法。1. 某公司招聘职员考查身体、业务能力、发展潜力这3项。身体分为合格1、不合格0两级，业务能力和发展潜力分为上1、中2、下3三级。分类为合格1 、不合格-1两类。已知10个人的数据，如下表所示。假设弱分类器为决策树桩。试用AdaBoost算法学习一个强分类器。应聘人...
2021-12-31 11:47:00
215
原创 支持向量机
文章记录的内容是参加DataWhale的组队学习统计学习方法(第二版)习题解答过程中的笔记与查缺补漏！参考解答地址：支持向量机。1. 比较感知机的对偶形式与线性可分支持向量机的对偶形式。解答思路：列出感知机的原始形式；写出感知机的对偶形式；列出线性可分支持向量机的原始形式；写出线性可分支持向量机的对偶形式；比较感知机和线性可分支持向量机的对偶形式。回忆一下感知机的目标函数：...
2021-12-31 10:28:00
92
原创 Logistic回归与最大熵模型
文章记录的内容是参加DataWhale的组队学习统计学习方法(第二版)习题解答过程中的笔记与查缺补漏！参考解答地址：Logistic回归与最大熵模型。1. 确认Logistic分布属于指数分布族。解答思路：列出 Logistic 分布的定义列出指数分布族的定义通过指数倾斜，证明Logistic分布的分布函数无法表示成指数分布族的分布函数形式先看一下什么是 Logistic 分布：...
2021-12-28 15:22:00
86
原创 决策树
文章记录的内容是参加DataWhale的组队学习统计学习方法(第二版)习题解答过程中的笔记与查缺补漏！参考解答地址：决策树。1. 根据表5.1所给的训练数据集，利用信息增益比(C4.5算法)生成决策树。解答思路：列出C4.5的生成算法；使用sklearn的DecisionTreeClassifier类构建决策树，并使用graphviz包展示，默认是Gini，这里可以作为自编程的验证；...
2021-12-27 17:00:00
120
原创 Scrapy基础 --- #1
这是 DataWhale 新闻推荐系统实战的 Task3，主要任务有：爬虫构建画像物料入库本篇博客主要参考Fun-rec的文档，在这里。本篇博客主要内容是 scrapy 的介绍，以及项目中新闻物料的爬取和保存。Scrapy说起爬虫框架，那 scrapy 必是当之无愧的一哥了。虽然我还没用 scrapy 写过爬虫，但也是仰慕已久。犹记当初刚学了一点 python，尝试的第一个项目...
2021-12-26 12:23:00
63
原创 朴素贝叶斯法
文章记录的内容是参加DataWhale的组队学习统计学习方法(第二版)习题解答过程中的笔记与查缺补漏！参考解答地址：朴素贝叶斯法。一下相关内容都基于以下前提：输入空间 \(\mathcal{X} \subseteq \mathbb{R}^n\)，输出空间为 \(\mathcal{R} =\{ c_1, c_2, ..., c_K \}\)。\(X, Y\) 分别表示定义在输入、输出空间上的随...
2021-12-24 20:43:00
53
原创 k近邻法
文章记录的内容是参加DataWhale的组队学习统计学习方法(第二版)习题解答过程中的笔记与查缺补漏！参考解答地址：k近邻法。1. 参照图3.1，在二维空间中给出实例点，画出 \(k\) 为1和2时的 \(k\) 近邻法构成的空间划分，并对其进行比较，体会 \(k\) 值选择与模型复杂度及预测准确率的关系解答思路：参照图3.1，使用已给的实例点，采用sklearn的KNeighborsC...
2021-12-21 14:20:00
110
原创 redis基础 --- #1
这是 DataWhale 新闻推荐系统实战的 Task2，主要任务有：mysql 基础MongoDB 基础redis 基础本篇博客主要是关于 redis 基础，Fun-rec的文档在这里。Redis(Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库。由于是内...
2021-12-21 11:02:00
64
原创 mongodb基础 --- #1
这是 DataWhale 新闻推荐系统实战的 Task2，主要任务有：mysql 基础MongoDB 基础redis 基础本篇博客主要是关于 mongodb 基础，Fun-rec的文档在这里。看一下 MongoDB 的自我介绍：MongoDB 是由C++语言编写的，通用的、基于文档的分布式开源数据库。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB 旨在为WEB...
2021-12-19 17:35:00
64
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人