- 博客(63)
- 收藏
- 关注
RSS订阅原创 【Leetcode】乘积最大子数组
给你一个整数数组 nums ，请你找出数组中乘积最大的非空连续 子数组（该子数组中至少包含一个数字），并返回该子数组所对应的乘积。测试用例的答案是一个 32-位 整数。请注意，一个只包含一个元素的数组的乘积是这个元素的值。示例 1:输入: nums = [2,3,-2,4]输出: 6解释: 子数组 [2,3] 有最大乘积 6。示例 2:输入: nums = [-2,0,-1]输出: 0解释: 结果不能为 2, 因为 [-2,-1] 不是子数组。
2026-08-09 19:23:04
211
原创 【LLM】深入理解Transformer
Transformer 的核心思想是：用 Self-Attention 替代循环结构，使每个 Token 能直接与所有 Token交互，从而解决 RNN 的长期依赖问题，并实现高效并行计算。长期依赖并行计算这两个就是 Transformer 诞生的根本原因。
2026-07-13 20:20:58
164
原创 【LLM】深入理解MoE
Dense Transformer 越来越大↓计算成本太高↓引入多个 Expert 提升容量↓Router 决定每个 token 去哪里↓Top-k 控制计算量↓loss中加入 Load Balance 保证所有 Expert 都能学到东西。
2026-07-09 20:20:06
352
原创 【Leetcode】合并区间
以数组 intervals 表示若干个区间的集合，其中单个区间为 intervals[i] = [starti, endi]。请你合并所有重叠的区间，并返回 一个不重叠的区间数组，该数组需恰好覆盖输入中的所有区间。
2026-06-28 19:03:12
150
原创 【Leetcode】移动零
给你一个整数数组 nums，有一个大小为 k 的滑动窗口从数组的最左侧移动到数组的最右侧。你只可以看到在滑动窗口内的 k 个数字。滑动窗口每次只向右移动一位。返回 滑动窗口中的最大值。示例 1：输入：nums = [1,3,-1,-3,5,3,6,7], k = 3输出：[3,3,5,5,6,7]解释：滑动窗口的位置 最大值示例 2：输入：nums = [1], k = 1输出：[1]
2026-06-28 17:08:24
157
原创 【Leetcode】和为 K 的子数组
给你一个整数数组 nums 和一个整数 k ，请你统计并返回 该数组中和为 k 的子数组的个数。子数组是数组中元素的连续非空序列。示例 1：输入：nums = [1,1,1], k = 2输出：2示例 2：输入：nums = [1,2,3], k = 3输出：2。
2026-06-28 14:53:15
163
原创 【Leetcode】找到字符串中所有字母异位词
给定两个字符串 s 和 p，找到 s 中所有 p 的 异位词 的子串，返回这些子串的起始索引。不考虑答案输出的顺序。示例 1:输入: s = “cbaebabacd”, p = “abc”输出: [0,6]解释:起始索引等于 0 的子串是 “cba”, 它是 “abc” 的异位词。起始索引等于 6 的子串是 “bac”, 它是 “abc” 的异位词。
2026-06-14 17:56:27
265
原创 【Leetcode】无重复字符的最长子串
给定一个字符串 s ，请你找出其中不含有重复字符的 最长 子串 的长度。示例 1:输入: s = “abcabcbb”输出: 3解释: 因为无重复字符的最长子串是 “abc”，所以其长度为 3。注意 “bca” 和 “cab” 也是正确答案。示例 2:输入: s = “bbbbb”输出: 1解释: 因为无重复字符的最长子串是 “b”，所以其长度为 1。示例 3:输入: s = “pwwkew”输出: 3解释: 因为无重复字符的最长子串是 “wke”，所以其长度为 3。
2026-06-14 15:44:29
201
原创 【Leetcode】 接雨水
给定 n 个非负整数表示每个宽度为 1 的柱子的高度图，计算按此排列的柱子，下雨之后能接多少雨水。示例 1：输入：height = [0,1,0,2,1,0,1,3,2,1,2,1]输出：6解释：上面是由数组 [0,1,0,2,1,0,1,3,2,1,2,1] 表示的高度图，在这种情况下，可以接 6 个单位的雨水（蓝色部分表示雨水）。示例 2：输入：height = [4,2,0,3,2,5]输出：9。
2026-06-06 17:45:01
297
原创 【Leetcode】三数之和
给你一个整数数组 nums ，判断是否存在三元组 [nums[i], nums[j], nums[k]] 满足 i != j、i != k 且 j != k ，同时还满足 nums[i] + nums[j] + nums[k] == 0 。请你返回所有和为 0 且不重复的三元组。注意：答案中不可以包含重复的三元组。示例 1：输入：nums = [-1,0,1,2,-1,-4]输出：[[-1,-1,2],[-1,0,1]]解释：nums[0] + nums[1] + nums[2] = (-1) + 0
2026-06-06 15:05:10
171
原创 【Leetcode】移动零
给定一个数组 nums，编写一个函数将所有 0 移动到数组的末尾，同时保持非零元素的相对顺序。请注意 ，必须在不复制数组的情况下原地对数组进行操作。示例 1:输入: nums = [0,1,0,3,12]输出: [1,3,12,0,0]示例 2:输入: nums = [0]输出: [0]
2026-06-06 13:36:11
179
原创 【Leetcode】最长连续序列
给定一个未排序的整数数组 nums ，找出数字连续的最长序列（不要求序列元素在原数组中连续）的长度。请你设计并实现时间复杂度为 O(n) 的算法解决此问题。示例 1：输入：nums = [100,4,200,1,3,2]输出：4解释：最长数字连续序列是 [1, 2, 3, 4]。它的长度为 4。示例 2：输入：nums = [0,3,7,2,5,8,4,6,0,1]输出：9示例 3：输入：nums = [1,0,1,2]输出：3。
2026-05-31 16:12:13
237
原创 Cursor一直显示planning next move
前段时间 cursor 一直卡在 planning next move，不管是auto模式还是切成指定的模型都无法继续。
2026-05-07 10:58:32
1714
原创 【LLM】位置编码
众所周知，在NLP中位置信息是很有用的。对任何语言来说，句子中词汇的顺序和位置都是非常重要的。它们定义了语法，从而定义了句子的实际语义。在旧时代的NLP中，我们一般使用CNN/RNN来建模文本，其中CNN可以编码一定的绝对位置信息（很大程度上来自zero-padding），而RNN的序列依赖特性更是天生适合序列问题或者位置信息的建模（RNN结构本身就涵盖了单词的顺序，RNN按顺序逐字分析句子，这就直接在处理的时候整合了文本的顺序信息）。因此，在旧时代的NLP，基本无须单独做位置编码。Transformer模
2026-02-28 11:44:37
1007
原创 【LLM】Tree of Thoughts: Deliberate Problem Solving with LLMs
传统的语言模型在规划和决策过程中存在局限性，而"思维树"通过同时考虑多个潜在的可行计划，并利用价值反馈机制进行决策，扩展了现有的规划方法。如果说 Chain of Thought (CoT) 是让 AI 学会打草稿，那么 Tree of Thoughts (ToT) 就是让 AI 学会了下棋时的多步推演和悔棋。
2026-02-27 09:21:54
566
原创 【LLM】ReAct
工具本质上就是我们为大模型提供的扩展能力，它可以是一些 Open API（如 Google 搜索、高德天气等等），也可以是我们内部的一些函数，甚至是第三方的服务。get_fruit_price：一个简单的本地函数，用于获取指定水果的价格。
2026-02-26 19:30:51
857
原创 【LLM数据】数据处理Pipeline
虽然LSH在算法层面优化了复杂度，但是考虑到网络数据集的庞大，对它们进行多个哈希函数的计算依然需要消耗大量的计算存储资源，因此大部分论文都推荐采用分布式计算的方案，例如GPT-3采用了Spark的MinHashLSH方法。首先，他们制定了一套问题，用来量化数据集的偏见程度。RealToxicityPrompts通过一个叫做Perspective AI的工具对内容的毒性进行评测，根据他们的报告，OpenWebText的内容中有2.1%，WebText的内容中有4.3%，这些内容的毒性评分达到或超过50%。
2026-02-25 20:36:12
787
原创 【LLM数据】Dolma数据集 (AI2)
官方一张图说明了当前主流大模型使用的数据集处理过程的披露情况，非常简单明确：上图列举了当前这些主流模型使用的数据集的披露情况，其中✅表示完全披露，❌表示没有报告披露，而“~”则表示有描述，但是没有明确来源。上面涉及到的数据处理解释如下：PII ID+过滤：“个人身份信息检测”（PII detection）。PII 是“Personal Identifiable Information”的缩写，指的是可以用来识别个人身份的信息，如姓名、电话号码、电子邮件地址、身份证号等。
2026-02-25 18:26:28
890
原创 【LLM】重要概念之Scaling Laws
Scaling Law 定义：我们可以用模型大小、Dataset大小、总计算量，来预测模型最终能力。（通常以相对简单的函数型态, ex: Linear relationship）
2026-02-25 15:26:46
731
原创 【LLM数据】CCNet: Extracting High Quality Monolingual Datasets from Web Crawl Data
Common Crawl【3】提供了多种可供使用的数据集格式。目前，主要有三种不同的主要格式（除了索引）：WARC、WAT和WET。原始网页数据（WARC）元数据（WAT），WAT比WET包含更多的元数据，还包括HTML标签内容和链接文本提取（WET）（bypassing the CommonCrawl processing to extract text）CCNet论文使用的是 WET数据集；
2026-02-24 18:48:34
940
原创 【LLM数据】Textbooks Are All You Need
Phi-1 模型本身是一个标准的 Decoder-only Transformer（1.3B 参数，24 层，RoPE 编码，FlashAttention），其架构并无太多花哨之处。真正的魔法在于数据的制备过程。论文作者提出了一个核心假设：如果我们将训练数据替换为“教科书级”的高质量数据，能否打破现有的 Scaling Laws，用极小的模型达到 SOTA 性能？面对海量的 GitHub 代码（The Stack 数据集），作者没有使用传统的正则规则过滤，而是训练了一个“AI 助教”来筛选数据。
2026-02-24 17:05:19
807
原创 【LLM】大模型对齐方法
模型对齐（Alignment）的目标是微调预训练模型，使其行为与人类的意图、偏好和价值观保持一致。这是确保LLM安全、可靠地部署于现实世界的关键步骤。目前，大模型的对齐工作中，RLHF算法是能够达到最优结果的范式。RLHF的核心思想是将人类的偏好数据转化为一个数值奖励信号，然后利用强化学习算法优化语言模型的策略（即其生成文本的方式），以最大化期望奖励。近端策略优化（Proximal Policy Optimization, PPO）是 RLHF 框架中最具代表性的算法之一。它由 OpenAI 在2017年提
2026-02-24 16:00:43
793
原创 【LLM】大模型激活函数
激活函数的主要作用在于更好的学习数据中的非线性关系。激活函数在神经网络中的作用，主要在于输入下一层之前调整上一层的输出。
2026-02-11 15:29:29
629
原创 【LLM】Deepseek模型总结
DeekSeek-R1-Zero证明了纯强化学习能够提升模型的思考推理能力，但是由于训练过程中，并没有教它如何思考，或者说如何“符合人类口味习惯”的思考，DeekSeek-R1-Zero存在输出多语言混杂，可读性差的问题。DeepSeek-R1模型并不是直接由DeepSeek-V3通过强化学习得到的，而是在DeepSeek-V3的基础上，经过两轮的监督微调（SFT）后，再通过强化学习得到的。该模型不是最终的DeepSeek-R1模型，是实验中的一个半成品，验证了强化学习对模型推理能力提升的有效性。
2026-02-10 20:04:50
787
原创 【LLM】LlamaFactory微调Qwen3-14B
主要遵循LlamaFactory官方文档：https://github.com/hiyouga/LlamaFactory/blob/main/README_zh.md#%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8，有几个关键点需要注意。LlamaFactory要求的python版本为3.10，Qwen3要求的transformers版本为>=4.51.0，同时需要关注配套的vllm等包。因此，需要在上面的目录下新建针对Qwen3-14b的微调、推理和合并参数文件。
2026-02-02 16:15:42
514
原创 【CTR预估】模型总结
最开始探索的是双塔模型，原因是组里有现成的框架。双塔模型的结构图：双塔模型最大的特点就是「user和item是独立的两个子网络」，左侧是用户塔，右侧是item塔，这两个塔的参数不共享。「User特征」主要包括和用户相关的特征：用户id、手机系统、地域、年龄、历史行为序列等；「Item特征」主要包括和Item相关的特征：ItemId、Item类别、Item来源等。整体流程是将User特征和Item特征分别输入到特征提取网络（例如DNN）得到User Embedding和Item Embedding。
2026-01-28 10:24:44
535
原创 【CTR预估】DeepFM模型
DeepFM聚焦推荐系统中的点击率（CTR）预测问题，融合因子分解机（FM）与深度神经网络（DNN），旨在解决现有方法在特征交互建模与特征工程依赖上的痛点。
2026-01-27 20:36:16
317
原创 【聚类算法】DBSCAN算法
如果一个点在半径ε内至少有min_samples个邻居点（包括自己），则该点为核心点数学表示：N_ε§ ≥ min_samples，其中N_ε§是点p在ε半径内的点数。
2026-01-27 11:09:54
345
原创 《Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory》笔记
这篇论文强调了持久记忆在AI对话系统中的重要性，并提出了一种新的架构来解决现有模型的局限性。
2026-01-22 20:55:23
590
原创 Text Clustering as Classification with LLMs
LLM 引导的候选标签生成：通过提示词向 LLM 输入目标无标注文本数据集（或数据集样本子集），明确任务要求 —— 生成 “能覆盖文本核心主题、语义清晰且具有区分度” 的候选标签（无需人工预设标签体系，标签形式可为短语或短句），例如输入部分文本样本后，提示 LLM“基于这些文本讨论的内容，生成 15-20 个能概括不同主题的标签”。实验验证表明，该框架无需复杂的微调过程与传统聚类算法，性能却与采用嵌入的主流聚类方法相当甚至更优，有效降低了文本聚类对资源、人工经验的依赖，简化了聚类流程。
2026-01-22 20:27:52
429
原创 Deepseek Engram
稀疏性：指在处理每个输入时，只激活模型的一小部分参数。比如「Apple」和「apple」、「running」和「Running」，虽然分词器给了不同的ID，但语义相同，可以映射到同一个规范ID。具体来说，Engram把当前隐藏状态作为Query，把检索到的记忆向量作为Key和Value，计算一个0到1之间的门控值。如果词表有10万个词，那么所有可能的3-gram就有10万的三次方，也就是10的15次方种组合。设ρ为分配给MoE专家的比例，ρ=100%就是纯MoE模型，ρ越小，分给Engram的越多。
2026-01-22 19:57:19
461
原创 部署Qwen2.5-VL-7B-Instruct-GPTQ-Int3
【代码】部署Qwen2.5-VL-7B-Instruct-GPTQ-Int3。
2025-08-22 00:04:40
358
原创 【Datawhale AI 夏令营】电商评论用户洞察
然而，星火大模型判断的效果远差于TF-IDF分类（20条训练集中有8条错误），主要是有些特殊情况模型难以分辨，如果想要提升效果，需要基于人工分析总结，给出好的prompt。判断结果略差，随机抽取的5条训练集中有1条错误，主要在于对用户问题的理解不够，需要在prompt中将用户问题的定义完善。实现路径：使用Jieba对评论文本进行分词，使用TF-IDF进行关键词提取，最后基于KMeans进行聚类并提取中心词。评论聚类这块的优化方向，一是寻找最佳聚类簇个数，二是更换聚类方法。
2025-07-16 16:23:43
731
原创 多模态大模型（一）
视觉表征：分为两块，一是如何合理建模视觉输入特征，二是如何通过预训练手段进行充分学习表征，这两点是基于视觉完成具体算法任务的基础；视觉与自然语言的对齐或融合：目的是将视觉和自然语言建模到同一表征空间并进行融合，实现自然语言和视觉语义的互通，这点同样离不开预训练这一过程。模态对齐是处理多模态问题的基础，也是现在流行的多模态大模型技术前提。对于视觉表征，从发展上可以分为卷积神经网络（CNN）和Vision Transformer（VIT）两大脉络，二者分别都有各自的表征、预训练以及多模态对齐的发展过程。
2025-06-27 14:30:18
998
原创 视觉表征和多模态融合
视觉表征和多模态融合是当前人工智能领域的重要研究方向，它们相互关联、相互促进。良好的视觉表征是多模态融合的基础，而多模态融合则能够充分利用不同模态的信息，提升模型的整体性能。随着多模态大模型的兴起，将有更多创新性的应用场景被开发出来。
2025-06-26 17:47:15
650
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人