- 博客(176)
- 收藏
- 关注
RSS订阅
原创 【NLP百面百过】史上最全大模型（LLMs）面试题系列：帮你彻底搞定Transformer-干货！
基于Sinusoidal的位置编码最初是由谷歌在论文Attention is All You Need中提出的方案，用于Transformer的位置编码。具体计算方式如下所示：其中pos是位置，i表示维度。具有相对位置表达能力：Sinusoidal可以学习到相对位置，对于固定位置距离的k，PE(i+k)可以表示成PE(i)的线性函数。两个位置向量的内积只和相对位置 k 有关。Sinusoidal编码具有对称性。,即，这表明Sinusoidal编码具有对称性。
2025-02-08 13:44:47
1122
原创 【模型部署】vLLM 部署 Qwen2-VL 踩坑记 01 - 环境安装
为了服务全球用户，除英语和中文外，Qwen2-VL 现在还支持理解图像中的多语言文本，包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。：Qwen2-VL 在 MathVista、DocVQA、RealWorldQA、MTVQA 等视觉理解基准测试中取得了全球领先的表现。：借助复杂推理和决策的能力，Qwen2-VL 可集成到手机、机器人等设备，根据视觉环境和文字指令进行自动操作。介绍：该仓库围绕着 NLP 任务模型的设计、训练、优化、部署和应用，分享大模型算法工程师的日常工作和实战经验。
2024-11-17 21:31:19
1029
原创 AIGC时代大模型信息安全隐私保护技术方案
因为采用了全标签替换的方法，导致其对原始文本中提示词的语言表达能力较弱，这可能对云端的大型语言模型的性能产生负面影响。然而这种传统的匿名化处理方法无法在LLM生成的结果中还原出被替换的隐私敏感信息，从而限制了其可用性及准确性。使用构造的匿名化数据训练小的隐藏模型（Hide-Model）：基于第一步标注的数据，使用lora或qlora方法基于bloomz来微调得到Hide Model。可以看到，原始输入中的敏感信息在送到大模型之前进行了脱敏处理，在大模型处理后，被脱敏替换的内容又被还原成了原始信息。
2024-09-28 20:59:54
1626
2
原创 【LLM 前沿论文】AgentStore：智能世界的超级 “App Store”
与之前的通用Agent方法对比，AgentStore 通过集成 20 多个专门Agent，克服了先前方法的局限性。这些专门Agent在各自擅长的领域表现出色，在几乎所有任务领域都能稳定发挥，而通用Agent在某些特定任务类别中表现较弱。不同任务管理方法下，**AgentStore 均优于单Agent系统**，其中 **AgentToken（AT）管理能力最佳**，显著超过其他方法。
2025-03-28 16:00:00
1623
原创 【LLM 前沿论文】2D-DPO：告别“一刀切”！多维度对齐 LLM 偏好
2D-DPO通过**引入二维监督信号，实现了对大型语言模型偏好的细粒度优化**。这种方法提高了模型与人类偏好的对齐效果，其监督信号具有更高的质量和可解释性，为细粒度偏好优化研究提供了新的思路。
2025-03-28 11:03:18
827
原创 【Arxiv 大模型最新进展】WMA Web Agent：让世界告诉Agent决策有风险需谨慎！
本文研究的是**如何提升 Agent 在网络导航任务中的决策能力**。在网络导航中，LLMs需要生成一系列动作（如点击）来完成用户在网站上的目标。然而，现有的LLMs在长期任务中表现不佳，经常犯下不可逆的错误，例如重复购买不可退的机票。
2025-03-23 07:30:00
1495
原创 【Arxiv 大模型最新进展】SSO：无需人工标注，自动对齐 LLM！
本文研究的是如何自动化地对齐 LLM 与人类偏好，而无需人工标注偏好数据。自动化对齐的关键在于提供可学习的、准确的偏好信号，以便于在没有人工标注的情况下进行偏好学习。为此，本文提出了自我引导优化（Self-Steering Optimization, SSO） 算法。
2025-03-22 07:30:00
642
原创 【Arxiv 大模型最新进展】NetSafe：探秘多智能体网络安全拓扑“攻守道”
本文研究的是**如何确保基于大型语言模型的多智能体网络的拓扑安全**。现有方法在保障多智能体网络拓扑安全方面存在不足，缺乏统一的安全研究标准，难以准确评估不同拓扑结构的安全性。受图论和拓扑学理论启发，本文提出了**NetSafe**框架，通过**定义多智能体网络拓扑结构**、**设计特定通信机制**和**攻击策略**以及**采用静态和动态评估方法**，探究多智能体网络在面对各种攻击时的网络安全特性。
2025-03-21 07:30:00
726
原创 【Arxiv 大模型最新进展】LongRAG：长文本问答的 “超级导航仪”，精准定位答案
本文研究的问题是**提升大型语言模型在处理长文本问答任务时的表现**。之前的方法包含self-RAG以及cRAG等，其中前者依赖自我反思标记来探索全局信息，但这种依赖可能误删含有重要细节的有效检索块；后者逐个评估块以识别事实细节，却忽略了块之间的关联，当关键细节分散在多个块中时，可能造成重要信息的遗漏。
2025-03-20 07:30:00
673
原创 【Arxiv 大模型最新进展】DeepSeek最新多模态大模型，理解与生成同时遥遥领先!
本文研究内容是如何将多模态理解和生成统一到一个模型中，此前的研究使用单一的视觉编码器来同时处理两项任务的输入，然而，多模态理解和生成任务所需的表征存在显著差异。在多模态理解任务中，视觉编码器的目的是提取高层语义信息（例如图像中的对象类别或视觉属性）。理解任务的输出不仅涉及从图像中提取信息，还包括复杂的语义推理。相比之下，在视觉生成任务中，主要关注的是生成图像的局部细节和保持全局一致性。在这种情况下，所需的表征必须是能够表达细粒度空间结构和纹理细节的低维编码。为了解决这一问题，本文提出了Janus，一个解耦视
2025-03-19 07:30:00
456
原创 【Arxiv 大模型最新进展】普林斯顿大学提出 TreeBoN ！大语言模型推理效能「提升秘籍」曝光
论文提出了 TreeBoN 方法，通过将投机树搜索策略与 Best-of-N（BoN）采样相结合，并利用从 DPO 隐式奖励修改而来的 token 级奖励引导，来提高大语言模型推理时的对齐性能和效率。
2025-03-18 10:01:48
929
原创 【NLP算法面经】美团NLP算法三面复盘（★附面题整理★）
🌟🌈介绍：该仓库主要分享了数百本 AI 领域电子书介绍：该仓库一网打尽互联网大厂NLP算法面经，算法求职必备神器🎉🎉🎉。
2025-03-09 05:30:00
689
原创 【大厂AI实践】美团：事件图谱在美团智能客服问答中的应用（基于交互的推理）
事件图谱是什么，知识图谱和事件图谱的区别以及当前在事件图谱方面的主要研究，并且举了几个应用的例子，包括事件脉络、热点发现和事件预测推理。
2025-03-08 10:30:00
756
原创 【NLP算法面经】百度算法岗全三面复盘（已OC）（★附面题整理★）
8月中旬接到了hr的通过offer。其实面试都不难，但是百度的面试除了考察基础知识之外，更重要的是知识的运用。考察题目灵活且仔细，所以没有一些运用经验或者较为细致全面的学习很难答得理想。算法题以及代码能力较为被看中，有想法的同学可以多多注意一下，大概中等难度就行。基本上每一面都是1小时，最后一面聊了一个半小时，之后我就和未来的领导加了微信。所有的面试都有反问环节。最后祝各位好运！
2025-03-08 05:30:00
972
原创 【大厂AI实践】美团：美团搜索中查询改写技术的探索与实践
本文介绍了美团场景下查询改写任务上的探索和实践经验，在垂直领域搜索召回这一课题上结合实际业务场景和用户需求探索了语义判别模型、语义检索模型、图模型等前沿算法技术，积累了生活服务领域短语关联认知数据。其中在离线数据部分介绍了策略、统计翻译、图方法和Embedding等多种技术角度的挖掘方法，并对总结了各个方法在实践过程中的出发点、效果和优缺点。
2025-03-07 10:30:00
1583
原创 【NLP算法面经】 华为、百度、腾讯、美团等算法面经集合！（★附面题整理★）
秋招告一段落，整理文件的时候发现之前记录的面经问题，主要是秋招前期的一些面试，后期由于实习比较忙没花时间整理。希望自己的面经可以帮助到有需要的人吧。由于个人实力不行又头铁，一度要失业，最后还是留在了实习的部门。「个人背景」本科211信管，硕士985软工，算是算法中的非科班吧。一篇国内水刊，两个天池比赛Top2%，两个实验室机器学习相关项目。
2025-03-07 05:30:00
1173
原创 【NLP算法面经】科大、字节、华为、网易、腾讯、快手、OPPO等算法岗面试详细复盘（★附面题整理★）
🌟🌈介绍：该仓库主要分享了数百本 AI 领域电子书介绍：该仓库一网打尽互联网大厂NLP算法面经，算法求职必备神器🎉🎉🎉。
2025-03-06 05:30:00
996
原创 【大厂AI实践】美团：小样本学习Prompt Learning+自训练实战
CLUE(Chinese Language Understanding Evaluation)[1]是中文语言理解权威测评榜单，包含了文本分类、句间关系、阅读理解等众多语义分析和语义理解类子任务，对学术界和工业界都产生了较大的影响。图1 FewCLUE榜单（截止到2022-04-18）FewCLUE[2,3]是CLUE中专门用于中文小样本学习评测的一个子榜，旨在结合预训练语言模型通用和强大的泛化能力，探索小样本学习最佳模型和在中文上的实践。
2025-03-05 10:30:00
1549
原创 【NLP算法面经】双非“渣硕“的AI面试路（★附面题整理★）
双非渣硕，0实习，3篇水文，三个给老板当打工仔的nlp横向项目，八月份开始准备秋招，纠结开发还是算法，开发的话菜而自知，算法也是菜而自知，最后还是头铁NLP算法。秋招进度：投递150+，笔试50+，面试30+，offer 2，只求当咸鱼，基本躺平了下面是我的部分面经记录，希望对后来人有帮助!
2025-03-05 05:30:00
581
原创 【NLP算法面经】阿里、百度、作业帮、华为算法岗面试复盘（★思维导图版★）
先介绍下个人情况，本科金融，辅修数学，研究生转应用统计，主要申算法去岗，从今年三月开始找暑期实习开始，一直看大佬们的各种面经，现在总结了一下7月至今的各种面试回报大家。以上是目前为止面的，总结来看，算法岗基本都是项目+机器学习、深度学习算法原理+手撕代码，个人手撕代码基本都能搞定，但是之前没什么项目经验，在快手实习之前也是偏数据分析的岗位，刚转到算法岗两周，也没什么能讲的，聊到项目就容易崩，非科班也没论文，申算法岗还是太难了。有空继续更新，希望能帮到大家。
2025-03-04 15:00:00
1548
原创 【NLP算法面经】1年工作经验，字节跳动算法面经（★附面题整理★）
在某大厂做算法一年，本来安安稳稳还没想过跳槽，某天接到了猎头的电话说字节在招数据挖掘工程师，择日不如撞日那就去试一试呗。总体难度较大，要多刷题。成功涨薪40%，美滋滋。上班不打卡，有10%月薪的大小周加班费，免费三餐自助，地铁30分钟有1000房补，顶级福利，满足。祝各位拿到心仪的offer！
2025-03-04 05:30:00
888
原创 【大厂AI实践】美团：美团智能客服核心技术与实践
智能客服背后的技术主要是以对话交互技术为核心。闲聊型：通常是不关注某项特定任务，它的主要的目标是和人进行开放领域的对话，关注点是生成流畅、合理且自然的回复。任务型：通常是帮助用户完成某项任务指令，如查找酒店、查询订单状态、解决用户的退款申请等等。用户的需求通常比较复杂，需要通过多轮交互来不断收集任务所需的必要信息，进而根据信息进行决策，执行不同的动作，最终完成用户的指令。问答型：侧重于一问一答，即直接根据用户的问题给出精准答案。
2025-03-03 22:18:16
800
原创 【大厂AI实践】清华：清华古典诗歌自动生成系统“九歌”的算法
以上所有的工作都做了工程化的实现，并整合到了中文古典诗歌在线生成系统——九歌中，在线系统网址
2025-03-03 22:11:38
1057
原创 【NLP算法面经】微软、腾讯、网易算法岗热乎面筋（★含面题整理★）
🌟🌈介绍：该仓库主要分享了数百本 AI 领域电子书介绍：该仓库一网打尽互联网大厂NLP算法面经，算法求职必备神器🎉🎉🎉。
2025-03-03 17:00:00
1056
原创 【NLP面试】大模型（NLP）岗位最新高频面题和面试经验总结，一定不要错过！！！（★思维导图版★）
【大模型面试】从200多场招聘和面试中提炼出50+核心知识图谱，精准锁定必问考点，复习效率提升3倍，让你轻松应对面试
2025-03-03 09:58:17
2655
5
原创 【NLP面试】推荐收藏！NLP 算法岗(含大模型方向)最全的面试题总结！（★持续更新★）
汇总了 NLP 算法工程师高频面题，适合大模型初学者和正在准备面试的小伙伴。希望能帮助各位同学缩短面试准备时间，不错过金三银四涨薪窗口，迅速收获心仪的Offer
2025-03-01 15:30:33
1066
7
原创 【代码人生】工作不等于职业：职场上的四个误区和四个破法（★码农破局必读版★）
加班对短期的工作可能有益，对你长期的职业发展反而百害无一利。首先要注意的误区是对工作和职业分不清。在英语里这两个概念分别是Job和Profession。工作是大家谋生的手段，一个单位给你一份工作，你完成任务，它付你工资，就两清了。职业是我们一辈子要从事的事业，比如我们当一个医生，提高自己的医术，治病救人，成为名医，这是职业。
2025-02-28 17:00:00
753
原创 【Arxiv 大模型最新进展】Talker-Reasoner：继物理和化学后，诺贝尔经济学奖成为新目标？
本文研究的是**如何通过双系统架构优化Agent在快速对话和复杂推理/规划中的性能**。Agent在与用户进行自然对话时，需要同时处理快速对话响应和复杂的多步推理/规划任务。然而，这两个任务在认知要求上存在差异，难以由单一的大型语言模型（LLM）同时高效完成。为了解决这一问题，本文提出了一种新的双系统架构——**Talker-Reasoner架构**。
2025-02-28 11:30:00
1390
原创 【大厂AI实践】腾讯：微信搜一搜中的智能问答技术
搜索引擎是人们获取信息的重要途径，其中包含了很多问答型的query。但传统的搜索只能返回TopK的网页，需要用户自己从网页中分析甄别答案，体验较差。原因是传统搜索引擎只是对query和doc做“匹配”，并不是真正细粒度地理解query。智能问答正好可以弥补这个局限，它的优势在于能够更好地分析query，直接返回精准、可靠的答案。
2025-02-28 11:30:00
701
原创 【Arxiv 大模型最新进展】GenARM: 自回归奖励模型让 LLM 对齐不再困难！
本文研究的是如何在测试阶段高效地对齐 LLM 以符合人类偏好。现有的 Training-Time 对齐方法（如 RLHF 和 DPO），通过人类偏好数据集微调 LLM，但这些方法成本高昂，而且在面对多目标偏好时训练过程复杂。此外，现有的 Test-Time 对齐方法（如控制解码），虽然训练成本低，但通常依赖于轨迹级的奖励模型来估计 Token 级的奖励，这导致推理成本高且奖励值不够准确。为了克服这些限制，本文提出了一种新的 Test-Time 对齐方法—— GenARM。
2025-02-28 09:00:00
1499
原创 【大厂AI实践】腾讯：QQ浏览器搜索中的智能问答技术
问答的核心是通过理解语言和运用知识来进行提问和回答。从应用角度看，由于人类有获取信息的需求和旺盛的好奇心，问答的场景无处不在；从研究角度看，问答是认知智能的前沿之一。问答在搜索场景的应用可以分为两类。一类是满足用户的直接搜索需求，即在搜索结果页给用户提供精准的答案，例如Top1问答卡片。另一类是通过问答的方式与用户交互，来帮助用户澄清、细化和延伸需求，例如推荐和对话形式的问答。
2025-02-27 11:30:00
885
原创 【Arxiv 大模型最新进展】谷歌联合CMU提出超强奖励模型，大模型推理能力的新曙光！
🌟🌈介绍：该仓库主要分享了数百本 AI 领域电子书介绍：该仓库一网打尽互联网大厂NLP算法面经，算法求职必备神器🎉🎉🎉。
2025-02-27 09:00:00
641
原创 【代码人生】你选择的职业道路有多快？（★码农破局必读版★）
🌟🌈介绍：该仓库主要分享了数百本 AI 领域电子书介绍：该仓库一网打尽互联网大厂NLP算法面经，算法求职必备神器🎉🎉🎉。
2025-02-26 16:00:00
260
原创 【大厂AI实践】腾讯：QQ音乐命名实体识别技术
NER就是识别文本中具有特定意义的实体，在音乐领域中实体主要包括歌曲名、歌手名、影视、综艺、版本、音乐流派等，例如：Block B在一周的偶像中挑战二倍速的Her，rap部分感觉Zico的舌头都要打结了这里有歌曲名（Her、东方红）、歌手名（Block B、Zico）、综艺（一周的偶像）。在音乐领域中，NER在多种类型的文本上都有着广泛的应用，这里我们主要分为两大类：用户query理解和音乐文本结构化。
2025-02-26 11:30:00
958
原创 【Arxiv 大模型最新进展】打破选择困局：多智能体带你高效选择预训练数据
本文提出了一种多智能体协同数据选择框架，旨在通过动态结合多种数据选择方法，提升大规模语言模型预训练中的数据选择效率。该框架通过将每种数据选择方法作为一个独立的智能体，并由一个名为“智能体控制台”的模块来整合各个智能体，从而得出最优的数据选择策略。
2025-02-26 09:00:00
593
原创 【代码人生】你要变的更值钱：中心房价、李嘉图定律和IT时代的应对策略（★码农破局必读版★）
我们知道IT产业有摩尔定律、安迪－比尔定律（即软件功能的增加要吃掉硬件性能提升带来的好处，让大家不断去购买新的硬件产品）等等。这些定律简单而准确地概括了整个产业的规律，让大家一看就懂
2025-02-26 07:30:00
640
原创 【大厂AI实践】腾讯：可控、可靠的数据到文本生成技术
这里定义了三种操作符，Chain、Sibling和Combination。首先是Chain，比如给定三元组信息<John, residence, London>（John住在伦敦），<England, capital, London>（英国的首都是伦敦），规定Chain的描述顺序，那么整个句式就是序列化的描述方式，中间不会有and或者or去连接。另外一个结构Sibling，两个信息是并列的，会有一个and去做连接。第三个操作Combination，就是把前面两种结构连在一起，最终产生一个描述的句子。
2025-02-26 05:00:00
836
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人