- 博客(117)
- 收藏
- 关注
RSS订阅原创 推荐算法优缺点及通俗解读
人口统计学：像按班级发同样的课外书（按人群分类）。基于内容：像喜欢《哈利波特》就再推荐《魔戒》（同类推荐）。协同过滤：像朋友推荐：“咱俩口味像，这个好吃你试试”（利用群体行为）。基于知识：像导购员问你需要什么功能，再给你选商品（基于规则匹配）。这些算法在真实系统中常常混合使用，比如新用户先用人口统计学，有行为后用协同过滤，遇到冷门商品再用基于知识推荐。
2025-12-09 18:30:00
345
原创 git如何回退已提交的代码
本文介绍了四种Git代码回退方法：1）使用git reset --soft撤销提交但保留修改；2）使用git reset --hard完全删除提交；3）使用git revert创建反向提交（推荐共享分支使用）；4）回退到指定提交。文章建议个人分支可使用强制推送，共享分支应采用revert方式，并推荐使用更安全的--force-with-lease参数。最后提示可根据具体需求选择合适的方法执行回退操作。
2025-11-28 10:00:00
440
原创 推荐算法之:协同过滤
你可以把协同过滤想象成一个非常智能的、数据驱动的“朋友推荐系统”。它通过分析大量用户的历史行为（你做了什么），来预测你未来可能喜欢什么。亚马逊/淘宝：“购买此商品的顾客也购买了…”Netflix/豆瓣：“根据你喜欢的XXX，为你推荐…”
2025-11-26 11:00:00
664
原创 面试题:agent智能体面试题,多智能体间是如何通信的
多智能体系统通信的核心在于信息交换与协调，主要分为直接通信和间接通信两大类。直接通信通过消息传递、RPC或发布-订阅模式实现明确交互，适用于精确控制场景；间接通信则通过共享环境（如黑板模型、数字信息素）实现解耦协作，适合大规模自适应系统。关键技术包括FIPA ACL、gRPC、Kafka等通信协议和中间件。设计时需权衡语义理解、通信开销、可扩展性等挑战，实际应用中常混合使用多种范式。这一框架展示了多智能体通信的本质特征、技术实现和设计考量。
2025-11-25 17:17:59
914
原创 TradingAgents多智能体金融交易框架详解
代表了一种构建下一代智能交易系统的前沿范式。它通过分工、协作与专业化的设计哲学，将人工智能在金融领域的应用从单一的“预测模型”提升到了一个更接近人类组织决策的“系统性AI”高度。它不是一个“即插即用”的盈利神器，而是一个强大的、灵活的、高可解释性的研究框架和基础设施。对于量化研究人员和开发者而言，它提供了探索更复杂、更稳健、更智能的交易策略的无限可能，但其最终效能高度依赖于其内部各个智能体的质量以及整个系统的协调设计。好的，以下是框架的入门使用步骤。
2025-11-23 12:30:00
1299
原创 推荐算法之:GBDT、GBDT LR、XGBoost详细解读与案例实现
GBDT是一种集成学习方法，通过多轮迭代逐步修正预测误差。它由多个决策树组成，每棵树专注于纠正前序模型的残差，最终组合成一个强预测模型。在推荐系统中，GBDT广泛应用于点击率预测、搜索排序等场景。经典的GBDT+LR组合利用GBDT自动生成特征组合，再通过逻辑回归进行最终预测，能有效处理高维特征。代码示例展示了如何使用GBDT+LR模型进行商品推荐，包括数据生成、特征转换和模型训练流程。这种组合方法既保留了GBDT的特征组合能力，又发挥了LR处理稀疏特征的优势。
2025-11-22 15:42:19
1055
原创 推荐算法之高阶交叉(XGBoost、LightGBM、DeepFM、xDeepFM)实现解析
想象一下，你是一个电商平台的推荐系统。原始特征：你拥有的用户数据可能是“年龄”、“性别”、“城市”；商品数据可能是“品牌”、“品类”、“价格”。一阶特征：这些就是最原始的特征，比如“年龄=25岁”、“品牌=耐克”。它们本身就有信息量，但往往不够。二阶交叉：考虑两个特征组合在一起产生的新信号。例如，“年龄=25岁且品牌=耐克” 这个组合，可能比单独的特征更能代表一个年轻的运动爱好者。再比如，“性别=女且品类=口红” 是一个非常强的购买信号。高阶交叉：顾名思义，就是三个及三个以上特征的组合。
2025-11-19 09:09:32
1026
原创 推荐算法之：FNN、PNN、ONN、NFM深度神经网络模型详解
模型核心比喻如何做特征交叉？特点与场景FNN两步走学徒先用FM预训练，再用DNN学习起点高，训练快。是早期思想的代表。PNN主动红娘在输入后立即加入“乘积层”显式捕捉二阶交叉，适合强交叉信号场景。ONN灵活红娘用多种“核函数”进行交叉PNN的升级版，交叉方式更灵活，能力更强。NFM精华汤厨师用“交互池化层”浓缩二阶交叉，再送DNN经典且高效，平衡了效果与复杂度，应用广泛。FNN (预热) -> PNN (显式交叉) -> ONN (更灵活交叉) -> NFM (优雅且高效的结合)
2025-11-18 20:15:27
702
原创 推荐算法之FM、FFM讲解与使用案例
因子分解机(FM)是一种推荐系统模型，通过为每个特征学习低维隐向量来捕捉特征间的交互作用。相比传统线性模型，FM能有效解决数据稀疏问题，提高泛化能力。其核心思想是用特征隐向量的内积代替直接学习组合权重。应用FM分为三步：1)特征工程(数值特征标准化、类别特征One-Hot编码)；2)使用xLearn等工具训练模型；3)预测评分并排序推荐。FM尤其适合用户-物品交互稀疏的推荐场景，是推荐系统的重要基础模型。
2025-11-18 14:55:28
678
原创 推荐算法-逻辑回归稀疏性问题解决方案
所以，这段话讲的“稀疏性”问题，可以通俗地理解为：在一个超大型逻辑回归模型里，存在着海量的、像灰尘一样微小但又确实存在的权重。如果每个都去计算，成本太高；如果粗暴地忽略它们，又会影响结果的准确性。分组：把零散的特征归类，减少需要管理的“货架”总数。压缩：在模型训练时，就通过技术手段强制把不重要的“灰尘权重”清理掉，只保留那些有显著影响的权重。这样，就能在保证结果足够准确的前提下，让模型的训练和预测变得高效、经济。
2025-11-18 14:41:55
843
原创 逻辑回归在个性化推荐中的原理与应用
文章摘要：逻辑回归在个性化推荐中的应用原理可类比为"智能媒人"的工作机制：1）收集用户和商品的多维度特征（年龄、历史行为等）；2）通过权重计算综合得分；3）利用Sigmoid函数将得分转化为概率预测。电商平台使用该模型时，会结合用户特征、商品特征和交互特征训练模型，最终根据点击概率排序推荐商品。演示代码展示了如何模拟电商数据并训练逻辑回归模型预测用户点击行为。该技术核心是通过特征权重和概率转换实现精准的二分类预测。
2025-11-13 14:29:08
661
原创 大模型个性化推荐面试指南
这是一个非常重要且热门的方向。大模型在个性化推荐领域的应用是当前面试（尤其是大厂推荐算法、NLP应用方向）的高频考点。下面我将从和几个方面，为你整理一份全面的攻略。
2025-11-13 10:42:54
440
原创 双塔模型：高效推荐系统解析
摘要：双塔模型是一种高效的推荐系统架构，通过分别处理用户和商品特征的"双塔"结构实现快速匹配。用户塔分析用户属性（如年龄、浏览记录），商品塔分析商品特征（如类别、价格），各自输出数字向量表示其核心特征。通过计算两向量的相似度（如余弦相似度），系统能快速推荐最匹配的商品。这种架构优势在于：1）双塔独立处理，计算高效；2）将推荐问题转化为向量相似度计算，适用于大规模实时推荐；3）端到端训练优化用户-商品匹配度。典型应用包括电商推荐（淘宝）、短视频推荐（抖音）等场景。
2025-11-10 19:30:30
1037
原创 管道设计模式及Python代码实现
管道设计模式将复杂流程分解为独立步骤，如电商订单处理中的验证、计价、库存检查等阶段。本文通过Python实现展示了该模式的核心特点：每个阶段专注单一职责，数据依次流动，各环节松耦合且可灵活组合。示例代码构建了订单处理管道，包含验证、价格计算、库存检查、订单号生成和保存五个阶段，演示了如何通过串联处理单元高效完成业务逻辑。这种设计提高了代码的可维护性和扩展性，是处理复杂流程的理想选择。
2025-11-07 09:38:55
391
原创 Excel表格自适应大小设置方法
Excel表格自适应内容显示方法总结 自动调整行高/列宽：双击列或行边线，快速适配内容长度 自动换行：保持固定列宽，内容多行显示（需配合行高调整） 缩小字体填充：不改变单元格尺寸，自动缩放字体 转换为智能表格（Ctrl+T）：获得自动扩展、固定标题等高级功能 推荐方案：组合使用自动换行+行高调整，兼顾内容完整性与布局美观性。
2025-11-07 09:20:16
4798
原创 LangChain企业知识库权限控制方案
本文提出基于LangChain框架的企业知识库文档权限控制解决方案。系统采用多层次权限设计架构，包括： 文档元数据层：为每个文档添加部门归属、可见范围、安全等级等权限属性； 用户权限层：基于部门和角色动态计算用户权限集合； 访问控制层：在文档存储和检索时实施权限过滤。 关键技术实现包含： 权限感知文档对象(PermissionAwareDocument)扩展标准文档模型 基于部门的权限继承体系(department_permissions) 双重权限验证机制（部门隶属+安全等级） 向量检索结果实时权限过滤
2025-10-31 17:44:10
484
原创 HuggingFace生态模型部署与应用培训课件
本文系统介绍了HuggingFace生态模型部署与应用的全流程。主要内容包括：HuggingFace核心组件（Models Hub、Transformers库等）的功能特点；部署前的模型选型、调优及硬件评估；主流部署工具（如TGI、Diffusers）的对比分析；从环境准备到服务上线的完整部署流程；以及电商客服、内容审核等实际生产案例的经验分享。特别强调了监控指标设置（QPS、延迟、错误率）和优化策略（量化、缓存、动态批处理），为AI模型从研发到生产落地提供了实用指导。
2025-09-19 15:58:18
590
原创 大模型训练与微调实战培训课件
大模型训练与微调实战培训摘要 本培训课程系统讲解大模型从基础理论到工程实践的完整知识体系，包含32学时的理论+实操内容。课程涵盖8大核心模块：大模型基础理论、训练环境配置、数据处理、预训练技术、微调方法、模型评估、生产部署及行业案例。重点内容包括Transformer架构演进、分布式训练框架(DeepSpeed/FairScale)、数据清洗流程(去噪/PII脱敏)、高效微调技术(LoRA/Prefix-Tuning)等。课程提供完整的代码示例，如环境检查脚本和数据预处理流水线，帮助学员掌握从千亿参数模型训
2025-09-18 20:44:28
778
原创 需求:如何高效的推荐产品
该方案针对5000万用户每日推荐50个未推送产品（共100亿历史记录）的需求，提出基于Spark的分布式处理框架。核心思路是维护用户已推送产品表，通过增量更新和广播变量优化性能。具体分三步：1）初始构建用户已推送产品表；2）每日增量更新推送记录；3）通过产品全集与已推送集合差值计算推荐结果。采用分区存储、广播小表和分布式计算优化处理效率，每日仅需处理增量数据而非全量记录，显著降低计算开销。方案需注意产品表更新、作业调度和资源监控。
2025-09-16 17:40:28
901
原创 huggingFace学习之编码工具
本文介绍了使用transformers框架中的BertTokenizer进行中文文本编码的实践方法。主要内容包括：1）加载预训练的中文BERT模型tokenizer；2）使用encode()、encode_plus()和batch_encode_plus()等不同方法对单句、句对和批量文本进行编码；3）演示了截断、填充等参数设置；4）展示了如何通过add_tokens()和add_special_tokens()方法扩展词典，添加新词和特殊标记。文中以中国现代诗歌为例，详细说明了编码后的输出结构（如inpu
2025-09-09 19:14:36
248
原创 大模型应用开发模拟面试
本文提供了一份针对大模型应用开发工程师岗位的结构化面试指南，涵盖技术基础、工程化能力、前沿探索等核心考察维度。面试问题分为四个部分：1)技术基础与项目经验，重点考察RAG系统、模型优化等实战能力；2)工程化与系统设计，关注MLOps、高并发架构等落地经验；3)多模态应用和伦理安全等前沿话题；4)动机评估与反向提问。文章建议应聘者采用STAR法则回答项目问题，突出技术选型背后的工程权衡，并强调对性能、成本等落地指标的关注。同时提供了准备建议，包括深度复盘项目细节、理解关键技术原理、准备有深度的反问问题等，以全
2025-07-29 14:48:58
752
原创 模型面试题:agent智能体有那些模块
（大模型作为中枢）协调各模块运行，例如LangChain、AutoGPT等框架均基于此架构设计。理解这些模块及其交互逻辑，是设计高效智能体的基础，也是面试中考察系统设计能力的重点！“特斯拉2023年Q3营收为233.5亿美元。“特斯拉Q3营收多少？
2025-07-10 16:05:11
691
原创 大模型面试:如何解决幻觉问题
摘要： 大模型幻觉问题可通过分层解决方案应对：数据层（清洗数据、知识增强）、训练层（SFT、RAG、推理显式化）、推理层（约束解码、自验证）和反馈层（RLHF）。核心方案是**检索增强生成（RAG）**结合事实性微调，平衡成本与效果。面试中需展现技术深度（如引用CRITIC框架）、工程权衡（场景适配）及伦理意识，强调多环节协同（预防-控制-纠正）和评估工具（FactScore）的使用。示例说明与前沿方案引用可加分。
2025-07-08 15:46:36
473
原创 智能营销Agent设计
本文提出一种英语辅导班智能营销Agent设计方案，主要包含智能对话系统和用户购买意向分析系统。智能对话系统采用双引擎架构，结合微调基础模型与企业知识库检索，实现售前营销和售后支持功能。系统通过动态知识融合和对话状态跟踪，构建上下文感知的对话管理机制。用户意向分析系统采用多维度特征提取，包括语言特征、行为特征和背景特征，通过三级意向分析模型评估用户购买意向等级，并据此制定差异化的营销策略。系统实现代码展示了模型微调、知识库集成和对话引擎等核心模块的具体实现方案。
2025-07-08 11:19:48
905
原创 通俗易懂的方式解读什么是:RAG、GraphRAG与Agentic RAG
摘要：三大RAG技术类比解析 RAG像查词典的学霸，快速检索文本片段生成答案，适合简单问答（如客服FAQ），但无法处理跨文档推理。 GraphRAG是画思维导图的逻辑控，通过知识图谱分析实体关系，擅长复杂问题（如金融风控），但构建成本高、响应慢。 Agentic RAG如同带助理的专家，能动态规划、多轮优化（如科研报告生成），适合开放复杂任务，但计算资源消耗大。 选择建议： 求快选RAG，求深度选GraphRAG，求智能决策选Agentic RAG。 三者犹如词典→思维导图→专家团队，能力越强，成本越高。
2025-07-08 10:10:54
437
原创 面试题:如何让大模型一次输出2万字的行业调查报告
摘要：本文提出了一种分而治之的策略来生成2万字大模型报告，核心思路是将报告结构化分解为多个500-1500字的子章节，通过主控程序协调分步生成。关键技术包括：1) 设计详细报告大纲和精准的提示词框架；2) 分块生成时传递前文摘要维护连贯性；3) 工程化实现错误处理、速率控制等机制。该方法需要权衡长上下文的成本收益，虽无法媲美专家报告，但能自动化生成结构化初稿。整体方案体现了将大模型作为组件解决其固有局限的系统设计能力，是工程化应用的关键跃迁。
2025-07-07 09:18:13
494
原创 大模型面试：RAG与Agent相关
摘要：本文模拟了一场围绕RAG（检索增强生成）和Agent的技术面试，涵盖核心概念、应用场景及优化策略。RAG通过检索外部知识增强生成，解决大模型的幻觉、实时性和数据安全问题。在电商客服等动态场景中，RAG优于微调。Agent框架（如LangChain）通过规划、工具调用和迭代处理复杂任务。两者可协同工作，如Agent调用RAG工具生成行业报告。优化RAG检索精度需分层策略，包括查询扩展、动态分块和混合检索。面试最后探讨了技术栈选择、业务挑战及岗位需求。
2025-07-06 15:21:49
738
原创 大模型面试问题记录~~持续更新中
本文主要介绍了作者在AI和大数据领域的技术能力与实践经验。作者具备独立完成AI解决方案的能力，包括大模型应用架构设计（如LangChain框架、AutoGen多智能体系统）、模型优化与低成本部署（7B~13B级模型微调）、AI工程化实施等。重点关注智能营销、智能问答等应用场景，熟练使用PyTorch生态工具，深入理解Transformer架构。在知识问答语义增强方面有解决方案，但对多模态项目和实时语音对话系统经验有限。技术文档和方案设计能力较强，但PPT制作能力一般。
2025-07-04 15:38:17
480
原创 深度学习中Embedding原理讲解
摘要： Embedding（嵌入）是深度学习中把离散符号（如文字、ID）转换为计算机易处理的数字向量，用于捕捉其本质特征。传统编号无法表达语义关系（如“苹果=1”与“橙子=2”无关联），而Embedding将数据映射为稠密向量（如“[0.8, -0.2]”代表苹果），相似对象的向量距离更近。例如： 推荐系统：用户和电影通过Embedding表达偏好与特征，计算向量相似度实现精准推荐。 优势：自动学习语义关系、降维、支持非数值数据处理。 其核心是通过多维数字编码（如“甜度=+9”）抽象复杂对象的特征，成为深度
2025-06-27 14:39:16
719
原创 RNN循环神经网络原理解读
循环神经网络(RNN)是一种具有记忆能力的神经网络模型，特别擅长处理序列数据。其核心是通过隐藏状态(h)存储历史信息，使当前输出不仅依赖当前输入(x_t)，还依赖之前的状态(h_{t-1})。三个关键参数矩阵决定了信息传递：wxh将当前输入转换为内部表示，whh调节历史记忆的传递，why将隐藏状态转换为输出(y_t)。这种结构使RNN非常适合处理自然语言、语音、时间序列等具有时序关系的数据。虽然基础RNN存在长程依赖问题，但其变体LSTM和GRU通过门控机制有效改善了记忆能力。
2025-06-27 10:04:44
822
原创 深度学习中-常见正则化技术
深度学习中的正则化技术旨在防止模型过拟合训练数据，提高泛化能力。常见方法包括：1) L1正则化（Lasso），通过惩罚权重绝对值之和促使部分权重归零，实现特征选择；2) L2正则化（Ridge），通过惩罚权重平方和使权重整体缩小，抑制对单一特征的过度依赖；3) Dropout，训练时随机关闭部分神经元，迫使网络学习更鲁棒的特征组合；4) 数据增强，通过合理变换原始数据（如旋转、加噪）扩充训练样本多样性。这些技术共同约束模型复杂度，使其更专注于学习数据本质规律而非噪声细节。
2025-06-23 17:17:03
1006
原创 最浪费生命的十件事是什么？
建议通过制定具体计划、建立价值筛选体系、培养深度专注力等方式逐步优化时间分配。：无节制刷短视频、打游戏，导致大脑奖赏回路失衡，削弱深度思考能力。：用概率陷阱或虚假精致掩盖现实困境，加剧经济与心理负担。：长期熬夜、久坐、饮食失衡，用身体换钱财最终反向买单。：将自我价值投射于他人，成为商业营销的被动消费者。：因害怕失败不敢开始，用"等待完美时机"自我欺骗。：维持塑料关系、参与低质争论，消耗独处成长时间。：过度关注不可控因素，错失眼前可把握的成长机会。：机械重复低效劳动，逃避核心问题的解决。
2025-06-09 10:46:06
195
原创 Java多线程文件下载和处理程序
本文介绍了使用Java实现大文件下载及批量写入数据库的解决方案。代码通过HTTP下载CSV文件后，采用分批处理策略（每2万条数据为一个批次），使用固定线程池（10个线程）并发写入数据库。实现包含文件下载、CSV解析、多线程数据库写入、回调通知等功能模块，并在处理完成后自动删除临时文件。核心类FileDownloadProcessor负责整个流程控制，DatabaseWriter处理数据库操作，Main类提供使用示例。该方案有效解决了大文件处理时的内存和性能问题，并通过回调机制实现异步通知。
2025-05-30 16:07:40
350
原创 Conda环境安装TensorFlow步骤
通过以上步骤，你应该能够在Conda环境中成功安装并运行TensorFlow。如果遇到问题，建议优先使用。确保你的NVIDIA显卡支持CUDA并已安装驱动。以下是在Conda环境下安装TensorFlow的详细步骤，分为。请根据你的硬件需求选择对应的安装方法。安装最新版本，并检查CUDA环境配置。
2025-04-01 18:04:54
1605
原创 h5py快速入门
HDF5（Hierarchical Data Format）是一种高效存储和管理大规模科学数据的文件格式，支持复杂的分层数据结构、元数据和压缩，特别适合处理多维数组（如图像、数值模拟结果、机器学习模型权重等）。，可以轻松管理复杂的大规模数据，尤其适合科学计算和深度学习领域。是 Python 中用于读写。
2025-03-07 10:39:18
543
原创 使用 Python JPG 图片转换为 HDF5使用案例
通过这种方式，你可以高效地将图片数据（包括元信息）存储在 HDF5 文件中，适用于科学计算或机器学习场景。
2025-03-07 10:36:32
370
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人