m0_71745484的博客

就在前段时间的两会上，“人工智能”再次被提及，并成为国家战略的焦点。这一举措预示着在接下来的十年到十五年里，人工智能将获得巨大的发展红利。同时意味着，技术革命正在从互联网+向人工智能+逐步迈进，我们将迎来新一轮技术革新和人才需求的增长。毫无疑问，AI 应用型工程师一定是未来最紧俏的岗位。在过去的一年多时间里，我持续关注着大型模型的发展趋势，并且尽可能地进行了尝试和实践。在学习的一过程中，也遭遇了不少问题，可能你也碰到过，比如：小团队如何解决 GPU 与存储空间等资源问题？

最近，看到了一个问题，问得很扎心。为什么裁员首先从技术人员开始？很多技术人员可能会感到困惑，甚至有些委屈：我们一直在默默地努力做出贡献，为什么最终却成了裁员的首批对象呢？我倒觉得未必，虽然技术人员通常具有较高的薪酬水平。在需要减少开支时，公司可能会考虑裁减高薪岗位以降低成本。但更多时候应该是，谁好裁，裁谁好的问题。正如一些网友所言，技术人员的工作性质使得他们在短期财务调整中成为了相对“脆弱”的一环。作为技术人，有什么应对之策呢？

大模型对职场的影响在当今科技飞速发展的时代，大模型已经成为推动人工智能领域革新的关键力量。从自然语言处理、计算机视觉到生物信息学，大模型以其卓越的性能和广泛的应用场景，正深刻改变着各行各业的运作模式。对于程序员而言，掌握大模型不仅意味着打开了新的职业大门，更是在日益激烈的职场竞争中脱颖而出的法宝。随着大模型技术的不断成熟，它们正以前所未有的速度渗透至日常生活的各个角落。从智能客服、个性化推荐到自动驾驶，大模型的应用范围日益扩大，对人才的需求也随之水涨船高。对于程序员而言，这既是挑战，更是机遇。

大模型产品经理面临的困惑作为国内一个上市公司的大模型产品经理，由于商业保密的一些原因，我无法详细跟你说我是什么公司。但我擅长将前沿技术融入产品创新，曾经成功设计的多款大型模型应用不仅广受好评，更实现用户付费转化，在国外的OpenAI推出后，我做的一款产品目前营收达到了400W$。目前一直在思考在AI领域如何持续引领产品智能化升级，为用户创造非凡价值。大模型就像是一个智商跟爱因斯坦一样高的孩子，它非常聪明，而且只要你愿意去教它，他就有可能成为你想让它成为的任何角色的人。

在现代企业中，大模型业务的应用越来越广泛，主要体现在AI Embedded模式、AI Copilot模式和AI Agent模式这三种架构。本文将详细探讨这三种模式，分析它们的特点和适用场景，并对如何选择合适的大模型业务架构提出建议。一、AI Embedded模式概念与特点AI Embedded模式指的是将人工智能功能嵌入到现有的业务系统或产品中。这种模式下，AI技术作为一种增强工具，无缝集成到现有的工作流程中，使得业务功能得到智能化提升。优势。

大模型也是有大有小的，它们的大小靠参数数量来度量。GPT-3就有1750亿个参数，而Grok-1更是不得了，有3140亿个参数。当然，也有像Llama这样身材苗条一点的，参数数量在70亿到700亿之间。这里说的70B可不是指训练数据的数量，而是指模型中那些密密麻麻的参数。这些参数就像是一个个小小的“脑细胞”，越多就能让模型更聪明，更能理解数据中那些错综复杂的关系。有了这些“脑细胞”，模型在处理任务时可能就会表现得更好。

GLM-4更新了什么？老规矩，先放大纲，带大家看看GLM-4-Alltools API更新了哪些功能。如图所示，以下就是Alltools所有新增的能力。我将其分为了四块，一站式检索，一站式智能编程，企业私域增强，多模态四个部分。想要用上这些新的功能也十分简单，只需要在调用GLM-4 API时，选取glm-4-alltools模型，并在tools参数里加上你想要启用的工具（如web_browser），在API调用时，平台会基于你的问题以及选择的工具自动拆解问题，工具调用，一次性解决复杂的用户需求。

知道吗？越来越多的程序员都在学习AI大模型，AI大模型，已经成为程序员跨行/加薪/晋升的最佳助力剂。让IT人不再惧怕失业危机，每月最高多收入1-2w！2024人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇。大模型岗位需求。

在当今数字化时代，人工智能大模型（AI Large Models）已经成为推动科技进步和产业变革的重要力量。本文将带你快速了解近期AI 大模型的应用场景及行业落地报告。这份文件是《中国大模型落地应用案例集（2024）》的PDF文件，由大模型测试验证与协同创新中心、中国信息通信研究院华东分院、中国信息通信研究院人工智能研究中心和上海人工智能实验室开源生态发展中心共同牵头，旨在展示和分析大模型在不同行业和领域的实际应用案例。

身边做程序的朋友、前同事，包括亲人，很多都在今年失业了，每年都说难，而今年，无疑是进入21世纪后最难的一年。套用一下大话西游里的台词：上班的时候，不知道工作的珍贵，待到失去后才追悔莫及…是啊，有什么是比上班还轻松自在，还高回报的事情呢？跟几个单干的朋友交流过后，才知道：现在这个环境下，真可谓百业待（diao）兴（bi），想自己干点啥，一年稳赚几十万，太难了，简直是不可能完成的任务，想必真正经历过、甚至面对过这个问题的人都深有同感。

要说24年最热的技术，还得是AIGC！前段时间阿里旗下的开源项目，登上GitHub热榜！AI大热，如今ChatGPT的优异表现，必然会出现各种细分场景应用的工具软件，和大量岗位项目！山雨欲来风满楼，强人工智能的出现，所有科技公司已经开始巨量扩招此领域的人才。算法的岗位，近三个月已经增长68%！这件事在HR届也是相当震撼的。目前各行各业都不景气的市场，人工智能岗位却一直保持常青！甚至同属AI边缘岗都比其他岗薪资高40%！

OpenAI新的GPT-4o模型发布后，网友们相继展示了新模型的用途，如高级视觉输入分析、解决复杂数学方程以及解读面部表情等等。新模型还能够以声音、文本或图像的形式生成内容和理解指令，同时提供实时响应。以下是一些OpenAI新模型使用案例：✨ 数据分析GPT-4o已展示出能在短短30秒内处理电子表格和进行数据分析的能力。通过简单的提示词，GPT-4o使用户能够快速将原始数据转化为洞察力，并作为生成图表、图形和统计总结的工具。✨创建3D模型。

似乎年年都提“最难就业季”，毕竟过去几年高校毕业人数有增无减，2022年开始已经突破千万大关。但今年就业市场异常冷淡，找工作要比往年难上加上难。2024年，高校毕业生人数预计将达到 1179 万人，同比增加21万人，再创历史新高。再看另外一组数据，2024年，全国高考人数高达1353万人，比去年多了51万人，未来几年高考人数还会继续增加。可以预见未来多年内，依然有非常庞大的高校毕业生涌入就业市场，竞争会更加激烈。现在找工作有多难？网上查一下就业率数据就知道了。很多毕业生都在网上吐槽“太难了！

最近人工智能AI（Artificial Intelligence）很热门，讨论的人也越来越多。现在国内互联网大厂越来越重视AI了，开发了很多AI应用工具产品。那什么是AI，国内大厂在AI方面又做了哪些布局呢？人工智能简称AI，是一种利用计算机模拟人类智能的技术和方法。它涵盖了机器学习、深度学习、自然语言处理等多个领域，旨在让计算机能够像人类一样进行感知、理解、推理和决策。人工智能的发展离不开大模型的支持，大模型为人工智能提供了强大的计算和学习能力，使得AI技术能够不断进步和应用到更广泛的领域。

什么是量化量化是大模型领域中的一项关键技术，它通过降低模型参数的精度，将浮点数转换为整数或定点数，从而实现模型的压缩和优化。这样做的主要目的是减少模型的存储需求、加快推理速度，并降低模型的计算复杂度，使得大模型能够更高效地在资源受限的设备上运行，例如移动设备、嵌入式系统等场景。精度先来看下数据存储的基本概念bit 位是计算机中最小的数据单位，只能存储 0 或 1 两种状态。一个 bit 可以表示两种状态，即 0 或 1；byte 字节是计算机中常用的数据单位，由 8 个 bit 组成；

AI Agent（智能体）被定义为能够感知环境、做出决策并采取行动的人工智能实体。受美国汽车工程师学会（SAE）提出的自动驾驶六个级别启发，在论文**《Levels of AI Agents: from Rules to Large Language Models》**中，作者把人工智能智能体也基于效用和强度分为以下级别：L0—— 无人工智能，只有工具（具备感知能力）加上行动L1—— 使用基于规则的人工智能。

AI产品经理面试100问Attention(重点掌握)1.什么是 Attention?为什么要用 Attention?它有什么作用?2.Attention的流程是什么样的?3.普通的Attention和Transformer的Self-attention之间有什么关系?4.什么是Self-attention?Transformer(重点掌握)1.Transformer是什么，它的基本原理是什么?2.自注意力(Self-Attention)的作用是什么?它有什么优势?

9.8 和 9.11 到底哪个大？这个小学生都能答对的问题却难倒了一众大模型，很多模型输出的结果都是「9.8

前言自从去年chatgpt横空出世以来，它火爆也让大语言模型这个词变的很流行，到底什么是大语言模型，今天从初学者的角度介绍一下大语言模型的基本概念、组成部分和基本工作流程等。下面的介绍中如果涉及到一些专业术语不太理解，也没关系，只要有一个感性认识即可，毕竟我们不打算造车，只要做到自己部署开源大模型的时候，不至于脸盲就可以了。一、大语言模型特点和基本组成。

在当今这个技术日新月异的时代，AI产品经理的角色变得越来越重要。但是，你是否真正理解了AI产品经理的职责和要求？今天，我们就来深入探讨一下，什么才是一个真正的AI产品经理。产品经理与专家：决策权与提案权首先，我们需要明确一点：真正的经理是对产品设计方案有决策权的。如果一个人只有提案权，那么他更适合被称为专家。在AI领域，这一点尤为重要。一个真正的AI产品经理，应该能够对产品的设计方案做出决策，而不仅仅是提出建议。管理岗的权力：人事与成本。

一、AI产品经理工作全流程概览AI产品经理工作全流程中与普通产品经理的区别主要是多了算法模型部分，包括模型预研、数据准备、模型构建、模型宣讲、模型验收，协作的对象相对普通产品经理也多了算法工程师。二、需求定义需求定义主要要定义清楚以下几点：1、做什么?2、为什么要做，有什么收益和价值？3、业务预期目标、上线期限？为了方便理解，我们以开发一套筛选薅羊毛用户的产品进行举例说明。

在RAG应用（包括GraphRAG）中，领域知识的导入与索引是后续增强生成的基础。一个常见的问题是，当领域知识发生更新与变化时，如何用最简洁、快速、低成本的方式更新对应的向量或知识图谱索引？让我们来探讨这个问题。

大模型这个概念我是从去年这时候才了解到的，在不知道大模型之前，我甚至以为chatGPT和大模型就是同一个东西，是可以划等号的。直到国内的AI产品一茬又一茬的冒出来，我才在使用的过程中逐渐对大模型这个概念有了认识。说白了，chatGPT只是大模型的一个小小的知识范围，是一个更具体的概念，是利用大模型技术实现的聊天机器人，专注于自然语言理解和生成。而大模型是一个广泛的概念，涵盖了所有参数众多、能够执行复杂任务的机器学习模型。

小型语言模型（SLMs）因其高效性和在执行各种语言任务时所需的计算资源较少，变得越来越重要，使它们非常适合于包括设备端、移动设备、边缘设备等多种场景。在本文中，我们对小型语言模型进行了全面的综述，重点介绍了它们的架构、训练技术和模型压缩技术。1 引言尽管大型语言模型（LLMs）在广泛的基准测试和现实场景中展示了出色的性能，它们的成功却伴随着显著的成本。LLMs 的训练和运行资源密集，需耗费大量计算和数据资源。这通常意味着它们的训练和推理都需要在集中化和专业化的硬件上进行。

引言：想象这样一个场景：早晨的阳光穿透窗帘，投射在新一代智能机器人上，它正静静等待着你的第一个命令开始全新的一天。这样的场景听起来像是科幻小说里的情节，但实际上，这正是AI产品经理们工作的成果。如果你对这样的未来感到兴奋，那么你可能会考虑成为一个AI产品经理——那些创造智能产品，使它们能够融入我们日常生活的幕后英雄。AI产品经理是技术世界中的梦想家和实干家，他们早已超越了传统产品经理的界限，涉足数据、算法和用户体验的神秘领域。他们的工作不简单，却又充满挑战和刺激。

钱太多，手太痒，英雄情结在燃烧。归根结底，是中美科技公司钱太多闹的。我记得阿里千问刚开始做的时候，阿里有6000亿现金储备，纯纯的现金巨兽。现在，他们的技术负责人周畅都离职了。大模型的商业价值被高估了，应用的价值被低估了。不做大模型，才是理性的。靠水厂发大财，你要垄断市场和定价，靠技术垄断是不行的，大模型从长期来看，就是无差别的纯净水，连OpenAI都做不到技术层面上的垄断。OpenAI一直在渲染AI监管的必要性，要求打压开源。

15种典型RAG框架：卡内基梅隆大学最新RAG综述本文深入探讨了 Retrieval-Augmented Generation (RAG) 的发展历程，从基础概念到最新技术。RAG 通过结合检索与生成模型，有效提升了输出准确性，克服了 LLM 的局限。研究详细分析了 RAG 的架构，展示了检索与生成如何协同处理知识密集型任务。此外，本文还回顾了 RAG 在问答、摘要等领域的关键技术进展，并探讨了提升检索效率的新方法。

对于对 AI 感兴趣的小伙伴们来说，一定听说过大名鼎鼎的 One API 项目，它在 Github 上拥有 14.7k 的 stars 和 3.4k 的 forks，项目简介如下：OpenAI 接口管理 & 分发系统，支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元，可用于二次分发管理 key，仅单可执行文件，已打包好 Docker 镜像，一键部署，开箱即用. OpenA

作为一个产品经理，你可能已经熟悉了一些常见的AI技术和应用，比如机器学习、深度学习、自然语言处理、计算机视觉等。但是，你是否了解什么是大模型？大模型又有什么特点和优势？为什么大模型会成为AI领域的一个重要趋势？如果你想转行做大模型，你需要具备哪些基本素质和技能？你又该如何评估自己是否适合这个领域？1.转行做大模型，AI产品经理需要具备的基本素质和技能对AI技术有深入的理解和热情，能够跟进最新的研究动态和应用案例，了解大模型的原理、特点、优缺点、发展趋势等。

LoRA面经搜集总结。大家的显卡都比较吃紧，LoRA家族越来越壮大，基于LoRA出现了各种各样的改进，最近比较火的一个改进版是dora，听大家反馈口碑也不错。基于PEFT的话用4090 24G显存也可以进行大模型的微调，所以LoRA家族这块还是很有研究和实际落地的潜力。LoRA整个系列分为两个部分：1、LoRA总述2、LoRA家族演进本篇开始介绍第一部分：LoRA总述，尽量以面经问题的形式提出并解答，下面是一个快捷目录。一、概念简单介绍一下LoRALoRA的思路LoRA的特点。

文章目录前言一、大模型学习路线图二、大模型书籍1）《Python编程：从入门到实践》2）《深度学习数学基础》3）机器学习入门：《机器学习实战》4）深度学习理论与实践：《深度学习》5）《大模型应用开发极简入门：基于GPT-4和ChatGPT》零基础如何入门学习大模型👉AI大模型学习路线汇总👈👉大模型实战案例👈👉大模型视频和PDF合集👈👉学会后的收获：👈👉获取方式：前言在人工智能的浪潮中，大模型已经成为技术创新和应用突破的核心。

在RAG应用（包括GraphRAG）中，领域知识的导入与索引是后续增强生成的基础。一个常见的问题是，当领域知识发生更新与变化时，如何用最简洁、快速、低成本的方式更新对应的向量或知识图谱索引？让我们来探讨这个问题。

大模型这个概念我是从去年这时候才了解到的，在不知道大模型之前，我甚至以为chatGPT和大模型就是同一个东西，是可以划等号的。直到国内的AI产品一茬又一茬的冒出来，我才在使用的过程中逐渐对大模型这个概念有了认识。说白了，chatGPT只是大模型的一个小小的知识范围，是一个更具体的概念，是利用大模型技术实现的聊天机器人，专注于自然语言理解和生成。而大模型是一个广泛的概念，涵盖了所有参数众多、能够执行复杂任务的机器学习模型。

小型语言模型（SLMs）因其高效性和在执行各种语言任务时所需的计算资源较少，变得越来越重要，使它们非常适合于包括设备端、移动设备、边缘设备等多种场景。在本文中，我们对小型语言模型进行了全面的综述，重点介绍了它们的架构、训练技术和模型压缩技术。1 引言尽管大型语言模型（LLMs）在广泛的基准测试和现实场景中展示了出色的性能，它们的成功却伴随着显著的成本。LLMs 的训练和运行资源密集，需耗费大量计算和数据资源。这通常意味着它们的训练和推理都需要在集中化和专业化的硬件上进行。

给小伙伴们的意见是想清楚，自学网络安全没有捷径，相比而言系统的网络安全是最节省成本的方式，因为能够帮你节省大量的时间和精力成本。给自学的小伙伴们的意见是坚持住，既然已经走到这条路上，虽然前途看似困难重重，只要咬牙坚持，最终会收到你想要的效果。

使用Huggingface上的开源医疗数据集，借助 RAGFlow 搭建自己的本地医疗问诊助手。纯本地构建：本地知识库+本地向量化模型+本地大模型原理：RAGFlow是一个基于对文档深入理解的开源 RAG（检索增强生成）引擎。它的作用是可以让用户创建自有知识库，根据设定的参数对知识库中的文件进行切块处理，用户向大模型提问时，RAGFlow先查找自有知识库中的切块内容，接着把查找到的知识库数据输入到对话大模型中再生成答案输出。

使用Huggingface上的开源医疗数据集，借助 RAGFlow 搭建自己的本地医疗问诊助手。纯本地构建：本地知识库+本地向量化模型+本地大模型原理：RAGFlow是一个基于对文档深入理解的开源 RAG（检索增强生成）引擎。它的作用是可以让用户创建自有知识库，根据设定的参数对知识库中的文件进行切块处理，用户向大模型提问时，RAGFlow先查找自有知识库中的切块内容，接着把查找到的知识库数据输入到对话大模型中再生成答案输出。

作为产品经理，我们在大模型时代应该如何应对。最近我在招聘我们的AI产品经理，发现一个现象，80% 的申请者的 AI 从业经历都是从去年末到今年初开始的。我一般会问这些候选人两个问题：为什么选择这个应用方向？如果项目效果不好，你觉得问题出在哪里？他们的答案中有一些共性，我进行了提炼。第一，现阶段大多数AI产品需求是自上而下的，来自老板给的KPI，而不是真实的业务需求。第二，现在所使用的能力大多是开源模型，经过简单的封装就上线，缺乏场景的独特性和技术壁垒。

作为产品经理，我们在大模型时代应该如何应对。最近我在招聘我们的AI产品经理，发现一个现象，80% 的申请者的 AI 从业经历都是从去年末到今年初开始的。我一般会问这些候选人两个问题：为什么选择这个应用方向？如果项目效果不好，你觉得问题出在哪里？他们的答案中有一些共性，我进行了提炼。第一，现阶段大多数AI产品需求是自上而下的，来自老板给的KPI，而不是真实的业务需求。第二，现在所使用的能力大多是开源模型，经过简单的封装就上线，缺乏场景的独特性和技术壁垒。

在这个大数据、人工智能和机器学习的时代，大模型技术日新月异，给各行各业带来了前所未有的变革。作为产品经理，如何紧跟时代步伐，提升自己的专业能力呢？本文将为你揭秘大模型时代下，产品经理的进阶之路。了解大模型技术原理：要想在大模型时代立足，产品经理首先需要对大模型技术有所了解。了解其工作原理、技术特点和优劣势，才能更好地应用于产品开发中。通过阅读相关书籍、参加技术沙龙、与专业人士交流等方式，不断提升自己的技术认知。