- 博客(55)
- 收藏
- 关注
RSS订阅原创 一篇文章搞定！LLM大模型入门秘籍
我们先了解什么是大语言模型。大语言模型是一种基于深度学习的自然语言处理技术，它可以通过学习大量的文本数据，生成连贯、有逻辑的文本。大语言模型在许多领域都有广泛的应用，如文本生成、机器翻译、情感分析等。入门步骤1. 学习基础知识首先，我们需要学习一些基础知识，包括机器学习、深度学习、自然语言处理等。这些知识将为我们学习大语言模型打下坚实的基础。编程语言：大多数LLM相关的库和框架都是用Python编写的，因此掌握Python是必不可少的。开发环境。
2024-09-18 11:39:21
554
1
原创 LangChain之网络爬虫_langchain网络爬虫
网络爬虫是LangChain中的一项关键功能，允许用户自动从互联网上收集信息。这项功能对于研究和数据收集尤其有价值，因为它可以大幅减少手动搜索和信息整理的工作量。
2024-09-17 16:00:00
1569
原创 这样图解Transformer应该没人看不懂了吧！
Transformer架构在处理本质上具有序列特性的文本数据方面表现出色。它以一个文本序列作为输入，并产生另一个文本序列作为输出，例如将输入的英文句子翻译成西班牙语。其核心由多层编码器（Encoder）和解码器（Decoder）堆叠而成。为避免混淆，我们将单个层称为编码器或解码器，而将一组编码器层称为编码器栈（Encoder Stack），一组解码器层称为解码器栈（Decoder Stack）。编码器栈和解码器栈各自为其输入配备了相应的嵌入层（Embedding Layer）。
2024-09-17 08:30:00
1071
原创 写给大模型新人的经验，刷到少走三年弯路！
最后，给准备入场大模型的新人几点建议：不要只关心 finetune，SFT，RLHF，作为系统性学习是 OK 的，切忌花太多精力。想做应用的，建议 focus 到某个垂直领域，比如对话机器人，问答系统，金融/医疗/教育方向，找一个具体的场景，把它做好，做深。多关心数据，data pipeline，高质量训练/测试集的构建经验，对数据的sense，是最直接，也是最适合用到未来工作当中的。大模型不只有算法，也可以有工程。
2024-09-16 08:00:00
1827
原创 算法秋招的同学，推荐两个准备面试的神器！
我们都知道，手撕代码是算法面试中必不可少的一环，甚至可以说一定程度上决定了面试的成败。今天推荐的两个神器均和手撕代码有关，第一个是，号称 AI LeetCode，主要是对一些算法相关的内容，像 LeetCode 那样手写提交。目前有30多道题目还不是很多，不过相信过不了多久，大家一起贡献下，题目会越来越多，类似手撕Transformer，bert等高频题目也会有，大家可以持续关祝。第二个是。
2024-09-15 18:45:00
937
原创 AIGC行业最缺这三种人才，文科生和商科生也能转行？
当下AIGC的概念非常火热。自20年前开始从事机器学习、自然语言处理到现在，我们历经了整个行业的技术变化，在这里，简单将AI行业的发展分为三个阶段。AI 1.0时代也就是之前较为传统的AI发展模式，这一阶段的AI表现与发展主要是基于深度学习。在2012年“深度学习”出现之后，AI迎来了它发展的第一波高潮，开始实现落地。具体的应用包括图像识别，人脸识别，机器翻译等等。简单来讲，就是目前基于大模型的时代。
2024-09-15 12:30:00
1342
原创 AI 与大模型如何助力金融研发效能最大化？
在金融行业，技术创新与严格合规的需求并行存在，推动着研发团队不断寻求更高效的解决方案。面对日益增长的市场竞争和技术进步，金融机构必须迅速适应变化，同时确保所有创新措施都符合监管要求。这种需求催生了对高效研发流程和先进技术应用的追求。在日前的 InfoQ《超级连麦. 数智大脑》x FCon 直播中，我们邀请到以及，深入探讨了在金融研发中提升效能的有效策略，如何选择合适的技术栈和架构设计，以及如何利用 AI、大模型和低代码等技术优化研发流程、加速产品交付。
2024-09-14 11:32:53
1042
原创 从零开始：AI产品经理的入门路线图
AI技术的核心是模仿人类的学习和决策过程，以在特定任务上达到并超越人类的表现。机器学习是实现AI的一种手段，它使计算机能够通过数据学习和改进。在机器学习中，算法通过对大量数据的分析学习，捕捉数据的模式和规律，并用于预测或分类任务。深度学习是机器学习的一个分支，它以人工神经网络为基础，尤其善于处理视觉和语言识别问题。深度学习模型通常需要海量的数据来训练，它可以识别和利用这些数据中的复杂模式。AI产品经理需要理解这些原理，才能准确地与团队成员和利益相关方沟通，并作出明智的决策。
2024-09-14 11:29:35
1132
原创 吴恩达力荐LangChain经典课程-《LangChain大型语言模型(LLM)应用开发》免费分享
LangChain是一个开源框架，旨在帮助人工智能开发者将大语言模型（如GPT-4）与外部计算和数据源结合起来。这个框架提供了Python和JavaScript包，使开发者能够轻松地将自己的数据与大语言模型连接起来，从而实现更复杂的人工智能应用。LangChain的创始人是哈里森·蔡斯和安库什·戈拉，他们于2023年在美国加利福尼亚州创建了这家人工智能公司。哈里森·蔡斯担任首席执行官。
2024-09-13 17:46:16
1114
原创 基于LangChain手工测试用例生成工具
在编写测试用例的过程中，测试工程师会通过需求文档，研发的概要设计等信息编写测试用例，测试用例的输出格式常常为思维导图或者excel等数据信息。在以上的流程中，一个测试工程师可以根据比较详细的需求文档以及研发的概要设计输出对应的测试点，以及测试用例。而如果和人工智能进行结合的话，人工智能代替的工作就是测试工程师目前的位置。接下来，则通过一个小实战练习完成整个流程，以下为某个产品的需求文档。实战要完成具体的操作为，根据对应的需求文档，生成一个思维导图。
2024-09-13 17:45:27
789
原创 2024年重磅报告！国内AI大模型产业飞速发展！
文心一言是百度研发的人工智能大语言模型产品，具备跨模态、跨语言的深度语义理解与生成能力，在文学创作、文案创作、搜索问答、多模态生成、数理逻辑推算等众多领域都能为用户提供高质量服务。文心一言拥有四大基础能力：理解能力、生成能力、逻辑能力、记忆能力。（2）大模型优势：2023 年 10 月发布的“文心大模型 4.0”，相比上一代文心大模型，四大能力显著升级，其中逻辑提升幅度是理解的 3 倍，记忆提升幅度是理解的 2 倍。
2024-09-12 11:25:31
2542
原创 快速上手LangChain！新手必读的入门指南！
LangServe可以帮助开发人员将LangChain应用程序部署为REST API。使用LangChain时不是必定使用LangServe。安装langservepython复制代码。
2024-09-12 10:44:09
725
原创 应对AI时代挑战：程序员如何通过学习大模型开发来减轻焦虑？
在上面的实践中，我们成功让一个只能解决通用问题的社区 AI 工具学习到了私域知识。在定制通用工具的过程中，我们不止可以产出更趁手的 AI 工具，同时还能加深对 AI 领域知识的了解。此外，在上文提到的 Dify 知识库创建中，平台会先使用文本分割技术将我们传入的技术文档分割成一个个碎片，在每次请求 OpenAI 时，会使用嵌入技术动态选择最关联的碎片，因此 OpenAI API 无法一次性获取完整地私域文档知识，进而在一定程度上保障了企业信息安全。
2024-09-11 11:25:18
1199
原创 缺乏大模型经验，还有机会吗？
做CV 的候选人还能背两句 DP 和 DDP 区别的八股，做 NLP 的候选人，在最需要并行的研究领域，却完全不知道 DP 是什么。类似地，如果候选人做过大模型训练，却不知道什么是 MFU，不知道Megatron 启动的命令行参数“含义是什么[1]…都属于负分经历，像。
2024-09-11 11:22:38
1980
原创 大语言模型 (LLM) 窥探未来
随着我们对大语言模型（LLM）的理解越来越深刻，我们发现自己站在了人工智能发展的一个新的门槛上。这些模型不仅是技术上的壮举，也是人类知识与创造力的集大成者。从提升业务流程的效率到拓展教育的边界，从增强创新能力到改善人机交互，LLM 的潜力几乎无所不包。然而，正如所有前沿技术一样，LLM的发展之路充满了挑战和责任。随着我们继续探索这些工具的可能性，有必要谨慎考虑它们对社会、伦理和人类价值的影响。我们必须聆听多样的声音，确保我们的技术进步不仅仅是一项科学的胜利，更是对公平、透明和包容原则的坚持。
2024-09-11 11:13:21
840
转载 为何整个 AI 领域都朝着 AI Agents 这一方向发展？
文章的核心内容是阐释和探索 “AI Agents” 这一概念，这种技术将在决定和影响未来发展方向上变得越来越关键。期望读者能通过阅读本文对 “AI Agents” 有一个全方位的认识，不仅掌握它们的基本特性，还能了解到它们是如何被运用于各种行业场景中的。接下来，本文将展开讨论这些内容。
2024-07-05 11:23:41
706
转载 探索 LLMs 在数据标注中的应用潜力：观察、思考与前景展望
目前，LLMs 在机器翻译、文本生成、多轮问答等任务上已表现得非常出色了。人们开始思考它们是否也可以用于数据标注工作。数据标注是训练和评估各种机器学习模型的基础，一直是一项昂贵且耗时的工作。是否能够借助 LLMs 的强大能力来为数据标注流程降本增效呢？本文深入探讨了这一问题。本文作者从业界最新研究入手，全面评估了 LLMs 在数据标注领域的应用前景。
2024-07-05 11:22:24
929
原创 AI大模型全攻略：从零基础到精通的详尽入门指南
AI大模型，作为人工智能领域的璀璨明珠，是依托海量数据与尖端计算能力精心雕琢的智慧结晶。这些模型不仅拥有令人瞩目的准确性，更展现出卓越的泛化能力，轻松跨越自然语言处理、图像识别、语音识别等多个复杂领域，为人类社会带来了前所未有的变革与机遇。
2024-07-04 14:34:19
1283
原创 Next-Level Agents：释放动态上下文（Dynamic Context）的巨大潜力
本文深入探讨了如何通过优化动态上下文信息（Dynamic Context）来提升 AI Agents 的工作效率和准确性。文章首先概述了五种常见的技术策略，包括信息标识(Message Labeling)、针对不同需求设定不同上下文、优化系统提示词(System Prompts)、精简 RAG 系统中冗余信息，以及其他处理上下文的高级策略。
2024-07-04 10:47:32
1187
原创 精打细算用好 LLMs ：LLM 落地应用成本及响应延迟优化
LLMs 被视为 AI 领域的一个里程碑式的突破，但要将其应用于实际生产环境，并且还能用对、用好并非易事。模型的使用成本和响应延迟是目前将大语言模型（LLMs）应用于生产环境中的核心难题之一。在本期刊载的这篇文章中，作者从自身项目的实践经验出发，分享了一系列实用技巧，帮助优化 LLM Prompt ，能够一定程度上降低大模型的使用成本和响应延迟。文章首先解析了导致高成本和高延迟的根源在于输入输出 tokens 的数量，而非任务本身的复杂度。
2024-07-04 10:46:11
1012
原创 手撕LLM，弄懂这些，你大模型就算入门了
手撕LLM，不仅是对其技术细节的深入剖析，更是对人工智能未来可能性的深刻思考。通过理解LLM的基本原理、关键技术、应用与挑战，我们不仅能够掌握这一领域的入门知识，还能为未来的创新与发展奠定坚实的基础。在这个过程中，让我们保持好奇心与探索精神，共同见证人工智能的无限可能。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。
2024-07-03 11:28:47
1393
转载 Netflix 机器学习科学家的提示词优化经验分享
得益于大语言模型基于文本对话的简单交互界面，使用它们已不再是专业人士（数据科学家或机器学习工程师（MLE））的“私房菜”。普通大众只要掌握一定的语言能力，就可以直接与这些模型对话交互，借助它们的能力解决较为复杂的问题。不过，在使用 LLM 解决问题时，我们得到的结果很大程度上取决于提供给模型的文本提示词。由于这个原因，提示词工程（通过大量的实证试验和反复优化，指导如何为特定任务设计高质量的prompt）变得极其受欢迎和具有影响力，行业目前已经积累了诸多有效的技术手段和优秀的实践方法。
2024-07-03 11:21:35
907
原创 检索生成(RAG) vs 长文本大模型：实际应用中如何选择？
大模型的上下文理解能力直接影响到 LLMs 在复杂任务和长对话中的表现。本期内容聚焦于两种主流技术：长上下文(Large Context Windows)和检索增强生成(RAG)。这两种技术各有何优势？在实际应用中，我们又该如何权衡选择？文章不仅详细阐述了这两种技术的工作原理，还深入分析了它们在效率、准确性和实施成本等方面的差异。文章特别提到了在执行重复性任务时使用 Context Caching 优化长上下文的优势，然而，缓存策略的效果很大程度上取决于提示词的可预测性。
2024-07-03 11:20:02
1037
原创 OpenAI突发新模型：用GPT改进GPT训练，左脚踩右脚登天，RLHF突破人类能力上限
OpenAI突然发布新模型！。，用于给代码挑Bug时能找到75%以上，而相比之下人类只能找到不到25%。它还可以给Bug写“锐评”，在60%的情况下人类训练师更喜欢有CriticGPT帮助下的批评。有网友开玩笑说，“只会批评的GPT，这不是我前妻么”。但这项研究最重要之处在于，CriticGPT挑错能力可以泛化到代码之外。比如在RLHF训练中给AI的输出挑错，而且。更好的RLHF就能训练出更强的模型，更强的模型又能通过更好地挑错来增强RLHF训练……左脚踩右脚上天，难道真的被这帮人给搞出来了？
2024-07-02 11:28:55
821
原创 AI太火，今年更缺人了 （含实习）
AI太火了！眼睛一睁一闭，一大堆新鲜出炉的前沿科技进展已经塞满未读列表。许多公司更是开出了高薪，如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。
2024-07-02 11:27:02
429
原创 华东师范大学的老师 上课已经用上了大模型
高校师生在信息化应用中，不仅要数字化，更要智慧化，要让技术深度融入教学、科研、管理、生活的方方面面，带来实实在在的效率提升与体验优化。所有这些要求，汇成一句话，就是对新时期的IT产品和服务提出了更高要求，既要让使用者简单易上手，又要保障系统的安全稳定运行，这需要厂商深入了解教育的业务特点，围绕师生核心需求点或痛点来设计方案，并提供贴身的实施交付与运营维护服务。
2024-06-30 16:14:40
923
原创 扛鼎中国AI搜索，天工凭什么？
这就像一家公司有多个部门，在做决策的时候，公司的CEO可以听从市场部、生产部、策划部甚至财务部相关专业领导的建议，最终产生最优的决策。按照以往经验，较大的模型通常有更好的性能，但代价是更大的计算需求。MoE偏偏不认这个邪，它通过计算量大大减少的模型预训练来挑战这一规则。MoE模型提升了模型规模，但是却没有因此成倍地增加推理成本，MoE技术上的可持续性，被认为是下阶段大模型发展破局的突破口。而昆仑万维正式推出的新版MoE大语言模型「
2024-06-30 16:10:58
1720
原创 被大模型折腾不行了，奉劝不要轻易入行
科技的进步，生产力就很容易提升，进而就是不需要过多的人。最近在尝试借助一些工具，提升做事的效率，初步试验感觉很不错。网络上所有的东西，确实都可以利用新平台重做一遍。现在火的东西越来越让人看不懂，一首挖呀挖火遍全网，看完后感触是什么？内容越简单越直白，其实更容易火，越是高深的东西，火的概率越小。你看有深度的电影，票房大概率不高，但爆米花电影就不一样。别给自己过多的心理负担，什么都要去尝试，说不定有些东西就突然火了。
2024-06-29 17:49:09
1016
原创 什么是机器学习,机器学习与人工智能（二）机器学习的类型
的一个分支，专注于开发模型和算法，让计算机从数据中学习并从以前的经验中改进，而无需为每项任务进行显式编程。简而言之，机器学习通过从数据中学习，教会系统像人类一样思考和理解。通常是一种从过去的经验中学习并随着时间的推移提高性能的培训系统。有助于预测大量数据。它有助于提供快速、准确的结果以获得盈利机会。
2024-06-29 17:48:13
868
原创 2024最新最全【大模型学习路线规划】零基础入门到精通！
目标：了解大模型的基本概念和背景。内容：人工智能演进与大模型兴起。大模型定义及通用人工智能定义。GPT模型的发展历程。目标：深入学习大模型的关键技术和工作原理。内容：算法的创新、计算能力的提升。数据的可用性与规模性、软件与工具的进步。生成式模型与大语言模型。Transformer架构解析。预训练、SFT、RLHF。目标：掌握大模型开发所需的编程基础和工具。内容：Python编程基础。Python常用库和工具。提示工程基础。目标：通过实战项目深化理论知识和提升应用能力。
2024-06-28 10:28:44
993
原创 机器学习和人工智能之间的区别
人工智能（AI）和机器学习（ML）是更广泛的计算机科学领域中两个密切相关但又不同的领域。人工智能是一门专注于创建智能机器的学科，这些机器可以执行通常需要人类智能的任务，例如视觉感知、语音识别、决策和自然语言处理。它涉及开发可以根据输入数据进行推理、学习和决策的算法和系统。另一方面，机器学习 (ML) 是人工智能的一个子领域，涉及教导机器从数据中学习，而无需明确编程。机器学习算法可以识别数据的模式和趋势，并使用它们来做出预测和决策。
2024-06-28 10:27:30
2930
原创 AI 实战：手把手教你使用「扣子/coze」来搭建个人blog知识库
从 2022 年的 OpenAI 的ChatGPT3.5发布，AI 技术迅速火遍全宇宙。全人类开始都在讨论 AI 技术的未来和人类自己的未来。比如“AI 是否能够替代人类”、“AI 究竟是什么？”、“AI是否能增加每个人的失业风险”、“安全与隐私问题如何平衡”、“AI 是否会导致社会的不平等问题加剧？”等等的话题。2023 年是可以说是 AI 技术的发展元年。很多有能力的公司都在做自己的LLM文心一言Qwen云雀语言大模型Genimi天工大模型混元大模型ChatGLM2Llama2GPT-4。
2024-06-28 10:22:40
4167
原创 AI产品经理如何快速接手一个新产品？
，我们具体看看。**一、了解**首先，我们要先来了解这个产品，不管是已经成型的，还是你要计划去做的。1.了解产品的定位、背景、愿景。2.了解产品的目标用户人群。3.了解产品的功能、特点。4.了解产品当前存在的问题。5.如果你感兴趣，还可以了解下产品的技术问题，比如技术架构，使用的开发语言，系统框架，数据库，服务器等。6.了解的方法：1）
2024-06-27 11:51:04
1054
原创 人工神经网络是什么，其应用有哪些？
当你阅读这篇文章时，你身体的哪个器官正在考虑它？当然是大脑！但是你知道大脑是如何工作的吗？嗯，它有神经元或神经细胞，它们是大脑和神经系统的主要单位。这些神经元接收来自外部世界的感觉输入，它们对其进行处理，然后提供输出，这些输出可能充当下一个神经元的输入。这些神经元中的每一个都以突触的复杂排列与其他神经元相连。现在，你想知道这与人工神经网络有什么关系吗？好吧，人工神经网络是以人脑中的神经元为模型的。让我们详细看看它们是什么以及它们如何学习信息。
2024-06-27 11:48:05
988
原创 速度秒掉GPT-4o、22B击败Llama 3 70B，Mistral AI开放首个代码模型
对标 OpenAI 的法国 AI 独角兽 Mistral AI 有了新动作：首个代码大模型 Codestral 诞生了。作为一个专为代码生成任务设计的开放式生成 AI 模型，Codestral 通过共享指令和补全 API 端点帮助开发人员编写并与代码交互。Codestral 精通代码和英语，因而可为软件开发人员设计高级 AI 应用。Codestral 的参数规模为 22B，遵循新的 Mistral AI Non-Production License，可以用于研究和测试目的，但禁止商用。
2024-06-26 11:11:06
976
原创 使用langchain搭建本地知识库系统(新)
RAG是的缩写，翻译为中文的意思就检索增强，以基于最新，最准确的数据建立LLM的语料知识库。LLMLangChain是一个用于开发由语言模型驱动的应用程序的框架。具有上下文感知能力：将语言模型与上下文源（提示说明、少量镜头示例、基于其响应的内容等）联系起来。原因：依靠语言模型进行推理（关于如何根据提供的上下文回答，采取什么行动等）py复制代码 import osos.environ["QIANFAN_AK"] = "" # 这里需要修改为自己的实际值。
2024-06-26 11:09:34
1094
原创 AI产品经理薪资揭秘与零基础转行攻略
随着人工智能技术的蓬勃发展，AI产品经理这一岗位逐渐成为了市场上的热门选择。关于AI产品经理的薪资水平，很多人都有一个普遍的认知：高薪。那么，AI产品经理的薪资是否真如传闻中那样30k起步呢？零基础的人又能否成功转行成为AI产品经理呢？本文将为您揭秘AI产品经理的薪资真相，并提供零基础转行的实用攻略。一、AI产品经理薪资揭秘AI产品经理的薪资水平确实相对较高，但并非所有AI产品经理的薪资都能达到30k起步。
2024-06-25 13:41:56
2211
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人