- 博客(301)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 AIGC学习笔记（7）——AI大模型开发工程师
LangChain是一个用于开发由大型语言模型（LLM）驱动的应用程序的框架。LangChain简化了LLM应用程序生命周期的每个阶段：开发：使用LangChain的开源构建块、组件和第三方集成来构建您的应用程序。使用LangGraph构建支持一流的流处理和人在环中支持的有状态代理。生产化：使用LangSmith检查、监控和评估您的链，以便您可以持续优化并有信心地部署。部署：使用LangGraph Cloud将您的LangGraph应用程序转变为生产就绪的API和助手。LangChain。
2024-11-26 09:44:41
961
原创 AI大模型开发架构设计（20）——LLM大模型微调（Fine-tuning）实战
Byte-Pair Encoding（BPE）构建步骤。：训练数据量多，模型参数量大，计算量大，单机训练时间久。2、张量并行：因模型结构而异，实现难度大。神经网络的最基础的一个神经元计算单元。流水线并行（inter-layer）张量并行（intra-layer）1、数据并行：计算效率高，实现简单。大语言模型预训练之3D并行实例。：模型参数量太大，显存不够用。大语音模型预训练之流水线并行。3、流水线并行：通信成本最低。数据并行三个提高效率的技巧。大语音模型预训练之张量并行。LLM 大模型分词案例。
2024-11-26 09:42:40
832
原创 AIGC学习笔记（6）——AI大模型开发工程师
PDF文档操作读取文档表格操作github开源代码实现：项目地址：https://github.com/shouwangyw/AIGC/tree/main/Code/005/ai-translator-helper
2024-11-23 21:40:11
723
1
原创 AI大模型开发架构设计（19）——大模型向量数据库企业级应用实践
关系型数据库：MySQL结构化数据精确匹配非关系型数据库：NoSQL非结构化数据精确匹配那么，什么是向量数据库？——非结构化数据模糊匹配向量数据库是一种以向量嵌入（高维向量）方式存储和管理费结构化数据的数据库。数据如何向量化表达？
2024-11-23 21:35:13
1513
原创 AIGC学习笔记（5）——AI大模型开发工程师
创建包含JSON对象的列表# 指定保存文件的路径# 将JSON数据写入本地文件file_path = 'result.json' # 创建包含JSON对象的列表 json_data = [ {
2024-11-13 21:39:34
1436
原创 AI大模型开发架构设计（18）——基于大模型构建企业知识库案例实战
高质量的知识语料清晰且语义化的数据结构合理的 Embedding Model 选型以及参数 chunkSize, chunkOverlap 合理设置大小使用工程技术优化上下文问题优化用户输入，提升召回精度。
2024-11-13 21:33:13
971
原创 AIGC学习笔记（4）——AI大模型开发工程师
1、Completion API和Chat Completion API2、Chat Completion API详细参数3、Function Calling 函数调用4、ChatGPT Plugin实践
2024-10-31 09:43:44
1147
原创 AIGC学习笔记（3）——AI大模型开发工程师
OpenAI账户注册OpenAI GPT费用计算OpenAI Key获取与配置OpenAI 大模型总览WildCard申请虚拟账户
2024-10-28 08:35:12
1115
原创 AI大模型开发架构设计（16）——ChatGPT Code Interpreter应用场景和技术原理动手实践
Code Interpreter 应用场景解析Code Interpreter 技术架构深度剖析基于 LangChain 实现一个 Code Interpreter
2024-10-26 10:38:32
1153
原创 AI大模型开发架构设计（15）——从原理到实现教你做出一个ChatGPT
GPT技术演进剖析如何训练一个ChatGPTChatGPT在线工程架构设计与实现
2024-10-26 10:34:32
710
原创 AI大模型开发架构设计（14）——基于LangChain大模型的案例架构实战
LangChain 顶层架构设计以及关键技术剖析基于 LangChain 的 LLM 应用架构揭秘
2024-10-20 13:33:32
1509
原创 AI大模型开发架构设计（13）——LLM大模型的向量数据库应用实战
大模型的局限性向量数据库使用场景以及改建大模型向量数据库应用技术架构剖析利用向量检索构建知识库案例
2024-10-20 13:28:03
1394
原创 AI大模型开发架构设计（11）——AI 大模型与提示词工程助力职场典型案例场景实战
AI大模型全局架构实战剖析Prompt Engineering 整体应用场景剖析提示词工程不能淘汰程序员的7个原因
2024-10-13 20:36:20
840
原创 AI大模型开发架构设计（8）——从 AI 编程助手到 AI Agent 应用实战
Python 是不是构建 AI Agents 的最好语言？Code Review Bot 无状态设计 & 运行部署。设计 Lightweight AI Agents。当人类询问是否会下雨时?降低 LLM 幻觉的方法。
2024-02-02 08:10:00
1229
原创 AI大模型开发架构设计（6）——AIGC时代，如何求职、转型与选择？
AIGC 新时代，已有的工作机会会不会减少?AIGC新时代，我们到底要学什么？AIGC新时代，我们怎么应对？
2024-01-27 18:02:11
619
原创 AI大模型开发架构设计（5）——人人能学会的Llama-2大模型微调
Meta联合微软在 2023年7月19日，共同宣布开源了 Llama-2 大模型亚马逊 Azure、Huggingface 等都宣布提供 Llama-2 云服务器阿里云、腾讯云、百度云等也都提供了 Llama-2 云服务Llama-2不但免费，还可以商业化使用有机会打破 ChatGPT 的垄断地位，进一步降低开发者的使用成本。
2024-01-27 17:59:45
1548
原创 AI大模型开发架构设计（4）——人人需要掌握的大模型微调
- Prompt Engineer（提示词工程）- LangChain（一个框架的名字）- Fine-tuning（微调）
2024-01-21 23:09:40
2545
原创 AI大模型开发架构设计（2）——AI绘画技术架构&应用实践
Diffusion Model(扩散模型)→Image Information Creator。Decode Model(扩散模型)→放大 Diffusion Model 的输出到完整图像。Language Model(语言模型)→Text Encoder(文本编码)训练Encoder模型。
2024-01-20 11:11:39
1476
1
原创 AI大模型开发架构设计（1）——LLM大模型Agent剖析和应用案例实战
LLM Agent 可以理解为一个以 LLM 为大脑的智能体(类比人)，集成了规划、记忆、工具使用等能力。当“记忆”非常多时，如何在大量“记忆”力快速找到最相关的那些“记忆”?Auto-GPT 的效果很大程度上归功于它复杂的。工具使用能力-function calling。工具使用能力-HuggingGPT。Auto-GPT 的主要框架设计。CoT任务拆解的缺陷是什么？LLM和传统规划方式结合。Auto-GPT 的输出。LLM + 向量数据库。LLM的记忆是什么？
2024-01-20 10:14:40
4802
1
原创 AIGC学习笔记（1）——AI大模型提示词工程师
1、Prompt工程之原理2、Prompt工程之原则3、Prompt工程之迭代4、Prompt工程之应用
2024-01-06 17:35:59
2666
5
原创 数据结构与算法（六）
1、四边形不等式技巧2、状态压缩的动态规划3、DC3生成后缀数组4、后缀数组解决面试题5、动态规划猜法中和外部信息简化的相关问题6、哈夫曼树7、最大网络流算法之Dinic算法
2024-01-05 09:14:14
417
原创 数据结构与算法（五）
1、哈希函数2、资源限制类题目3、有序表4、根据对数器找规律、根据数据量猜解法5、分治技巧、卡特兰数6、子数组达到规定累加和的最大长度系列问题、矩阵处理技巧题
2023-12-29 17:35:50
889
原创 数据结构与算法（四）
1、单调栈；2、KMP算法；3、Manacher算法；4、蓄水池算法；5、二叉树的Morris遍历；6、线段树；7、IndexTree；8、AC自动机
2023-12-11 08:10:04
1022
原创 数据结构与算法（三）
1、链表及其相关面试题2、二叉树常见面试题和二叉树的递归套路3、贪心算法4、并查集5、图的数据结构、宽度&深度优先遍历6、最小生成树、最短路径问题
2023-10-14 22:58:14
217
原创 数据结构与算法（二）
1、时间复杂度、空间复杂度、排序算法和二分法2、异或运算3、单双链表4、归并排序5、堆排序6、快速快速7、前缀树8、基数排序
2023-09-23 23:15:49
230
原创 多线程与高并发——并发编程（7）
1、CountDownLatch应用&源码分析2、CyclicBarrier应用&源码分析3、Semaphone应用&源码分析
2023-09-10 19:47:39
194
原创 多线程与高并发——并发编程（6）
1、ConcurrentHashMap的存储原理2、ConcurrentHashMap的扩容原理3、ConcurrentHashMap的红黑树操作原理4、ConcurrentHashMap的计数器5、CopyOnWriteArrayList的实现原理
2023-09-09 23:31:16
546
原创 多线程与高并发——并发编程（5）
1、什么是线程池2、JDK自带的构建线程池的方式3、ThreadPoolExecutor应用&源码剖析4、ScheduleThreadPoolExecutor应用&源码剖析
2023-09-09 15:50:32
160
原创 多线程与高并发——并发编程（4）
1、阻塞队列基本概念2、ArrayBlockingQueue原理3、LinkedBlockingQueue原理4、PriorityBlockingQueue原理5、DelayQueue原理6、SynchronousQueue原理
2023-09-03 20:39:00
2300
原创 多线程与高并发——并发编程（3）
1、锁的分类2、深入synchronized3、深入ReentrantLock4、深入ReentrantReadWriteLock
2023-08-31 23:02:55
245
原创 多线程与高并发——并发编程（2）
介绍并发编程的三大特性：原子性、可见性、有序性synchronized、CAS、Lock锁、ThreadLocal
2023-08-25 21:54:29
203
azkaban-4.0.0编译安装包.zip
2022-01-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人