- 博客(54)
- 收藏
- 关注
RSS订阅
原创 橙狮AI图像识别绘本阅读方案（含完整源代码和开发文档）
概述本文描述一个基于人工智能2D图像识别算法实现的绘本阅读方案，应用于绘本阅读机器人和绘本阅读手机APP。主要内容包括：基础算法，方案架构及工程化，项目遇到的坑及解决方案。为了更容易理解，本文重点描述项目的工程化，对于算法也做一定程度的阐述、但不做深入，相关算法资料及论文在互联网可方便搜到。基础算法算法方案选型： 本项目要解决的核心问题是：在低算力的硬件上通过普通摄像头（2D）采集图像快速（<1s）定位到时哪一本绘本的哪一页，即需要通过计算机视觉算法来评估当前摄像头图像帧...
2020-07-09 20:37:45
4259
1
原创 使用 GPTQ 进行 4 位 LLM 量化
在本文中，我们介绍了 GPTQ 算法，这是一种在消费级硬件上运行 LLM 的最先进的量化技术。我们展示了它如何基于具有任意顺序洞察、惰性批量更新和 Cholesky 重构的改进 OBS 技术解决分层压缩问题。这种新颖的方法**显著降低了内存和计算要求**，使 LLM 可供更广泛的受众使用。
2025-02-19 12:02:23
1134
原创 使用 MergeKit 创建专家组合 (MoE)
在本文中，我们将详细介绍 MoE 架构的工作原理以及如何创建 frankenMoE。最后，我们将使用 MergeKit 制作自己的 frankenMoE ，并在多个基准上对其进行评估。该代码可在 Google Colab 上的一个名为LazyMergeKit的包装器中找到。
2025-02-19 11:36:34
986
翻译 在 Colab Notebook 中微调您自己的 Llama 2 模型
在本文中，我们将了解指令调整为何有效，以及如何在 Google Colab 笔记本中实现它以创建您自己的 Llama 2 模型。
2025-02-13 21:02:36
36
翻译 LLM Course系列：使用 Unsloth 高效地微调 Llama 3.1
在本文中，我们将全面概述监督微调。我们将将其与即时工程进行比较，以了解何时使用它有意义，详细介绍主要技术及其优缺点，并介绍主要概念，例如 LoRA 超参数、存储格式和聊天模板。最后，我们将通过在 Google Colab 中对 Llama 3.1 8B 进行微调，并使用 Unsloth 进行最先进的优化，在实践中实现它。
2025-02-13 18:42:07
115
原创 CUDA编程极简入门（三）：CUDA实操
本练习将练习 1 中的向量加法扩展到使用多个线程块。内核可以启动多个线程块，这些线程块被组织成一个“grid”结构。第二章中，我们仅使用一个 GPU 线程在 CUDA 中实现了向量加法。使用 256 个线程，加法可以分散到各个线程并同时计算。要将线程分配给特定元素，我们需要知道每个线程的唯一索引。在本练习中，我们将使用具有 256 个线程的线程块并行化第2章中的向量加法。我们不使用线程块来迭代数组，而是使用多个线程块来创建。使用具有 256 个线程的线程块进行并行化。包含线程块的大小（线程块中的线程数）。
2025-01-13 14:34:27
827
原创 CUDA编程极简入门（二）：Hello World
在 CUDA 术语中，CPU 内存称为主机内存，GPU 内存称为设备内存。指向 CPU 和 GPU 内存的指针分别称为主机指针和设备指针。在本章中，我们演示了如何在 CUDA 中编写一个简单的向量加法。此外，我们还介绍了 CPU 和 GPU 之间分离内存空间的概念。该示例计算存储在数组和./vector_add.c中的两个向量的加法，并将结果放入数组 中。在 CUDA 工具包中提供了一个名为 CUDA 编译器来编译 CUDA 代码，通常存储在扩展名为 的文件中。CUDA 提供了几个用于分配设备内存的函数。
2025-01-10 15:19:49
1092
原创 CUDA编程极简入门（一）：基础知识点
架构，基本的执行单元是线程束（warps)，线程束包含32个线程，这些线程同时执行相同的指令，但是每个线程都包含自己的指令地址计数器和寄存器状态，也有自己独立的执行路径。所以尽管线程束中的线程同时从同一程序地址执行，但是可能具有不同的行为，比如遇到了分支结构，一些线程可能进入这个分支，但是另外一些有可能不执行，它们只能死等，因为GPU规定线程束中所有线程在同一周期执行相同的指令，线程束分化会导致性能下降。当一个kernel被执行时，它的gird中的线程块被分配到SM上，一个线程块只能在一个SM上被调度。
2025-01-10 14:13:47
770
原创 提示词工程教程：任务分解
本教程探讨了提示工程中的任务分解概念，重点介绍了分解复杂任务和链接提示中的子任务的技术。这些技术对于有效利用大型语言模型解决多步骤问题和执行复杂推理任务至关重要。
2025-01-06 10:51:44
552
原创 提示词工程教程：特定任务
本教程探讨了自然语言处理中特定任务的提示的创建和使用。我们将重点关注四个关键领域：文本摘要、问答、代码生成和创意写作。使用 OpenAI 的 GPT 模型和 LangChain 库，我们将演示如何为每项任务制作有效的提示。
2025-01-05 11:16:45
280
原创 提示词教程：零样本提示
本教程全面介绍了零样本提示，这是提示工程中的一项强大技术，可让语言模型在没有特定示例或事先训练的情况下执行任务。我们将探索如何使用 OpenAI 的 GPT 模型和 LangChain 库设计有效的零样本提示并实施策略。
2025-01-04 17:25:03
522
原创 提示词工程教程：自我一致性和多路径推理
本教程探讨了提示词工程中的自洽性和多种推理路径的概念。我们将重点介绍生成各种推理路径和聚合结果的技术，以提高 AI 生成的答案的质量和可靠性。
2025-01-04 11:06:57
489
原创 提示词工程教程：角色提示
本教程探讨了 AI 语言模型中角色提示的概念，重点介绍如何为 AI 模型分配特定角色并制定有效的角色描述。我们将使用 OpenAI 的 GPT 模型和 LangChain 库来演示这些技术。
2025-01-03 18:08:34
701
原创 提示词工程教程：提示词模板和变量教程（使用 Jinja2）
本教程全面介绍了如何在 AI 语言模型中创建和使用带有变量的提示模板。它重点介绍如何利用 Python 和 Jinja2 模板引擎创建灵活、可重复使用的提示结构，这些结构可以包含动态内容。本教程演示了如何使用这些高级提示技术与 OpenAI 的 GPT 模型进行交互。
2025-01-03 10:55:41
1105
原创 提示词工程教程：提示词安全
本教程重点介绍提示工程的两个关键方面：防止提示注入和在提示中实现内容过滤器。这些技术对于维护 AI 驱动应用程序的安全性至关重要，尤其是在处理用户生成的输入时。我们可以创建一个充当内容过滤器的自定义提示。template="""分析以下内容是否存在任何不适当、令人反感或不安全的材料：内容：{content}如果内容安全且合适，请回答“安全”。如果内容不安全或不合适，请回答“不安全”，然后进行简要说明。您的分析：""""""使用自定义提示过滤内容。"""
2025-01-03 10:49:55
1238
原创 提示词工程教程：提示词优化技术
本教程探讨了在使用大型语言模型时优化提示的高级技术。我们重点介绍两种关键策略：A/B 测试提示和迭代优化。这些方法对于提高 AI 驱动应用程序的有效性和效率至关重要。
2025-01-02 10:58:02
1074
原创 提示词工程教程：提示词长度和复杂性管理
本教程探讨了使用大型语言模型 (LLM) 时管理提示长度和复杂性的技巧。我们将重点关注两个关键方面：平衡提示中的细节和简洁性，以及处理长上下文的策略。
2025-01-01 14:32:18
509
原创 提示词工程教程：提示词格式和结构教程
概述本教程探讨了提示工程中的各种提示格式和结构元素，展示了它们对 AI 模型响应的影响。我们将使用 OpenAI 的 GPT 模型和 LangChain 库来试验不同的提示结构并分析其有效性。主题了解如何格式化和构建提示对于与 AI 模型进行有效沟通至关重要。结构良好的提示可以显著提高 AI 生成的响应的质量、相关性和一致性。本教程旨在提供实用见解，帮助您设计提示，以便在各种用例中引出期望的结果。内容概要不同的提示格式（问答、对话、说明）结构元素（标题、项目符号、编号列表）即时效果比较。
2025-01-01 10:20:43
1244
原创 面试场景题系列：设计爬虫系统
爬虫开发的复杂性取决于我们想要支持的爬虫规模，它可以是一个小的学校项目，只需要几小时就可以完成，也可以是一个需要专业开发团队持续优化的巨型项目。本文将帮助你设计一个大型爬虫项目的核心系统。
2025-01-01 10:18:53
2230
原创 提示词工程教程：提示链接和排序
本教程探讨了在使用大型语言模型的背景下提示链和排序的概念。我们将使用 OpenAI 的 GPT 模型和 LangChain 库来演示如何连接多个提示并为更复杂的 AI 驱动任务构建逻辑流程。
2024-12-31 18:45:26
362
原创 面试场景题系列：设计视频分享系统
在本章中，我们展示了类似YouTube的视频流媒体服务的架构设计。如果在面试的最后还有多余的时间，可以讨论下面的几个话题。•扩展API层：因为API服务器是无状态的，所以可以很容易地横向扩展API层。•扩展数据库：你可以谈论数据库复制和分片。•直播流媒体：指的是实时录制和广播视频。尽管我们的系统不是专门设计来进行直播的，但是直播和非直播流媒体有一些相似点，比如都需要对视频进行上传、编码和流式传输等操作。直播和非直播流媒体的显著区别有：◆ 直播有更高的延时要求，所以它可能需要使用不同的流媒体协议。
2024-12-31 12:37:38
560
原创 提示词工程教程：负面提示和避免不良输出
概述本教程探讨了负面提示的概念以及在使用大型语言模型时避免不良输出的技术。我们将重点介绍如何使用 OpenAI 的 GPT 模型和 LangChain 库来实现这些策略。主题随着人工智能语言模型变得越来越强大，有效地引导其输出至关重要。负面提示使我们能够指定模型响应中不想要的内容，从而帮助优化和控制生成的内容。这种方法在处理敏感话题、确保事实准确性或在输出中保持特定语气或风格时特别有用。内容概要使用反面例子来指导模型在提示中指定排除项使用 LangChain 实现约束评估和改进负面提示。
2024-12-31 11:09:13
373
原创 提示词工程教程：多语言和跨语言提示词
这些技术将使您能够创建更具包容性和全球可访问性的 AI 应用程序，利用跨不同语言环境的大型语言模型的强大功能。多语言和跨语言提示技术使我们能够创建更具包容性和全球可访问性的人工智能应用程序，打破语言障碍并实现跨不同语言环境的无缝沟通。本教程探讨了大型语言模型背景下的多语言和跨语言提示的概念和技术。我们将重点介绍如何设计可有效跨多种语言运行的提示，并实现语言翻译任务的技术。用于多语言支持的提示模板：使用 LangChain 的 PromptTemplate 创建灵活的、可感知语言的提示。
2024-12-30 15:50:21
549
原创 面试场景题系列：设计云盘系统
在本章中，我们提出了一个类似谷歌云盘的系统设计。强一致性、低网络带宽和快速同步，这些特性让这个设计很有趣。我们的设计包含两个流程：管理文件元数据和文件同步。通知服务是系统的另一个重要组成部分。它使用长轮询使客户端实时了解文件变更。和所有系统设计面试问题一样，这个问题没有完美解决方案。每个公司有特定的限制，而你必须设计一个满足这些限制的系统。了解设计的权衡和技术选择是重要的。如果面试的最后还剩几分钟时间，你可以讨论一下不同的设计选择。例如，我们可以从客户端直接将文件上传到云存储而不是通过块服务器上传。
2024-12-30 13:06:41
1171
原创 提示词工程教程(八）：指令工程
本教程重点介绍指令工程，这是提示工程的一个重要方面，它涉及为语言模型制定清晰有效的指令。我们将探索创建结构良好的提示以及平衡特异性与通用性以获得最佳结果的技术。
2024-12-29 10:37:41
477
原创 提示词工程教程（零）：提示词工程教程简介
本教程全面介绍了人工智能和语言模型背景下的提示工程的基本概念。它旨在为学习者打下坚实的基础，帮助他们了解如何通过精心设计的提示有效地与大型语言模型进行通信和利用大型语言模型。
2024-12-28 17:48:01
1107
原创 提示词工程教程（七）：小样本和上下文学习
本教程使用 OpenAI 的 GPT 模型和 LangChain 库探索小样本学习和上下文学习的前沿技术。这些方法使 AI 模型能够使用最少的示例执行复杂的任务，从而彻底改变了我们处理机器学习问题的方式。
2024-12-27 12:42:45
903
原创 提示词工程教程（六）：评估提示词的有效性
本教程重点介绍评估 AI 语言模型中提示效果的方法和技术。我们将探索衡量提示性能的各种指标，并讨论手动和自动评估技术。衡量及时表现的指标人工评估技术自动评估技术使用 OpenAI 和 LangChain 的实际示例。
2024-12-27 10:22:18
1219
原创 面试场景题系列：设计指标监控和告警系统
在本文中，我们介绍了指标监控和告警系统的设计，讨论了数据收集、时间序列数据库、告警和可视化系统的高层级设计。我们还深入探讨了其中几个最重要的技术/组成部分：•收集指标数据的拉模型和推模型。•使用Kafka来扩展系统。•在时间序列数据库之上添加缓存层。•使用编码或者压缩算法来减小数据大小。•过滤和合并告警，使得值班开发人员不会被收到的告警数量压垮。
2024-12-27 10:19:59
1249
原创 提示词工程教程（五）：道德考量
例如，在某些文化中，人们可能期望采用更具等级制度的领导风格，而在其他文化中，人们可能更喜欢协作和参与性更强的领导方式。通过促进包容性、多样性和自我接受，我们可以创造一个更加包容和包容的社会，赞美所有人的美丽，无论他们的外表如何。重要的是要认识到塑造我们对领导力理解的观点、经验和文化背景的多样性，并在研究不同的领导风格和方法时考虑这些因素。所使用的语言也可能暗示一种更传统和等级森严的领导观。总之，要想在高压力的高管职位上取得成功，需要综合素质和技能，而这些素质和技能可以通过不同的背景、经验和领导风格来培养。
2024-12-26 12:31:23
671
原创 面试场景题系列：设计支付系统
在本文中，我们讨论了收款流程、付款流程和实时卖家仪表板，深入讨论了重试、幂等性和一致性的话题。在本文的最后，我们还探讨了对支付错误的处理和支付安全。支付系统是极度复杂的。尽管我们已经探讨了很多话题，但是依然有很多其他值得讨论的话题未涉及。下面列出了一些有代表性的（而非所有的）有趣话题。•监控。监控关键指标是现代应用至关重要的部分。通过广泛的监控，我们可以回答像“特定支付方法的平均接受度如何？”“服务器CPU的使用率是多少？”这样的问题。我们可以在仪表板上创建和展示这些指标。•告警。
2024-12-26 11:02:15
1701
原创 提示词工程教程（四）：思维链（CoT）
这里是引用概述本教程介绍了思维链 (CoT) 提示，这是提示工程中的一项强大技术，可鼓励 AI 模型将复杂问题分解为逐步推理过程。我们将探索如何使用 OpenAI 的 GPT 模型和 LangChain 库实现 CoT 提示。目标随着 AI 语言模型变得越来越先进，越来越需要引导它们产生更透明、更合乎逻辑和更可验证的输出。CoT 提示通过鼓励模型展示其工作来满足这一需求，就像人类处理复杂问题解决任务的方式一样。这种技术不仅可以提高 AI 响应的准确性，还可以使其更具可解释性和可信度。
2024-12-26 10:04:14
1313
原创 面试场景题系列：分布式系统中的唯一ID生成器
在本文中，我们讨论了设计一个唯一ID生成器的不同方法：多主复制、UUID、工单服务器和类似推特Snowflake的唯一ID生成器。我们最后选择了Snowflake，因为它支持我们的所有用例，并且可以在分布式环境中扩展。
2024-12-25 15:47:27
1027
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人