Overman..-优快云博客

原创基于大语言模型的推理系统设计与实现

以下是一个逻辑推理的题目，形式为单项选择题。例如,可以使用更高级的自然语言处理技术,如命名实体识别、关键词提取等,来从生成的文本中提取答案。- 逻辑:将选项格式化为 "A. xxx\nB. xxx" 的形式,拼接题目、问题和格式化后的选项,生成完整的 prompt。- 可以将代码组织成模块化的结构,如将数据处理、API 调用、答案提取等功能拆分成独立的模块,提高代码的可读性和可维护性。- 可以引入其他的 API 或模型,如知识图谱、搜索引擎等,与文本生成 API 结合使用,以获得更准确和全面的答案。

2024-07-31 12:18:46 449

原创极客时间训练营-AI 大模型微调训练营学习总结

极客时间训练营-AI 大模型微调训练营课程内容：大模型微调技术：课程涵盖了主流的大模型微调技术方法，帮助学员提升 LLM（Large Language Models，大型语言模型）应用性能。实战训练：通过全量微调、模型量化、LORA 微调、QLoRA 微调、私有数据微调、指令微调和分布式训练等多种实战训练，学员可以全面掌握微调核心技能。技术覆盖。

2024-07-22 12:53:19 1436

原创深入剖析 Java HashMap：从数组、链表到红黑树，探秘高效数据结构背后的设计理念

效率优先: 通过使用数组和哈希函数，HashMap 实现了对键值对的快速访问。空间换时间: 使用链表和红黑树来解决哈希冲突，牺牲部分空间来换取更高的查找效率。动态调整: 通过扩容机制和链表-红黑树的转换，HashMap 能够根据数据量的变化动态调整其内部结构，以保持良好的性能表现。应对特殊情况: 在某些情况下，默认的哈希函数可能无法满足需求，例如，当键的分布不均匀时，可能会导致哈希冲突增加，影响 HashMap 的性能。优化策略。

2024-06-13 10:10:35 594 2

原创 Tomcat Bootstrap init()

Tomcat 8.5 的类加载器层级结构通过精确的划分和层次化管理，实现了对 Java Web 应用的高效运行和良好隔离。这种设计允许应用程序在不干扰 Tomcat 内部运行或其他应用的情况下，使用特定的库版本。在文本回答中描述层次结构的图通常需要使用图形化工具，但我可以提供一个 ASCII 文本形式的层次图来表示 Tomcat 8.5 的类加载器结构。这将帮助你更直观地理解各个类加载器之间的父子关系。| (加载 JVM 核心库，如 rt.jar) || (委托)V。

2024-04-29 10:32:55 1067

原创 LLM 中的 vocabulary 和 embedding vector

本文介绍词汇表和嵌入向量

2024-04-27 23:28:06 1933 1

原创 LLM 编码的过程

tokenizer.encode 参与了 step 1、2、3transformer 参与了 step 4、5、6、7。

2024-04-22 11:15:20 641

原创 Token 在 LLM

大语言模型不能理解原始文本，所以需要把原始文本转换成大语言模型可以理解的数字表示形式，经过大模型处理以后，需要将该数字表示形式转换为人可以理解的文本。!

2024-04-19 14:37:03 1137

原创 meta-llama/Meta-Llama-3-8B

Meta开发并发布了Meta Llama 3家族大型语言模型(LLM),这是一组预训练和指令微调的生成性文本模型,大小为8B和70B参数。Llama 3指令微调模型针对对话用例进行了优化,在常见的行业基准测试中表现优于许多可用的开源聊天模型。此外,在开发这些模型时,我们非常谨慎地优化了有用性和安全性。我们直接通过Meta的可持续发展计划抵消了100%的排放,并且由于我们公开发布了这些模型,其他人无需承担预训练成本。数据新鲜度 8B模型的预训练数据截止日期为2023年3月,70B模型为2023年12月。

2024-04-19 10:00:58 2011

原创 Alibaba Nacos 简介，环境搭建，学习重点

实现服务CRUD，域名CRUD，服务健康状态检查，服务权重管理等功能实现配置管CRUD，版本管理，灰度管理，监听管理，推送轨迹，聚合数据等功能提供元数据CURD和打标能力实现三个模块可分可合能力，实现扩展点SPI机制实现异步化事件通知，SDK数据变化异步通知等逻辑管理日志分类，日志级别，日志可移植性（尤其避免冲突），日志格式，异常码+帮助文档SDK通知数据，通过统一的模式回调用户处理。接口和数据结构需要具备可扩展性解决IP，域名，nameserver、广播等多种寻址模式，需要可扩展。

2024-03-14 09:00:00 1080

原创分布式架构的理解

CAP定理是分布式系统设计中的一个重要概念,由Eric Brewer在2000年提出。CAP代表了以下三个属性:Consistency(一致性):在分布式系统中,所有节点在同一时刻看到的数据是一致的。当一个写操作完成后,所有后续的读请求都应该返回最新的值。Availability(可用性):每个请求都能够收到一个响应,无论响应是成功还是失败。即使部分节点故障,系统仍然能够继续提供服务。

2024-03-13 09:00:00 1056