- 博客(76)
- 收藏
- 关注
RSS订阅原创 AIRC系统长啥样
我们在这篇文章中讨论一下AIRC系统的一些设计范式，这对我们后面学习AIGC会非常有帮助，AIRC系统可以分为三大部分：1. 策略建模2. 数据工程3. 模型工程
2023-09-05 23:47:14
452
原创 工业级大模型应用长啥样
我们可以通过开源工具，搭建大模型应用的“原型系统”，但这距离工业级大模型应用，还是有很大的差距。 这篇文章主要讨论这种”原型系统“可能带来的认知误区以及工业级大模型应用需要考量的因素。
2023-09-04 21:13:56
680
原创 如何利用开源工具搭建AI大模型底座
我们在这篇文章中通过开源工具来构建AI大模型的底座，涉及到的技术包括：- Langchain- OpenAI- Flowise- LocalAI- Llama
2023-09-03 20:07:11
1230
1
原创 聊聊具身智能怎么实现？
我们来聊一下具身智能，它是一种通用人工智能，可以像人一样能够和环境交互感知、自主规划、决策、行动。要基于LLM实现具身智能，我们需要从计划、记忆唤醒和使用工具三方面进行设计。
2023-09-02 19:58:02
500
原创 AI大模型长啥样？
随着ChatGPT的流行，AI大模型也成了新的基础设施，我们在深入学习理解这波新技术之前，有必要先理清一些基本的概念。 这篇文章主要讨论两个问题： 1. AI大模型是什么？ 2. AI大模型能做什么？
2023-09-01 22:39:26
425
原创 我们为什么需要分布式系统？
这篇文章主要讨论我们为什么需要分布式系统，分布式系统帮助我们解决了复杂系统在成本、效率和高可用方面的问题，但同时它也在分布式计算和分布式存储方面带来了新的问题和挑战。
2023-04-11 08:27:58
1118
原创 怎么算是在工作中负责？
受人之禄，忠人之事。身为程序员，我们在平时工作中要做到怎样才能算是“负责”了呢？我们可以从个人基本能力、工作内容和工作时间三部分来阐述。
2023-03-30 22:30:00
309
原创 怎么用工作邮件？
当在工作中遇到需要不同团队组配合的场景，你一般会怎么做沟通呢？是在即时通信软件上发消息打电话甚至面聊，还是对同事说一句“你发封邮件给我吧，记得抄送我老板”？
2023-03-22 22:59:26
640
原创 为工作排好优先级
工作，是干不完的，因此我们需要分清轻重缓急，为它们划分优先级，这样才不至于让自己手忙脚乱。 给手头的事情排上正确的优先级，是一项很重要的工作能力。
2023-03-21 21:53:35
514
原创 聊聊数据压缩
这篇文章主要讨论数据压缩，数据压缩不仅可以节省存储空间，还可以提升网络传输性能，不同的压缩算法有不同的压缩比和压缩耗时，我们需要根据项目需求，选择不同的压缩算法。
2023-03-20 18:50:18
483
原创 怎么使用硬件同步原语替代锁？
这篇文章主要描述硬件同步原语，它是由计算机硬件提供的一组原子操作。 我们常见的原语操作有CAS和FAA两种。在某些情景下，我们可以使用它来替代锁，从而更加安全高效的操作数据。
2023-03-19 22:30:00
293
原创 来聊聊缓存
这篇文章主要聊一下缓存，如何使用缓存来加速你的系统，减少磁盘 IO。按照读写性质，缓存可以分为读写缓存和只读缓存，两种缓存有各自的适用场景。
2023-03-17 22:30:00
666
原创 为什么Kafka的性能那么好？
这篇文章主要用来讨论Kafka是如何做到高性能的，包括使用批处理方式处理消息，使用顺序读写的方式使用磁盘，利用PageCache缓存数据并减少IO操作，使用零拷贝技术加速消费流程。
2023-03-16 19:30:19
528
原创 怎么避免服务内存溢出？
在高并发、高吞吐的场景下，很多简单的事情，会变得非常复杂，而很多程序并没有在设计时针对高并发高吞吐量的情况做好内存管理。自动内存管理机制的实现原理做内存管理，主要考虑申请内存和内存回收两部分。申请内存的步骤：计算要创建的对象需要占用多少内存在内存中找一块连续并且是空闲的内存空间，标记为已占用内存回收需要主要做2件事情。找出所有可以回收的对象，将其标记为空闲整理内存碎片现代GC算法大部分采用“标记-清除”算法或者他的变种算法，这种算法分为标记和清除两个阶段：标记阶段：从GC Ro
2023-03-15 22:30:00
712
原创 怎么选择数据序列化方案？
这篇文章主要讨论序列化和反序列化，当数据在网络上传输时，传输数据的基本形式是二进制流，要想使用网络框架的API来传输结构化的数据，必须得先实现结构化的数据和字节流之间的双向转换，即序列化和反序列化。
2023-03-13 22:30:00
363
原创 怎么利用异步设计提升系统性能？
这篇文章主要描述异步设计，异步是一种程序设计的思想，使用异步模式设计的程序可以显著减少线程等待，从而在高吞吐量的场景中，极大提升系统的整体性能，降低请求时延。
2023-03-12 22:30:00
443
原创 怎么处理消息积压问题？
这篇文章主要描述如何解决消息重发的问题，目前主流的消息队列产品都采用了At least once的服务质量，这就导致了很难避免消息重发的情况，我们可以将消费者业务逻辑设计成幂等服务来解决消息重发问题。
2023-03-11 22:30:00
748
原创 怎么处理消息重发的问题？
这篇文章主要描述如何解决消息重发的问题，目前主流的消息队列产品都采用了At least once的服务质量，这就导致了很难避免消息重发的情况，我们可以将消费者业务逻辑设计成幂等服务来解决消息重发问题。
2023-03-10 22:30:00
947
原创 怎么做才能不丢消息？
这篇文章主要描述如何在使用消息队列时避免丢消息，包括检测消息丢失的方法以及消息从生产到完成消费的过程中，经历的生产、存储和消费这三个阶段是分别如何保证消息可靠传递的。
2023-03-09 22:30:00
1121
3
原创 怎么用消息队列实现分布式事务？
这篇文章描述如何使用消息队列中的事务消息机制实现分布式事务。事务消息适用于需要异步更新数据，并且对数据实时性要求不太高的场景。
2023-03-08 22:30:00
865
原创 聊聊消息队列中的基础概念
这篇文章主要描述消息队列中的一些基本概念，我们在使用不同的消息队列产品时，会遇到不同的“名词”，今天我们今天来聊聊消息队列发展历史，以及一些相关基本概念。
2023-03-07 22:30:00
311
原创 我们要选择哪个消息队列产品？
这篇文章主要描述如何进行消息队列产品选型，包括产品选型需要考虑的因素、三种比较流行的消息队列产品的优缺点以及如何根据我们的使用场景选择合适的消息队列产品。
2023-03-06 22:30:00
2466
原创 我们为什么要用消息队列？
这篇文章主要描述我们消息队列的使用场景，主要包括三种场景：异步处理、流量控制和服务解耦。引入消息队列后，也会带来通信延迟、系统复杂度以及可能的数据不一致问题。
2023-03-05 22:30:00
2687
原创 分布式系统中的网络分区问题
这篇文章主要讨论分布式系统中的网络分区问题，网络分区是指在分布式集群中，节点之间由于网络不通，导致集群中的节点形成不同的子集，子集中的节点可以相互通信，子集之间的网络是不通的。
2023-03-04 22:30:00
767
原创 《分布式技术原理与算法解析》学习笔记Day28
这篇文章主要讨论分布式系统中的故障恢复和常用的故障检测方法，包括固定心跳检测和根据历史心跳信息预测故障检测方法。
2023-03-03 22:30:00
588
原创 《分布式技术原理与算法解析》学习笔记Day27
这篇文章主要描述故障隔离，设计良好的故障隔离策略，可以提高系统的可用性，避免出现大规模故障，甚至瘫痪。常用的故障隔离策略包括线程级隔离、进程级隔离和资源隔离。
2023-03-02 22:30:00
391
原创 《分布式技术原理与算法解析》学习笔记Day26
这篇文章主要描述分布式系统中的流量控制，当有突发大流量进入时，如何控制流量对于保证系统高可靠非常重要。常见的流量控制策略包括漏桶策略和令牌桶策略。
2023-03-01 22:30:00
210
原创 《分布式技术原理与算法解析》学习笔记Day25
这篇文章主要讨论负载均衡及其常用策略。负载均衡是分布式系统中非常重要的技术，它包括请求负载均衡和数据负载均衡，通过负载均衡，可以有效提高系统的并发处理能力。
2023-02-28 22:30:00
332
原创 《分布式技术原理与算法解析》学习笔记Day24
这篇文章主要描述分布式数据缓存技术，它将常用数据存储到离用户近、离应用近的位置，以减少远程数据传输的延迟，提升系统性能。
2023-02-27 22:30:00
290
原创 《分布式技术原理与算法解析》学习笔记Day23
这篇文章主要关注分布式系统中的数据复制，它提高了系统的可用性和可靠性，保证业务正常运行。常见的数据复制方法包括同步复制技术、异步复制技术和半同步复制技术。
2023-02-26 22:30:00
470
原创 《分布式技术原理与算法解析》学习笔记Day22
这篇文章主要描述分布式数据存储系统中的数据分片方法，包括哈希方法、一致性哈希方法、带有限负载的一致性哈希方法以及带虚拟节点的一致性哈希方法。
2023-02-25 22:30:00
1683
原创 《分布式技术原理与算法解析》学习笔记Day21
分布式存储系统将用户存储的数据根据某种规则存储到不同机器上，当用户想要获取指定数据时，再按照规则到存储数据的机器中获取。数据生产者/消费者、数据索引和数据存储是分布式存储系统的三大要素。
2023-02-24 22:30:00
406
原创 《分布式技术原理与算法解析》学习笔记Day20
这篇文章主要描述分布式系统中经常讨论的CAP理论，它从一致性、可用性和分区容错性是分布式系统的三个特征，我们只能满足其中两个特征，对于分布式系统来说，根据不同的应用场景，可以是AP，也可以是CP。
2023-02-23 22:30:00
352
原创 《分布式技术原理与算法解析》学习笔记Day19
这篇文章主要描述分布式通信中常用的消息队列模式，引入消息队列，通过异步通信的方式，可以提升系统响应速度，实现系统组件之间解耦，文章还描述了RocketMQ的架构和组件。
2023-02-22 22:30:00
184
原创 《分布式技术原理与算法解析》学习笔记Day18
这篇文章主要描述分布式通信中的发布订阅模式，这是一种异步通信模式，它可以解耦消息的生产者和消费者，提高系统的稳定性。同时，文章也描述了Kafka的架构以及主题、分区和消费组。
2023-02-21 22:30:00
134
原创 《分布式技术原理与算法解析》学习笔记Day17
这篇文章主要描述分布式系统中非常重要的通信方式：远程过程调用，它可以让服务调用方像调用本地方法那样，去调用远程服务提供方所提供的服务，在这个过程中，服务调用方对于底层通信是无感知的。
2023-02-20 22:30:00
149
原创 《分布式技术原理与算法解析》学习笔记Day16
这篇文章主要描述分布式系统中的流水线计算模式，它来自于工业领域的流水线作业模式，将一个任务分为多个步骤执行，可以提高系统效率。文章描述了ETL流水线以及机器学习中常用的模型训练流水线。
2023-02-19 22:30:00
122
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人