- 博客(1084)
- 收藏
- 关注
RSS订阅转载 一文了解DeepSeek及应用场景
2025年2月，OpenAI 发布了o3-mini，o3-mini在大多数情况下o3-mini比o1-mini产生更准确、更清晰的答案，同时响应更快，其平均响应时间为7.7秒，较o1-mini的10.16秒提升了24%。引入了FP8 混合精度训练框架，相比传统的FP16 精度，数据内存占用更少，但在一些算子模块、权重中仍然保留了FP16、FP32 的精度，节省计算资源。在推理阶段，MHA需要缓存独立的键和值矩阵，会增加内存和计算，而MLA通过低秩矩阵分解技术，显著减小了存储KV的维度，从而降低了内存占用。
2025-03-28 08:32:37
89
转载 一次线上生产库的全流程切换完整方案
现状梳理本篇介绍了一次数据库迁移的完整方案。本次需要改造的系统为一个较为陈旧的技术栈系统，其中MongoDB作为核心数据存储中间件，承担着存储全部核心数据的重要任务。该系统目前的配置为1主1副本模式，涉及1个数据库和2张表，服务于7个不同的应用。尽管系统架构相对简单，但其在日常运营中发挥着不可或缺的作用。目前需要将MongoDB存储在其它介质中，如何能够保障在不影响线上使用的情况下，平滑切流到新库...
2025-02-12 07:21:46
34
转载 漫谈DeepSeek及其背后的核心技术
导读：本文深入探讨了DeepSeek大模型的核心技术，从公司背景、模型能力、训推成本到核心技术细节进行了全面分析。一、关于DeepSeek公司及其大模型1.1 公司概况DeepSeek 2023年7月成立于杭州，是幻方量化旗下的子公司，全称是杭州深度求索人工智能基础技术研究有限公司。"成立时间才一年多"、"最近推出的V3已经能和OpenAI的4o媲美"、"训练成本不到600W美元"、"API定价仅...
2025-02-10 07:33:18
105
转载 B站评论系统的多级存储架构
1. 背景评论是 B站生态的重要组成部分，涵盖了 UP 主与用户的互动、平台内容的推荐与优化、社区文化建设以及用户情感满足。B站的评论区不仅是用户互动的核心场所，也是平台运营和用户粘性的关键因素之一，尤其是在与弹幕结合的情况下，成为平台的标志性特色。在社会热点事件发生时，评论区的读写流量会急剧增加，直接影响业务运行，对用户体验、内容创作和社区文化等多个方面产生负面影响，所以评论服务的稳定性至关重...
2025-01-17 09:23:22
76
转载 万字详解高可用架构设计
系统高可用是一个宏大的命题，从设计思想、架构原则到工程能力、服务管理等等方方面面，每个视角单拆出来都不是一篇文章可以解决的。本文将从大局上全面系统地梳理高可用系统架构，起到一个提纲挈领的作用。00前言：海恩法则和墨菲定律海恩法则· 事故的发生是量的积累的结果。· 再好的技术、再完美的规章 ， 在实际操作层面也无法取代人自身的素质和责任心 。薛定谔的猫“薛定谔的猫”告诉我们，事物发展不是确定的，而是...
2025-01-14 07:35:40
78
转载 百度视频搜索架构演进
随着信息技术的迅猛发展，搜索引擎作为人们获取信息的主要途径，其背后的技术架构也在不断演进。本文详细阐述了近年来视频搜索排序框架的重大变革，特别是在大模型技术需求驱动下，如何从传统的多阶段级联框架逐步演变为更加高效、灵活的端到端排序框架。作者 |泰来导读introduction随着信息技术的迅猛发展，搜索引擎作为人们获取信息的主要途径，其背后的技术架构也在不断演进。本文详细阐述了近年来视频搜索排...
2025-01-09 10:56:26
192
转载 程序员必备！一文讲透晋升答辩！
每逢岁末，都是总结一年工作成果、个人成长的阶段，往往这个时候也多是程序员们走向升职加薪的窗口期。但令很多程序员苦恼的是，掌握了架构图的一百种画法，却不一定能在晋升答辩 PPT 上留下让评委深刻的印象。本文作者总结了自己多次的晋升答辩、辅导经验，体系化地写就了这篇应景好文，相信耐心看完的你必能在年末有一个好的收成～01评审之测不准定律1.1 观测之「评审规则」规则/制度总是在不断进化的路上，但...
2024-12-27 09:32:40
77
原创 OpenAI 宕机思考｜Kubernetes 复杂度带来的服务发现系统的风险和应对措施
王建伟，Nacoscommitter12月11日，OpenAI 旗下 AI 聊天机器人平台 ChatGPT、视频生成工具 Sora 及其面向开发人员的 API 自太平洋时间下午 3 点左右起发生严重中断，耗费约三个小时才顺利恢复所有服务。OpenAI 在事后报告中写道，“该问题源自新部署的遥测服务，此项服务无意间压垮了 Kubernetes 控制平面，导致关键系统发生连锁故障。 引发事故的根本...
2024-12-18 10:24:40
914
转载 一行代码改进：Logtail的多行日志采集性能提升7倍的奥秘
背景在日志分析领域，Logtail作为一款广泛使用的日志采集工具，其性能的任何提升都能显著提升整体效率。最近，在对Logtail进行性能测试时，一个有趣的现象引起了我的注意：当启用行首正则表达式处理多行日志时，采集性能出现下降。究竟是什么因素导致了这种现象？接下来，让我们一起探索Logtail多行日志采集性能提升的秘密。分析要理解这一现象，首先需了解Logtail在处理多行日志时的工作原理。Lo...
2024-12-16 11:39:05
52
转载 Apache Dubbo 正式发布 HTTP/3 版本 RPC 协议，弱网效率提升 6 倍
作者：杨欣（海星），Apache Dubbo Committer，前阿里巴巴高级技术专家在 Apache Dubbo 3.3.0 版本之后，官方推出了全新升级的 Triple X 协议，全面支持 HTTP/1、HTTP/2 和 HTTP/3 协议。本文将围绕 Triple 协议对 HTTP/3 的支持进行详细阐述，包括其设计目标、实际应用案例、性能测试结果以及源码架构分析等内容。Triple X ...
2024-11-27 11:39:15
83
转载 Feed 流系统的架构设计方案
本文主要针对 Feed 流进行介绍，将从 Feed 流的演变入手，带你一步步了解 Feed 流，而后学习如何从开发角度入手，对其进行建模，抽象出 Feed 流常见的架构，最终搭建高可用、高扩展、高性能的 Feed 流应用。01了解 Feed流在学习如何开发 Feed 流应用前，我们需要先了解什么是 Feed 流。1.1什么是 Feed流Feed 流是一个持续更新并展示给用户的信息流。它...
2024-11-22 12:06:08
141
转载 Java方法设计原则与实践：从Effective Java到团队案例
01背景理解，首先 MCube 会依据模板缓存状态判断是否需要网络获取最新模板，当获取到模板后进行模板加载，加载阶段会将产物转换为视图树的结构，转换完成后将通过表达式引擎解析表达式并取得正确的值，通过事件解析引擎解析用户自定义事件并完成事件的绑定，完成解析赋值以及事件绑定后进行视图的渲染，最终将本文通过阅读《Effective Java》、《Clean Code》、《京东JAVA代码规范...
2024-11-21 09:31:52
52
转载 干货 | 携程弱网识别技术探索
作者简介Aaron，携程移动开发专家，关注网络优化、移动端性能优化。团队热招岗位：高级Android开发工程师、资深前端开发工程师、高级Java研发工程师网络优化一直是移动互联网时代的热议话题，弱网识别作为弱网优化的第一步，受到的关注和讨论也是最多的。本文从设计、开发、落地详尽的分享了携程在弱网识别方面的实践经验，如果你也有类似需求，这篇文章会是一个不错的实操指南。一、背景二、技术方案2.1 数据...
2024-11-04 12:23:01
107
转载 醍醐灌顶！异地多活架构设计看这篇就够了
异地多活是分布式系统架构设计的一座高峰，当业务系统走到需要考虑异地多活这一步，其体量和复杂度都会达到很高的水准。接入层、逻辑层、数据层的三层架构，基本上是每个业务都会拥有的基础架构形态，而三层架构的关键在于数据层，本文将从数据层切入探讨异地多活对于基础架构设计的影响。01关于基础架构信息技术的发展，渗透到人们各类活动的方方面面，应对的问题五花八门，纷繁错杂，催生了面向各种业务而非常复杂的软件系统。...
2024-10-16 10:37:01
115
转载 Redis集群slot迁移改造实践
Redis 集群经常需要进行在线水平扩缩容，实际操作过程中发现迁移期间服务时延剧烈抖动，业务侧感知明显，为了应对以上问题对原生 Redis 集群 slot 迁移功能进行优化改造。一、背景介绍Redis 集群服务在互联网公司被广泛使用，众所周知服务集群化可以突破单节点的能力瓶颈，带来规模、可用性、扩展性等多方面的收益。在实际使用 Redis 集群的过程中，发现在进行涉及集群数据迁移的水平扩缩容操作时...
2024-09-24 08:42:41
191
转载 什么才是真正的架构设计？
01什么是架构前面多处提到了“架构”这个词，架构架构，到底什么是架构？，每个人都有不同的理解，实际工作中，对于同一张架构设计图，由于不同的人对于“架构”、“系统”、“模块”这些相关概念的理解不一，讨论的时候往往很难形成统一结论。首先搞清楚什么是“架构”， 网络上有不少文章对此做解释， 其中李运华大佬的《从零开始学架构》前两个章节介绍得比较清晰。“架构” 一词可以作为名词， 也可以作为动词。作为名词...
2024-09-19 08:31:44
330
转载 携程度假商品千亿日志系统架构演进
作者简介cd，携程资深后端开发工程师，度假商品系统研发，专注于后端系统性能提升。团队热招岗位：资深后端开发/专家、资深后端开发-商品后台在携程旅游度假的线路类商品系统中，由于商品结构复杂，涉及底层数据表上千张，在日常供应商以及业务维护过程中，每日产生6亿+的数据变动记录。这些数据的变动留痕，不但可供录入方查看，也对日常产研的排障起着至关重要的作用，同时也可以提供给BI做数据进一步分析。商品日志系统...
2024-09-11 08:33:06
275
转载 为超越JVM而生？深入理解Kotlin Native的梦想与可能
01概述1.1Kotlin 多平台的发展历程Kotlin 是一门静态类型的语言，最早以 100% 兼容 Java 而闻名。从 2016 年 2 月正式发布以来，Kotlin 在很长一段时间里都是作为更好的 Java 或者一门更好的 JVM 语言而受到开发者喜爱的。然而，Kotlin 团队的梦想从一开始就不止步于 JVM。事实上，从发布于 2012 年的[Kotlin M2 版本](htt...
2024-09-06 08:32:49
1014
转载 万字长文浅谈三高系统建设方法论和实践
01概述理解，首先 MCube 会依据模板缓存状态判断是否需要网络获取最新模板，当获取到模板后进行模板加载，加载阶段会将产物转换为视图树的结构，转换完成后将通过表达式引擎解析表达式并取得正确的值，通过事件解析引擎解析用户自定义事件并完成事件的绑定，完成解析赋值以及事件绑定后进行视图的渲染，最终将整个软件的发展历程是一部软件复杂性对抗史，软件的复杂性分为技术复杂性和业务复杂性，业务复杂性主...
2024-09-04 12:17:18
215
转载 Java字符串拼接技术演进及阿里巴巴的贡献
0. 写在前面的省流版下图是Java字符串拼接实现的技术演进路线，最新的实现 PR 20273是来自阿里巴巴的贡献。1. 关于使用"+"做字符串拼接一些古老的技术文章中会说，在Java中使用"+"做字符串拼接性能不好，但实际情况是JDK 9+之后的版本，使用"+"做字符串拼接会比StringBuilder快。如下是一个字符串拼接的的方法，我们基于这个方法来介绍JDK8和JDK9之后版本的性能以及背...
2024-08-30 08:18:10
484
转载 MySQL亿级数据平滑迁移实战
一、背景预约业务是 vivo 游戏中心的重要业务之一。由于历史原因，预约业务数据表与其他业务数据表存储在同一个数据库中。当其他业务出现慢 SQL 等异常情况时，可能会直接影响到预约业务，从而降低系统整体的可靠性和稳定性。为了尽可能提高系统的稳定性和数据隔离性，我们迫切需要将预约相关数据表从原来的数据库中迁移出来，单独建立一个预约业务的数据库。二、方案选型常见的迁移方案大致可以分为以下几类：而预约业...
2024-08-27 08:47:08
69
转载 浅谈Elasticsearch的入门与实践
Elasticsearch入门Elasticsearch(ES)是一种基于分布式存储的搜索和分析引擎，目前在许多场景得到了广泛使用，比如维基百科和github的检索，使用的就是ES。ES中不乏纷繁冗余的细节，而本文将关注其核心特性：分布式存储特性和分析检索能力。围绕这两大核心特性，本文将介绍其中的概念、原理与实践案例，希望让读者快速理解ES的核心特性与应用场景。核心概念分布式存储特性相关概念：...
2024-08-16 08:12:43
88
转载 去哪儿国际酒店AI生成视频实践
日前，在51CTO主办的WOT全球技术创新大会上，去哪儿旅行技术总监郑吉敏带来了主题演讲《国际酒店AI生成视频实践》，围绕着国际酒店的业务架构，详细介绍了生成视频如何进行流程AI化以及相关实践和思考，带给观众全新的视野和独家的经验分享。本文将摘选其中精彩内容，统一整理，希望为诸君带来启发。本文将从以下四个部分展开：视频生成挑战与机遇专业影视生成流程AI化AI生成视频实践视频生成成果展示与思考视频生...
2024-07-31 09:25:11
135
转载 B站通用详情页的打造
背景介绍大家都知道，详情页承载了站内的核心流量。它的量级到底有多大呢？我们来看一下，日均播放次数数亿次，这么大的流量，其重要程度可想而知。在这样一个页面，每一个功能都是大量业务的汇总点。作为用户核心消费场景，详情页不仅需要承接各种业务的转化，还要负责展示各业务在播放页的功能。可以说，播放页的代码复杂度属于客户端最高的代码之一，这不仅因为播放页本身的功能复杂，还因为它需要融合大量外部业务功能。复杂的...
2024-07-25 08:07:21
102
转载 资金账户系统的设计
资金账户是互联网和金融业务中非常常见的系统，尤其是在电商、支付等业务中必不可少。资金账户系统本身其核心模块的整体架构往往并不复杂，但其对于资金安全和可用性的要求非常高，导致建设好一个资金账户系统并不容易。本文以笔者在实际工作中实现的资金账户系统为例，探讨了在资金账户系统设计和实现中会遇到的问题以及相应的解决方案。需要强调的是，笔者也是资金相关系统的入门者，本文目的是抛砖引玉，有误之处，还请大家多多...
2024-07-19 08:16:32
183
转载 万字长文浅谈系统稳定性建设
01背景当时618即将到来，各个团队都在进行期中考试前的模拟考试：军演压测，故障演练，系统的梳理以检测系统的稳定性以应对高可用，高性能，高并发。我们知道系统的稳定性建设是贯穿整个研发流程：需求阶段，研发阶段，测试阶段，上线阶段，运维阶段；整个流程中的所有参与人员：产品，研发，测试，运维人员都应关注系统的稳定性。业务的发展及系统建设过程中，稳定性就是那个1，其他的是1后面的0，没有稳定性，...
2024-07-12 11:48:27
156
转载 基于Netty的自研流系统缓存实现挑战: 内存碎片与OOM困境
01前言Kafka 作为流处理平台，在实时流计算和在线业务场景，追尾读追求端到端低延迟。在离线批处理和削峰填谷场景，数据冷读追求高吞吐。两个场景都需要很好的数据缓存设计来支撑，Apache Kafka 的数据存储在本地文件，通过 mmap 将文件映射到内存中访问，天然就可以依托操作系统来完成文件的缓冲持久化、缓存加载和缓存驱逐。AutoMQ 采用存算分离的架构，将存储分离至对象存储，本地没有数据文...
2024-07-11 11:12:43
87
转载 领域驱动设计DDD在B端营销系统的实践
本文整理自美团技术沙龙第73期《基于领域驱动设计（DDD）的架构演进和实践》，系统复杂性根源于隐晦（难理解），耦合（难改动）和变化（难扩展），DDD正是应对系统复杂性的重要方法。本文针对B端营销系统设计中的复杂性，从战略设计，战术设计到代码架构，详细介绍了DDD在各个阶段的实践，期望为大家提供一些可供参考和借鉴的思路。1 背景2 基本概念3 战略设计实践4 战术设计实践5 代码架构实践6 总结7 ...
2024-07-09 10:14:11
104
转载 vivo 互联网自研代码评审 VCR 落地实践
本文介绍了vivo工程效能团队基于 Gitlab、Gerrit等开源工具搭建的VCR平台，代码评审idea插件开发及开发过程中遇到的挑战、困难，并分享了相应的应对策略和优化方案。代码评审是软件质量保证一种活动，由一个或者多个人对一个程序的部分或者全部源代码进阅读理解。一般来说分为作者和评审者两种角色，作者方提供代码逻辑的介绍和代码，评审者则对提供的代码基于设计，功能性和非功能性等方面认知进行阅读并...
2024-07-08 08:42:17
83
转载 怎么在业务团队写好发消息的代码？
遇到的问题做技术的同学，尤其是业务开发同学都是经常和消息打交道的，大家也都喜欢研究像MetaQ这种消息中间件的一些实现代码。作为一曾经的业务开发同学（目前在负责稳定性），深知要在业务团队写好发消息的代码，也绝非易事。曾经我是交易订单团队的一名开发，我遇到了下面的一个问题：try { transactionTemplate.start(); // 位置1 orderManager.cre...
2024-07-05 07:35:13
70
转载 程序员必备 VS Code 插件大全！
工欲善其事，必先利其器！VS Code 就像经典游戏《上古卷轴5：天际》一样，本体已经足够强了，但如果你装上各种奇技淫巧的 mod（插件），你能收获完全不一样的游戏（开发）体验。——介系你没有玩过的船新版本！本篇文章，我们精选了鹅厂程序员强推的 VS Code 插件大全，帮助你在写代码的路上一路狂飙，效能翻倍！01Code Runner最好的软件开发往往来自于程序员的直接需求，Code Runne...
2024-07-02 11:39:28
101
转载 京东自研性能追踪系统pfinder实现原理揭秘
01引言在今年的敏捷团队建设中，我通过Suite执行器实现了一键自动化单元测试。Juint除了Suite执行器还有哪些执行器呢？由此我的Runner探索之旅开始了！在现代软件开发过程中，性能优化和故障排查是保证应用稳定运行的关键任务之一。Java作为一种广泛使用的编程语言，其生态中涌现出了许多优秀的监控和诊断工具，诸如：SkyWalking、Zipkin等，它们帮助开发者和运维人员深入了解应用的...
2024-06-28 11:34:06
113
转载 Java ZGC 深度剖析及其在构建低延迟流系统中的实践心得
01前言在 Java 应用程序中，垃圾回收（Garbage Collection，以下简称 GC）是一个不可避免的过程，它负责释放不再使用的内存空间以避免内存泄漏。然而，GC 操作通常会导致短暂的停顿时间（Stop the World，以下简称 STW），这对于对延迟敏感的应用程序来说是一个严重的问题——STW 会导致应用程序暂停响应，从而影响用户体验和系统性能。为了解决这个问题，Java 引入了...
2024-06-27 11:53:32
104
转载 A2M人工智能创新峰会即将开幕！携手66家企业揭秘大模型标杆案例
今年，大模型的竞赛终于翻开了新的一页。大模型从卷文本长度、语言模型主导、聚焦认知层面的“上半场”，进入了多模态模型、注重商业模式和场景应用的“下半场”。大模型正在掀起一场“诸神之战”，然而不少企业都被卡在关键一步，那就是落地。为了能够帮助更多的企业了解大模型技术，将其应用到实际工作中，由msup举办的的2024年A2M人工智能创新峰会将于6月28-29日在上海明捷万丽酒店盛大举行。本届峰会，组委会...
2024-06-25 09:35:49
280
转载 当「软件研发」遇上 AI 大模型
大家好，我是通义灵码的产品技术负责人陈鑫。过去有八年时间，我都是在阿里集团做研发效能，即研发工具相关的工作。我们从 2015 年开始做一站式 DevOps 平台，然后打造了云效，也就是将 DevOps 平台实现云化。到了 2023 年，我们明显感觉到大模型时代来了以后，软件工具将面临着彻底的革新，大模型和软件工具链的结合，使软件研发进入下一个时代。那它第一个落脚点在哪？实际上就是辅助编程，所以我们...
2024-06-24 12:32:30
79
转载 请架构师入局AI，现在！立刻！马上！！
“大模型狂热”从未停止国内巨头战队华为、百度、阿里在AIGC的厮杀中从通用大模型渗透到各垂类应用市场就连中国创投资本也独宠AIGC企业百度、科大讯飞市值分别增加27亿和45亿美元这导致AI人才缺口大、价格贵不少企业开出百万年薪挖掘大模型人才！！作为程序员，如何抢占先机，享受AI技术带来的红利？！????知乎知学堂邀你加入：行业前沿资源——AI大模型公开课已为本号粉丝开通免费领取权限预计24小时后关闭...
2024-06-23 16:04:23
79
转载 干货 | 携程数据基础平台2.0建设，多机房架构下的演进
作者简介cxzl25，携程高级软件技术专家，关注数据领域生态建设，对分布式计算和存储、调度等方面有浓厚兴趣，Apache Kyuubi PMC Member，Apache Celeborn / ORC Committer。一、背景携程数据基础平台主要组件包括：HDFS 分布式存储集群，YARN 计算集群，Spark、Hive 计算引擎。数据基础平台 1.0 版本的架构从 2017 年开始逐步成型，...
2024-06-21 12:15:25
87
转载 全日程抢先看！10大分论坛 50+topic 快来pick你心仪的技术主题吧
2024年6月28日至29日，一场属于开发者的盛会「稀土开发者大会」，将在北京富力万丽酒店盛大开幕。这不仅是一场技术的盛宴，更是思想的碰撞，智慧的火花将在这里点燃整个盛夏！本次大会以"1+10+4+X"的形式展开，汇聚了来自全球的技术专家、开发者社区领袖、行业先锋以及生态合作伙伴，他们带来的不仅有精彩纷呈的演讲和讨论，还有丰富多样的线下活动，让你的参与体验惊喜不断。1场主题演讲：集结海内外业界大咖...
2024-06-20 16:44:42
52
转载 一文详谈RAG优化方案与实践
导读RAG通过检索现有的大量知识，结合强大的生成模型，为复杂的问答、文本摘要和生成任务带来了全新的解决方案。本文详细的介绍了RAG遇到的挑战、通用范式、工程实践、优化实现策略等。一、RAG的背景介绍随着ChatGPT的兴起，大语言模型再次走进人们的视野，其在NLP领域表现出的语言识别、理解以及推理能力令人惊叹。越来越多的行业开始探索大语言模型的应用，比如政务、医疗、交通、导购等行业。通义系列、GP...
2024-06-19 15:31:40
1194
转载 报名 | 美团技术沙龙第82期：美团业务架构演进与实践
【美团技术沙龙】由美团技术团队和美团科协主办，每期沙龙邀请美团及其他互联网公司的技术专家分享来自一线的实践经验，覆盖各主要技术领域。从2015年7月举办第一期至今，已经吸引了三万多名工程师参会。本期活动由清华大学-美团数字生活联合研究院和深圳市美团机器人研究院联合出品。活动时间：2024年6月20日（周四）14:00 - 16:50活动地址：活动开始之前会发短信通知直播链接。活动报名：点击文末“...
2024-06-17 08:45:52
141
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人