- 博客(43)
- 收藏
- 关注
RSS订阅原创 是时候正视开源合规的重要性了！我们给你准备了一套体系课程
为了帮助大家系统了解开源软件的合规知识，字节跳动开源团队及知识产权法务团队将推出开源合规精选培训课程，4月24日 19:00-19:30即将开启第一课，自5月8日起，将连续 5 周在周四晚上19:00-19:30进行直播分享。
2025-04-03 12:00:00
137
原创 基于控制面单元化的 Kubernetes 集群联邦
字节跳动在云原生技术架构设计中构建了统一的云原生基础设施平台。其中，上层平台层直接对接Kubernetes集群资源，并基于 Kubernetes 原生 API 标准，通过大规模集群联邦模式实现多集群的统一接入与管理。目前，集群联邦已经覆盖了字节跳动90%以上的资源，节点数超过21万，管理超10万在线微服务与1000万Pod，是目前业界规模最大的生产级集群联邦应用。
2025-04-02 14:16:58
482
原创 基于控制面单元化的 Kubernetes 集群联邦
字节跳动在云原生技术架构设计中构建了统一的云原生基础设施平台。其中，上层平台层直接对接Kubernetes集群资源，并基于 Kubernetes 原生 API 标准，通过大规模集群联邦模式实现多集群的统一接入与管理。目前，集群联邦已经覆盖了字节跳动90%以上的资源，节点数超过21万，管理超10万在线微服务与1000万Pod，是目前业界规模最大的生产级集群联邦应用。
2025-04-02 14:13:51
408
原创 MySQL遇到AI：字节跳动开源 MySQL 虚拟索引 VIDEX
虚拟索引技术在数据库系统的查询优化、索引推荐等场景中扮演着关键角色。简单来说，虚拟索引可以理解为数据库的'沙盘推演'系统——无需真实构建索引，仅基于统计信息即可精准模拟不同索引方案对查询计划的优化效果。由于虚拟索引的创建/删除代价极低，使用者可以大量创建和删除索引、反复推演，确定最有效的索引方案。在AI时代，基于机器学习模型的NDV、Cardinality 估计算法层出不穷，但是在MySQL落地往往遇到很大挑战：无法在MySQL生成查询计划时注入机器学习模型的预测值，优化器便难以给出更合适的索引推荐结果。
2025-03-28 12:00:30
1001
原创 Midscene.js：AI 在前端测试领域的应用
Midscene.js 是由字节跳动 Web Infra 团队全新开源的 UI 自动化工具。通过引入多模态 AI 推理能力，Midscene.js 将帮助开发者打破传统 UI 自动化难于编写和维护的困境。
2025-03-20 15:43:43
1017
原创 深度解析：通过 AIBrix 多节点部署 DeepSeek-R1 671B 模型
本文详细介绍了如何通过 AIBrix 分布式推理平台实现 DeepSeek-R1 671B 的多节点部署。
2025-03-18 14:40:52
654
原创 FlowGram 简介：开源前端流程搭建引擎
FlowGram 是一套基于节点编辑的流程搭建引擎，帮助开发者快速创建固定布局或自由连线布局的流程，并提供一套交互的最佳实践, 很适合有明确输入和输出的可视化工作流。
2025-03-17 12:06:02
908
原创 vArmor：云原生容器安全的多场景应用实践
特权容器通常指包含设置的容器，此类容器被授予全部 capabilities，可访问宿主机所有设备和内核接口。本文将所有拥有打破隔离性配置的容器称为 “特权容器”，包括但不限于 privileged container、sensitive capabilities、sensitive mounts、shared namespaces、sensitive RBAC permissions。许多企业因历史遗留问题、系统设计需求、安全意识不足等原因，在生产环境的业务负载和系统组件中引入了 “特权容器”。
2025-03-10 16:06:03
964
原创 AIBrix 深度解读：字节跳动大模型推理的云原生实践
随着 LLaMA、DeepSeek、Qwen 等开源大模型的快速崛起，企业在模型部署的灵活性、成本与自主可控性方面迎来了新的机遇。然而，仅靠对模型本身的优化尚不足以将这些模型部署成高效且可扩展的生产级 API。大模型推理往往引入诸多独特的系统挑战，如 GPU 弹性伸缩指标的非线性问题，长尾模型和精调模型流量过低的问题，多机推理时的角色编排以及 GPU 卡型的异构管理等，都对易用性和成本控制提出了更高要求。
2025-03-10 11:36:59
1120
原创 2025 年，微服务架构和大模型能 “玩出” 什么新花样？
3 月 22 日，以《云原生 × AI 时代的微服务架构与技术实践》为主题的 CloudWeGo 技术沙龙将在深圳科技园希尔顿惠庭酒店正式启幕。本次活动汇聚了多位来自字节跳动、火山引擎、智谱 AI 的技术大咖，共同探讨云原生与 AI 技术融合趋势下，微服务架构的演进方向与最佳实践。
2025-02-26 15:53:52
552
原创 AIBrix: 专为 vLLM 打造的可扩展、高性价比控制面
2025年2月21日，vLLM通过官方博客宣布了由字节跳动开发的AIBrix大模型推理系统开源，为vLLM推理引擎提供可扩展且高性价比的控制面。开源72 小时内，AIBrix 收获的GitHub Star 数已超 1000, 96 小时突破2000, 截止本文发布保持着榜第一的位置。
2025-02-26 15:53:40
1158
原创 大语言模型应用开发框架 —— Eino 正式开源！
在组件定义和通用基座能力的基础上，我们认为，大模型应用开发存在相对固定的数据流转和流程编排范式：以 ChatModel（大模型）为核心，通过 ChatTemplate 注入用户输入和系统 prompt，通过 Retriever、Document Loader & Transformer 等注入上下文，经过 ChatModel 生成，输出 Tool Call 并执行，或输出最终结果。在明确的组件定义基础之上，我们认为，大模型应用开发存在通用的基座性质的能力，包括但不限于：处理模型输出的流式编程能力；
2025-01-22 15:53:25
816
原创 ICLR 2025 Workshop 征稿：推动基础模型的开源、开放、可复现
Open Foundation Models：预训练策略，包括数据扩展、模型架构、多模态和多任务预训练。学习算法，如元学习、模型融合、模型合并和为开放、可扩展模型设计的持续学习。Open Replication of Proprietary Systems：复现专有的基础模型和系统，确保更广泛的研究和开发的透明度和可重复性。Open Compute Efficiency Techniques：专注于模型蒸馏、压缩、量化和优化注意力或内存机制，以提高基础模型的计算效率。2025 年 2 月 10 日。
2025-01-22 14:08:44
1020
原创 数据处理不再是“脏活累活”，听听开发者们怎么说？
本次活动也收集到了不少来自开发者的改进建议，ByConity 社区将根据这些反馈持续优化产品功能，构建一个更加活跃的开源生态。
2025-01-02 15:48:31
292
原创 首次覆盖超 11 类真实编程场景！豆包大模型团队开源代码大模型全新基准
字节跳动豆包大模型团队开源 FullStack Bench，一个专注于全栈编程和多语言编程的代码评估数据集。FullStack Bench 能够真实反映大模型在多种实际代码开发场景中的表现，有助于推动代码智能领域的进一步发展。
2024-12-06 18:16:30
1247
原创 Kitex/Hertz 助力大模型：三周年重要特性回顾｜CloudWeGo
本文根据 CloudWeGo 三周年 《Kitex/Hertz 助力大模型：三周年重要特性回顾》 分享整理，介绍近一年来 Kitex/Hertz 的重要特性，希望为企业用户、社区同学在自己的项目中更好的应用 Kitex/Hertz 构建自己的微服务体系提供帮助。
2024-12-06 15:24:33
773
原创 大幅降低数据科学门槛！豆包大模型团队开源AutoKaggle，端到端解决数据处理
字节跳动豆包大模型团队与 M-A-P 社区于近日提出 AutoKaggle ，为数据科学家提供了一个端到端的数据处理解决方案，帮助简化和优化日常数据科学工作流程的同时，极大降低数据科学的门槛，可帮助更多没有相关背景的使用者进行有价值的探索。最后，我们统计了不同错误类型及出现次数，可以看到，每个子任务阶段都有可能发生错误。未来，团队成员还将继续探索智数据科学课题及相关开源工作，并关注 Kaggle 上的最新前沿技术，如果你也对智能体协作、数据科学、大模型对复杂问题的解决感兴趣，有志于探索前沿课题，
2024-11-29 18:29:45
812
原创 无文本编码器仍能媲美CLIP！豆包大模型团队首创SuperClass模型
实验结果表明，SuperClass 在各种纯视觉场景和视觉 - 语言多模态场景下均优于 CLIP，同时基于分类的方法，模型展现出与 CLIP 相当，甚至更优的 Scalability。为了更好度量预训练得到的视觉表征能力，我们固定住训练好的视觉模型的参数，将其应用到 Linear probing、zero-shot、10-shot 等分类任务，同时接入到 LLM 做视觉和语言多模态下游任务进行评测。CLIP 广泛应用的另一个场景是多模态理解，作为多模态大模型中的视觉编码器，展现了很好的跨模态能力。
2024-11-29 18:17:33
748
1
原创 最高提升20倍吞吐量！豆包大模型团队发布全新 RLHF 框架，现已开源！
然而，控制流和计算流高度耦合，当设计新的 RL 算法，组合相同的计算流和不同的控制流时，需要重写计算流代码，修改所有相关模型，增加了开发难度。基于 Ray 的分布式编程，动态计算图，异构调度能力，通过封装单模型的分布式计算、统一模型间的数据切分，以及支持异步 RL 控制流，HybridFlow 能够高效地实现和执行各种 RL 算法，复用计算模块和支持不同的模型部署方式，大大提升了系统的灵活性和开发效率。这种灵活的模型部署方式，满足了不同算法、模型和硬件环境下的资源和性能需求。
2024-11-12 18:11:07
1076
原创 开源三年，CloudWeGo 的生态发展和社区增长
对于 Hertz 来说，在社区开发者的大力支持和参与下，同样构建了丰富的周边生态，在服务注册发现以及可观测性方面，和 Kitex 的能力集成体验上几乎是一致的，技术栈可以保持统一。微服务架构下，随着业务的发展，对服务的管控难度会越来越大，服务治理的作用就是为了解决服务拆分所引发的一系列问题，以让服务更稳定地运行，涉及的主题包含了服务注册与发现、负载均衡、服务熔断、服务降级、服务限流等。首先，Bookinfo 是 Istio 官方提供的经典 demo 应用，它的目的是演示 Istio 的各种各样特性。
2024-11-12 17:53:29
1026
原创 在离线统一调度器 Gödel Scheduler 性能优化: 算法设计思想与数据结构应用
本文将以几个经典优化为例，阐述基于这些构思所衍生的算法设计思想与数据结构应用，说明其对提升 Gödel Scheduler 调度性能并最终解决实际问题所发挥的巨大作用。
2024-09-26 14:41:23
851
原创 字节跳动冯佳时：大语言模型在计算机视觉领域的应用、问题和我们的解法
字节跳动研究科学家、豆包大模型视觉基础研究团队负责人冯佳时介绍字节跳动视觉基础研究团队在这个方向的探索与进展，包括 LLMs 在图像理解与视频生成上的阶段性结果。
2024-09-18 17:03:46
1049
原创 字节跳动开放计算最佳实践，亮相 2024 开放计算中国峰会
8 月 8 日，由两大开放计算组织 OCP（Open Compute Project）与 OCTC（开放计算标准工作委员会）联合主办的主题为 “开放协同：协作、智慧、创新” 的 2024 开放计算中国峰会在北京举行，以期与全球开放计算领域的社区和企业领袖、技术专家以及行业先锋，共同探讨新时代开放计算技术的最新进展和实践经验，促进生态融合、智能化实践和技术创新。而随着人工智能、大模型的爆发，传统的计算正在朝着多模态、多元算力等智能计算融合发展，如何进一步实现生态协同、开放共赢，对开放计算提出了新的要求。
2024-09-14 16:27:14
960
原创 完整的数仓能力，ByConity 1.0 版本发布！
在传统的数据分析架构中，这部分工作是由 Hive、Spark、Flink 等产品来完成的。二、增加了对 task 重试的支持：通过设置 bsp_max_retry_num（task的最大重试次数，默认值为5），可以在作业的中间 task 发生失败时，从失败的 task 开始重试，而不是从头开始重试，进而大大减少 failover 对执行时长的影响。ByConity 是字节跳动开源的云原生数据仓库，在满足数仓用户对资源弹性扩缩容，读写分离，资源隔离，数据强一致性等多种需求的同时，提供优异的查询，写入性能。
2024-09-10 17:42:43
956
原创 Rspack 1.0 发布了！
近两年，社区中涌现出多个基于 Rust 的 bundler，它们的性能表现都相当优异。Rspack 在确保卓越性能的同时，也在灵活度、兼容性等方面做到了社区领先。Rspack 当前的目标是：帮助现有的 webpack 项目渐进地迁移到高性能的 bundler 上，使构建性能不再成为项目迭代的瓶颈；
2024-09-06 16:36:36
1409
原创 开源活动预告｜抖音集团专家聚焦电商、PB级实时场景带来数据技术分享
8 月 31 日 13:30，Apache Doris x 字节跳动开源联合 Meetup 北京站即将开启。
2024-08-30 12:36:49
245
原创 CausalMatch v0.0.1正式发布！字节跳动开源因果推理利器，助力科学决策分析
因此我们需要用匹配的方法，为报名了活动的商家1和商家3在未报名活动的商家中寻找相似商家 - 商家1需要在“报名前7日无登陆抖店”的商家中搜寻对照组、商家3需要在“报名前7日有登陆抖店”的商家中搜寻对照组。在这种情况下，如何科学的估计策略效应成了数据分析或者数据科学团队的一个挑战。因此我们将日常业务中应用最广泛的因果效应估计方法 —— 匹配，进行了理论梳理，并开发了一套专注于匹配的轻量化因果关系分析工具 CausalMatch，为使用该方法来做决策分析的业务场景构建一套流程性且规范化的分析框架。
2024-08-28 14:03:44
733
原创 字节云原生数仓 ByConity 开源一周年！听听 Committer 们怎么说
通过和几位 committer 的沟通，我们发现他们对于想参与社区的同学给出了几乎类似的建议。兴趣驱动和业务驱动是两个主要方面，但是只有先用起来，才会发现问题，并通过在社区上寻求帮助或反馈问题逐渐加入社区。同时也非常欢迎大家把使用或者迁移经验分享到社区，并通过丰富社区生态，让 ByConity 社区逐渐壮大。–END–
2024-08-06 18:12:32
1003
原创 打造运营商实时分析平台——浩鲸科技 ByConity 应用实践
借助 ByConity 的能力，WhaleHouse 成为一款极速全场景 MPP 企业级数据库产品，具备水平在线扩缩容，兼容 MySQL 和 ClickHouse 等语法协议，提供全面向量化引擎与多种数据源联邦查询等重要特性，致力于在全场景 OLAP 业务上为用户提供统一的解决方案，适用于对性能、实时性、并发能力和灵活性有较高要求的各类应用场景。传统的 MPP 的数据库很困难扩缩容，例如 ClickHouse 和 GP，如果扩展主机，则会导致数据的重新分布，造成生产环境业务中断。原始数据包含数以千计的表。
2024-08-01 12:30:03
711
原创 字节跳动开源多云多集群管理引擎 KubeAdmiral v1.0.0 发布！
KubeAdmiral 是字节跳动于 2023 年 7 月正式开源的多云多集群管理引擎，它孵化于字节跳动内部，从上线至今一直强力支撑抖音、今日头条等大规模业务的平稳运行，目前管理着超过 21 万台机器、超过 1000 万 Pod。自正式开源以来，KubeAdmiral 自身也经历了不断发展和完善，在系统功能、扩展性、稳定性和运行效率均有大幅提升，也吸引了业界最终用户的使用和贡献。
2024-08-01 12:22:33
1214
1
原创 ByConity 助力烽火星空架构优化，产品性能平均提升 3 倍
ByConity 是字节跳动开源的云原生数据仓库，在满足数仓用户对资源弹性扩缩容，读写分离，资源隔离，数据强一致性等多种需求的同时，提供优异的查询，写入性能。GitHub ｜作者｜殷鹏，烽火星空，大数据开发工程师烽火星空（文中简称“烽火”）在搭建其 HSAP 数据库 FMDB 的过程中遇到了高并发场景下查询性能不理想，并且某些查询 SQL 有长尾现象等问题。
2024-05-23 11:53:02
1236
原创 Katalyst v0.5.0 发布：进一步解耦，进一步优化
是字节跳动开源的成本优化实践系统，致力于解决云原生场景下的资源不合理利用问题，为资源管理和成本优化提供解决方案。来源 | KubeWharf社区项目 | github.com/kubewharf/katalyst-core经过几个月时间的开发测试工作，Katalyst 近日完成了 v0.5.0 版本的发布。在该版本中，我们解耦了 Katalyst 常态混部能力对 kubewharf enhanced kubernetes 的依赖，用户可以在原生 Kubernetes 上安装和使用 Katalyst；
2024-05-22 11:40:34
1047
原创 字节跳动下一代通用高性能 OneAgent
本文介绍了字节跳动云原生可观测团队在构建 OneAgent 方面的探索，涉及数据模型、流程管道、编排调度和构建体系等方面，还分享了 OneAgent 在字节跳动内部的几个应用案例，展示了其在数据采集效率、资源消耗和系统稳定性方面的优势。
2024-05-09 17:15:37
1901
1
原创 字节开放模型 Hyper-SD，最快 1 步生成 SOTA 级图片（有demo 来试试
论文提出了 Hyper-SD，一个统一的扩散模型加速框架，可以显著提升扩散模型的在低步数情况下的生成能力，实现基于 SDXL 和 SD15 的新 SOTA 性能。该方法通过采用轨迹分段一致性蒸馏，增强了蒸馏过程中的轨迹保存能力，实现接近原始模型的生成效果。然后，通过进一步利用人类反馈学习和变分分数蒸馏提升模型在极端低步数下的潜力，从而产生了更优化、更高效的模型生成效果。
2024-04-28 15:08:54
797
原创 SoCC 论文解读：字节跳动如何在大规模集群中进行统一资源调度
不一样的是，为了支持更大规模的集群和提供更高的调度吞吐，它的 Scheduler 组件可以是多实例的，采用乐观并发调度， Dispatcher 和 Binder 则是单实例运行。未来，编排调度团队会继续推进 Gödel 调度器的扩展和优化工作，进一步丰富调度语义，提高系统响应能力，降低多实例情况下的冲突概率，并且会在优化初次调度的同时，构建和加强系统重调度的能力，设计和开发 Gödel Rescheduler。但当实例数超过 5 个后，性能有所下降，原因是实例越多，实例间的冲突越多，影响了调度效率。
2024-04-19 09:31:52
1561
原创 字节跳动开源 Gödel Scheduler：在离线统一调度器
作为字节跳动在离线混部场景中最核心的调度系统，Gödel 提供丰富的资源 QoS 管理能力，可以统一调度在线和离线应用，极大提升资源利用率。
2024-04-17 14:01:02
1007
1
转载 自回归超越扩散！北大、字节 VAR 范式解锁视觉生成 Scaling Law
VAR 为如何定义图像的自回归顺序提供了一个全新的视角，即由粗到细、由全局轮廓到局部精调的顺序。在符合直觉的同时，这样的自回归算法带来了很好的效果：VAR 显著提升自回归模型的速度和生成质量，在多方面使得自回归模型首次超越扩散模型。
2024-04-15 15:43:07
328
1
原创 1024 分辨率下最快模型，字节跳动文生图开放模型 SDXL-Lightning 发布
很高兴跟大家分享我们最新的文生图模型 —— SDXL-Lightning，它实现了前所未有的速度和质量，并且已经向社区开放。
2024-02-23 19:08:22
1378
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人