官宣 | 腾讯捐赠的 InLong 正式毕业成为 Apache 顶级项目!

StarRocks——Stream Load 事务接口实现原理 阅读详情

全球最大的开源软件基金会Apache软件基金会正式宣布,Apache InLong 正式毕业成为社区顶级项目,这也是 Apache 社区首个一站式大数据集成顶级项目!

e8e37d6e77759ad9bdfdb6c75a22f7a9.png

Apache 基金会官博(点击“阅读原文”查看)

InLong 中文名“应龙”是中国神话中引流入海的神兽,意寓 InLong 在大数据社区生态中的价值:大数据接入集成。

这个最初由腾讯捐献给 Apache 社区的一站式海量数据集成框架,可以为大数据开发者提供百万亿级数据流高性能处理能力,以及千亿级数据流高可靠服务。

而这是继腾讯开源项目 Angel 从 LF AI 基金会毕业成为世界顶级的 AI 开源项目之后,腾讯大数据团队在开源领域创造的又一里程碑。

“我们很高兴看到 InLong 践行 Apache Way,并以顶级项目的身份从 Apache 孵化器毕业”。腾讯副总裁蒋杰表示:“腾讯致力于构建开源生态系统,让全球开发者能够平等便捷地利用开源代码。作为腾讯最成功的开源项目之一,InLong 广泛应用于腾讯内部海量业务以及外部的金融、政府等关键业务。未来,腾讯将持续为社区贡献我们的力量,携手全球开发者共同构建繁荣的大数据生态系统。”

Apache 软件基金会对所有的 Apache 项目都要严格筛选并经过孵化器孵化,满足一系列质量要求之后才可毕业。从孵化器里毕业的顶级项目,表明该项目的社区和产品已根据 ASF 的精英流程和原则得到良好管理。

InLong 以腾讯内部使用的 TDBank 为基础,依托万亿级的数据摄取和处理能力,将数据采集、聚合、存储、排序数据处理的全流程整合在一起。不仅提供自动、安全、可靠和高性能的数据传输能力,还支持基于流式的数据分析、建模和应用,帮助企业简化数据处理的过程。

比如,InLong 作为一个基于 SaaS 的服务平台,用户可以选择主题的数据发布和订阅,来轻松快速地报告、传输和分发数据,大幅降低了使用门槛。同时 InLong 可以为100万亿级数据流提供高性能处理能力,为1000亿级数据流提供高可靠服务,保障用户享受到稳定可靠的在线服务。

InLong 还支持多种数据访问方式,包括不同类型的消息队列服务集成和实时数据提取、转换、加载以及基于规则的排序功能;在服务方面,InLong 为用户提供统一的系统监控和告警服务。通过细粒度的指标来促进数据可视化,用户可以在统一的数据度量平台中直接查看队列的运行状态,大大提高了业务的主动性。

实际上,在腾讯内部InLong项目原名 TubeMQ,主要专注于高性能、低成本的消息队列服务,并长期服务微信支付、腾讯视频、广点通等产品。为了进一步释放 TubeMQ 周边的生态能力,腾讯将项目升级为 InLong,专注打造一站式海量数据集成框架。该项目于2019年11月进入 Apache 孵化器,2022 年6月毕业成为顶级项目。

目前, Apache InLong 已经发布第12个版本,腾讯大数据 InLong 团队和社区开发者一起,在孵化期间不断更新和完善其功能,比如重构 InLong Sort 模块、新增数据节点、优化初始化流程等,为社区和企业提供更多元化的开放解决方案。与此同时,InLong 正在广泛应用于广告、支付、社交、游戏、人工智能等各个行业领域,为多领域客户提供高效化便捷化服务。

“InLong 的毕业,标志着一个开放、多元、成熟的开源社区的成功建立。在未来的征程中,项目将继续践行“Apache Way”,通过社区的共同努力,助力更多企业数字化转型。”Apache InLong 副总裁 Charles Zhang 说。

“恭喜 Apache InLong 作为 ASF TLP 毕业!” NextArch 基金会 TOC 的 Mark Shan 说。“InLong 降低大数据使用门槛,期待 InLong 为社区和企业提供更多元化的开放解决方案。”

在 Apache 基金会的大数据项目上,腾讯已经为主流的 Hadoop、Spark、Flink 等项目贡献了大量的特性和 patch。在内部开源协同和自研上云战略驱动下,腾讯将会通过腾讯云,开放更多的大数据以及 AI 领域的产品化能力,为更多开发者提供低成本、高性能的开发工具。

Apache InLong数据集成工具安装部署和功能介绍 数据同步模块负责将数据源的数据按照指定规则同步到目标存储中。你可以配置同步任务的详细信息,包括数据源、目标存储、同步频率、数据转换规则等。系统主要包括数据接入,数据同步,数据订阅,数据节点,集群管理,审批管理,系统管理,系统运维等模块。选择数据源类型,配置数据源连接信息,如数据库地址、用户名、密码等。对数据接入、同步等请求进行审批,确保数据流动的安全性和合规性。添加新的 Pulsar 集群,配置集群的连接信息和相关参数。在开始之前,我们需要安装 InLong 的全部组件。数据目标支持数据源如下。 阅读详情

相关推荐

C#集成Bartender:动态图片标签打印的实战与优化

本文详细介绍了在C#程序中集成Bartender实现动态图片标签打印的实战方法与优化策略。通过具名数据源绑定、图片对象尺寸控制等核心技巧,解决了动态图片显示/隐藏的难题,并提供了从模板设计、代码架构到性能优化、错误处理的全流程指南,帮助开发者构建稳定高效的工业级标签打印系统。

weixin_29216957的博客 433

InLong介绍

Manager功能Manager 数据流Agent采集插件化用户可以根据自己的使用场景快速开发新的采集插件​ 本地缓存层DataProxy功能DataProxy工作流程Sort分拣执行流程Sort 插件

qq_42575907的博客 2732

Revit获取族预览图

最近做到和族库相关的功能需要获取到族文件的预览图,在RevitAPI中提供了ElementType.GetPreviewImage方法,但是前提就是你是在Revit里面操作的,并且已经拿到了Symbol对象实例,才可以调用此方法。然后在网上找了另外一种方式,通过读取Revit文件,在REVITPREVIEW4.0字段截取文件信息,将其转换为图片格式。 一、使用RevitAPI中ElementType.GetPreviewImage方法 [Autodesk.Revit.Attributes.Transac.

weixin_44631419的博客 1757

Apache基金会正式宣布Apache InLong成为顶级项目

刚刚获悉,全球最大的开源软件基金会Apache软件基金会正式宣布,Apache InLong成为成功从Apache孵化器毕业成为社区顶级项目,这也是Apache社区首个一站式大数据集成顶级项目。这个最初由腾讯捐献给Apache社区的一站式海量数据集成框架,可以为大数据开发者提供百万亿级数据流高性能处理能力,以及千亿级数据流高可靠服务。 这是继腾讯开源项目 Angel 从 LF AI 基金会毕业成为世界顶级的 AI 开源项目之后,腾讯大数据团队在开源领域创造的又一里程碑。作为国内国内大数据领域开源最全面的公司

优快云资讯 5696

ur3手眼标定+realsenseL515

知乎 csdn

AI_future的博客 978

目标检测中回归损失函数(L1Loss,L2Loss,Smooth L1Loss,IOU,GIOU,DIOU,CIOU,EIOU,αIOU ,SIOU)

为了解决CIoU的问题,有学者在CIOU的基础上将纵横比拆开,提出了EIOU Loss,并且加入Focal聚焦优质的预测框,与CIoU相似的,EIoU是损失函数的解决方案,只用于训练。在错误率小的地方,梯度的值也应当小,反之在错误率大的地方,梯度也应当大,因为这时候我们需要对错误率小的情况进行微调,而错误率大的地方进行大刀阔斧的调整;如下图所示,三种情况IoU都相等,但看得出来他们的重合度是不一样的,左边的图回归的效果最好,右边的最差。DIoU的作者考虑到,在两个框中心点重合时,c与d的值都不变。

zyw2002的博客 6632

inlong(应龙)学习之docker-compose部署

历时两天折腾,inlong终于启动成功分析一下文档inlong地址中文地址刚开始参照文档里面得快速开始,先下载对应得jar包,刚开始我下了1.1.0的,解压 apache-inlong-1.1.0-incubating-src.tar.gz解压出来之后,是个tar文件,继续解压因为我想用docker启动,就按照文档上说的命令进行编译总是报错,然后我采用了Dockers部署的方式按照上面说的先下载对应jar包,安装之前要准备docker环境,...

ljh1228的博客 2047

AI数字人:口播与唇形同步的福音,支持本地部署/批量生成/口齿清晰

你也可以直接输入语音,虚拟化身会根据语音的节奏和语调,同步做出相应的动作和表情,表现更加生动。不过这依然是个值得关注的工具。借助先进的 AI 算法,Heygem 高精度捕捉五官、轮廓等特征,构建逼真的虚拟模型。同时,它还能克隆语音,捕捉人声的细微特征,支持多种语音参数设置,打造高度相似的音色效果。打开设置,调整镜像存储位置,镜像文件比较大70~80G,选择合适的盘,设置完成后点击“Apply & Restart”。数字人视频画面与声音高度同步,口型匹配自然流畅,智能优化音视频效果,带来极佳的视听体验。

m0_72580657的博客 5862

【Doris】MySQL数据同步至Doris问题记录

最近接到一个数据同步的任务,需要基于 DataInLong 将数据从 MySQL 同步至 Doris 中。

ZORO的成长记录 3447

【JESD79-5之】11 IDD, IDDQ, IPP规格参数和测试条件(IDD, IDDQ, IPP Specification Parameters and Test conditions)

【代码】【JESD79-5之】11 IDD, IDDQ, IPP规格参数和测试条件(IDD, IDDQ, IPP Specification Parameters and Test conditions)

m0_61126667的博客 4863

全新DEIM有效涨点改进目录 | 本专栏持续更新500+篇内容 | 包含各种顶会顶刊卷积、注意力、特征融合模块、有效特征聚合提取模块,上采样模块、下采样模块,二次创新模块、独家创新等几百种创新点改进

🚀【CVPR2025DEIM改进专栏速览】🔥 专栏提供500+篇目标检测创新改进方案,涵盖卷积/注意力/特征融合等创新改进点,均源自顶会论文及实战经验。支持多领域应用(工业/医疗/遥感等),配套完整教程和答疑服务。亮点包括: 1️⃣ 持续更新SOTA模型改进方案 2️⃣ 小白友好型实验操作指南 3️⃣ 跨学科科研支持(已助非计算机专业发表论文) 4️⃣ 提供虚拟环境配置方案。 订阅可获完整项目代码及交流群服务,适合研究生科研论文改进需求。价格呈上涨趋势,早订更优惠!

Ai缝合怪、助力小伙伴高效发论文 2056

最新消息!Apache 基金会官宣:Apache InLong 毕业成为顶级项目

刚刚获悉,全球最大的开源软件基金会 Apache 软件基金会正式宣布,Apache InLong 成功从 Apache 孵化器毕业,成为社区顶级项目,这也是Apache 社区首个一站式大数据集成顶级项目。这个最初由腾讯捐献给 Apache 社区的一站式海量数据集成框架,可以为大数据开发者提供百万亿级数据流高性能处理能力,以及千亿级数据流高可靠服务。这是继腾讯开源项目 A...

腾源会 268

GVINS数据采集(u-blox fp9 + D435i)

1、配置千寻的RTK账号 采集数据当天购买千寻的RTK账号,然后在Window下,输入账号和密码 (具体的步骤如之前面连接所示),查看u-center软件上的信息,确保接收机可以收到RTK信息; 2、查看Linux系统下u-blox是否可以正常接受GPS信号和RTK数据流 1、GPS信号信息 // 打开端口 1 cd ublox_f9p/src // 或者在终端1下也可以 source devel/setup.bash r.....................

努力努力努力 2609

深入了解Apache InLong和重点理解Sort的应用

深入了解Apache InLong和重点理解Sort的应用

zhengzaifeidelushang的博客 3552

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

DataInLong任务切换实践:从Kafka-A到Kafka-B的数据迁移指南

本文详细介绍了如何将DataInLong任务从Kafka-A迁移到Kafka-B,同时保持目标表DLC-A不变。首先,停止当前任务并验证其完全停止;其次,修改任务配置,将数据源从Kafka-A切换为Kafka-B,并确保关键配置如消费位移策略和网络连通性正确;最后,启动修改后的任务并监控其运行状态。文章还分析了该方案的可行性,并提出了最佳实践,如并行运行过渡期、双重写入验证和配置版本控制。此外,针对潜在问题如数据格式不一致、消费位移管理和监控告警,提供了具体的解决方案。对于关键业务场景,建议使用零停机切换方

私聊前往站内信:https://i.youkuaiyun.com/#/msg/chat/weixin_44976692 1万+

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Apache InLong(incubating)全新 1.1.0 版发布,都有哪些新特性?

InLong(应龙):中国神话故事里的神兽,可以引流入海,借喻 InLong 系统提供数据接入能力。Apache InLong(应龙)是一个一站式的海量数据集成平台,提供自动、安全、可靠和高性能的数据传输能力,同时支持批和流,方便业务构建基于流式的数据分析、建模和应用。InLong 支持大数据领域的采集、汇聚、缓存和分拣功能,用户只需要简单的配置就可以把数据从数据源导入...

腾源会 2322

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

Apache InLong重磅发布 0.10.0 版本,着力降低用户使用门槛

导语:Apache InLong 以腾讯内部使用的TDBank为原型,依托万亿级别的数据接入和处理能力,整合了数据采集、汇聚、存储、分拣数据处理全流程,拥有简单易用、灵活扩展、稳定可靠等特性。 Apache InLong(孵化中) 刚刚发布了 0.10.0 版本,该版本是升级为 InLong(中文名:应龙) 后的第二个版本,着力解决InLong应用门槛高问题。该版本吸引腾讯内外 10 多位开发者参与,关闭超过 120 个issue, 开发超过 8 个重要Feature。 Apache InL...

Tencent_BigData的博客 630

开源项目介绍|Apache InLong-分布式消息中间件系统

2021腾讯犀牛鸟开源人才培养计划开源项目介绍滑至文末报名参与开源人才培养计划提交项目ProposalApache InLong介绍Apache InLong(原Apache TubeMQ...

腾讯开源 4331

Apache InLong毕业成为顶级项目,具备百万亿级数据流处理能力!

Apache社区首个一站式大数据集成顶级项目正式诞生。刚刚获悉,全球最大的开源软件基金会Apache软件基金会正式宣布,Apache InLong成功从Apache孵化器毕业成为社区顶级项目,这个最初由腾讯捐献给Apache社区的一站式海量数据集成框架,可以为大数据开发者提供百万亿级数据流高性能处理能力,以及千亿级数据流高可靠服务。点击文末左下角“阅读原文”查看Apach...

过往记忆大数据 904

数据集成框架(Apache InLong)

Apache InLong(应龙):一站式的海量数据集成框架,提供自动、安全、可靠和高性能的数据传输能力,方便业务构建基于流式的数据分析、建模和应用。InLong 能够方便业务快速构建基于流式的数据分析、建模和应用,广泛应用于广告、支付、社交、游戏、人工智能等各个行业领域。InLong 项目最初由腾讯大数据团队捐献到 Apache 孵化器,并于 2022 年 6 月正式毕业成为 Apache 顶级项目。

weixin_43156294的博客 1728

官宣 | 龙举云兴——Apache InLong 正式毕业成为顶级项目!

| 转载自:腾讯大数据、Apache InLong|编辑:唐凌波|责编:王玥敏| 设计:赵玭月INTRODUCTION全球最大的开源软件基金会Apache软件基金会正式宣布,Apache InLong 正式毕业成为社区顶级项目,这也是 Apache 社区首个一站式大数据集成顶级项目!Apache 基金会官博(点击“阅读原文”查看)InLong 中文名“应龙”是中国神话...

开源社KAIYUANSHE的博客 687

十款开源数据集成工具

十款开源数据集成工具

eagle89的专栏 6195

数据集成领域的相关技术总结

Airbyte、dbt的成功除了在产品层面解决了用户的实际痛点外,还有时势造英雄。国外对云的拥抱程度更高,可以依托云外延打造更立体的服务,而国内对云大部分是为了替换IDC服务器(Iaas层+中间件Paas),对Saas的软件层面更喜欢定制。所以工具类Saas产品在国外的生态会更好。

数字化时代下,新IT人的转型之路 1553

Apache InLong 完整使用指南:构建高效数据流处理平台

Apache InLong 是一个一站式全场景的数据集成框架,专为大规模数据处理而设计。它集数据摄取、数据同步和数据订阅于一身,为构建基于流数据的实时应用提供了强大的支持。作为 Apache 顶级项目,InLong 在实时数据同步和多源数据集成方面表现出色,是数据工程领域的重要工具。 ## 🚀 项目概述与核心价值 Apache InLong 致力于解决企业在数据集成过程中面临的复杂性问题。它

gitblog_00707的博客 943
上一篇: 龙举云兴|顶级项目 Apache InLong 核心技术探秘
下一篇: 腾讯云ES:一键配置,LDAP身份验证服务来了!
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值