星火计划 | Apache InLong一站式大数据接入平台沙龙火热报名中

最新推荐文章于 2025-02-01 12:39:35 发布
原创 最新推荐文章于 2025-02-01 12:39:35 发布 · 291 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#中间件 #消息队列 #大数据 #腾讯

腾讯大数据团队在2013年自主研发了TubeMQ，并于2019年开源。近期，TubeMQ升级为InLong，成为一站式大数据接入平台，处理每天近70万亿的流量。7月20日的技术沙龙将分享InLong的整体架构、关键设计及团队在Apache社区的规划。

导语：随着数据的增长以及业务场景的多元化，消息中间件已经成为IT架构中不可或缺的组件。它可以降低系统间的耦合性与复杂度，提升系统稳定性，为大数据时代的数据采集提供巨大助力。

腾讯大数据在2013年自研了分布式消息中间件系统TubeMQ，并在2019年将其开源，贡献给Apache社区。TubeMQ致力于实现大数据场景下海量数据的高性能存储和传输，承受了腾讯内部日均数十万亿的海量数据场景考验，在性能、稳定性及成本方面优势显著。

近期，团队在TubeMQ已有能力的基础上扩展出数据接入全链路的能力，将其正式升级为一站式大数据接入平台，并更名为“InLong”（应龙）——承载着腾讯内部每天近70万亿的流量重担。

7月20日19:00-21:00，腾讯大数据星火计划技术沙龙第10期《Apache InLong一站式大数据接入平台》将于线上直播。本次沙龙将围绕新一代InLong平台的整体架构、关键设计展开，分享腾讯大数据InLong团队的实践思路与研发经验，此外也将介绍团队在Apache社区中的规划和进展。

感兴趣的小伙伴，快扫描下方二维码，添加小助手报名吧！

图片

图片

扫码关注 | 即刻了解腾讯大数据技术动态

为集成LLM到测试平台提供更便捷的方式：为讯飞的LLM星火创建接入LangChain类（全部源代码）
Criss@陈磊
11-01 1213
如上源代码拿来即可以用，其中需要Python的_变量以及将appid、api_secret、api_key存在项目根目录的env文件中就可以了。如果对于_变量不熟悉可以学习：https://blog.youkuaiyun.com/crisschan/article/details/133277855?
Apache InLong毕业成为顶级项目，具备百万亿级数据流处理能力！
过往记忆大数据
06-23 724
Apache社区首个一站式大数据集成顶级项目正式诞生。刚刚获悉，全球最大的开源软件基金会Apache软件基金会正式宣布，Apache InLong成功从Apache孵化器毕业成为社区顶级项目，这个最初由腾讯捐献给Apache社区的一站式海量数据集成框架，可以为大数据开发者提供百万亿级数据流高性能处理能力，以及千亿级数据流高可靠服务。点击文末左下角“阅读原文”查看Apach...
开源项目介绍｜Apache InLong-分布式消息中间件系统
腾讯开源
06-11 4281
2021腾讯犀牛鸟开源人才培养计划开源项目介绍滑至文末报名参与开源人才培养计划提交项目ProposalApache InLong介绍Apache InLong（原Apache TubeMQ...
java源码生成jar包-incubator-inlong:ApacheInLong
06-05
java源码生成jar包阿帕奇TubeMQ (incubating) 是一个万亿级记录规模的分布式消息队列（MQ）系统，专注于海量数据下的数据传输和存储。 与众多开源MQ项目相比，TubeMQ在稳定性、性能、低成本等方面具有独特的优势。 它提供了多种功能： 可插拔传输协议，例如 TCP、SSL 支持大数据和流媒体生态系统集成 按时间或偏移量的消息追溯 高效的拉推式消费模式 灵活的分布式横向扩展部署架构 用于配置的功能丰富的管理仪表板 认证和授权 联系我们 邮件列表 名称 范围 发展相关讨论 主页： 问题： 贡献 我们始终欢迎新的贡献，无论是琐碎的清理、新功能还是其他物质奖励，更多详细信息请参见 。 构建 TubeMQ 先决条件 Java 1.8 Maven 3.3+ 构建分发包 编译打包： mvn clean package -DskipTests （可选）使用 Docker 构建： docker run -v REPLACE_WITH_SOURCE_PATH:/tubemq apachetubemq/tubemq-build clean package -DskipTests 运行单
数据集成框架（Apache InLong）
weixin_43156294的博客
09-13 1486
Apache InLong（应龙）：一站式的海量数据集成框架，提供自动、安全、可靠和高性能的数据传输能力，方便业务构建基于流式的数据分析、建模和应用。InLong 能够方便业务快速构建基于流式的数据分析、建模和应用，广泛应用于广告、支付、社交、游戏、人工智能等各个行业领域。InLong 项目最初由腾讯大数据团队捐献到 Apache 孵化器，并于 2022 年 6 月正式毕业成为 Apache 顶级项目。
Apache InLong（incubating）全新 1.1.0 版发布，都有哪些新特性？
腾源会
04-28 2232
InLong（应龙）:中国神话故事里的神兽，可以引流入海，借喻 InLong 系统提供数据接入能力。Apache InLong（应龙）是一个一站式的海量数据集成平台，提供自动、安全、可靠和高性能的数据传输能力，同时支持批和流，方便业务构建基于流式的数据分析、建模和应用。InLong 支持大数据领域的采集、汇聚、缓存和分拣功能，用户只需要简单的配置就可以把数据从数据源导入...
讯飞星火认知大模型强势接入网页，开启智能交互新时代
08-22
随着技术的不断演进，讯飞星火认知大模型迎来了一个重大更新，即其强大的功能被成功地整合并接入了网页平台。这一创新的突破，意味着开发者和用户能够在网页环境中直接体验到该模型所带来的智能交互能力。 智能交互...
讯飞星火大模型C#接入Demo
06-10
【标题】"讯飞星火大模型C#接入Demo"是一个示例项目，旨在帮助开发者了解如何在C#环境中利用科大讯飞的星火大模型进行API接口的集成与应用。科大讯飞是中国领先的语音识别和自然语言处理公司，其星火大模型提供了...
AI大模型SDK，支持多种大模型服务的统一接入，包括讯飞星火、通义千问、ChatGPT、和DeepSeek等
最新发布
08-28
这是一款基于Spring Boot的AI大模型服务集成框架，可实现讯飞星火、通义千问、ChatGPT、DeepSeek等多种大模型服务的统一接入。 支持多模型统一接入，提供同步、流式两种对话模式；支持参数透传与自定义配置，具备...
OpenAI_接口接入适配，支持千帆大模型平台、讯飞星火大模型、腾讯混元以及MiniM
09-29
OpenAI接口接入适配支持千帆大模型平台、讯飞星火大模型、腾讯混元以及MiniMax、Deep_simple-one-api，意味着它将构建起一个开放、多元、协作的AI应用生态。开发者可以依托于这些技术平台，进行更加高效和深入的人工...
Apache InLong：一站式大数据集成框架
gitblog_01120的博客
08-07 1120
Apache InLong：一站式大数据集成框架 inlongApache InLong - a one-stop, full-scenario integration framework for massive data项目地址:https://gitcode.com/gh_mirrors/in/inlong 项目介绍 Apache InLong 是一个一站式、全场景的大数据集成框架，支持数据...
Apache InLong：一站式大规模数据整合框架
gitblog_00671的博客
11-05 540
Apache InLong 是一个基于Java编写的开源项目，它提供了一站式的全场景数据集成解决方案，特别适合处理海量数据的摄入、同步与订阅需求。此项目采用模块化设计，支持高效、安全的数据传输，旨在简化大数据场景下的数据流管理。 ## 核心功能 - **数据摄入与同步**：允许用户轻松实现不同数据源之间的数据流动，无论是批量还是实时数据。 - **广泛的数据接入**：支持多种数据访问方法，包括...
Apache InLong(incubating) 发布 0.12.0 版本
开源社KAIYUANSHE的博客
01-23 589
| 作者：Apache InLong|编辑：金心悦| 设计：杨敏| 责编：王玥敏InLong(应龙):中国神话故事里的神兽，引流入海，借喻 InLong 系统提供数据接入能力。Apa...
探索数据集成新境界：Apache InLong 开源项目深度解析
gitblog_00058的博客
06-10 567
探索数据集成新境界：Apache InLong 开源项目深度解析 在大数据时代，如何高效、安全地管理海量数据的流动成为了诸多企业和开发者共同面临的挑战。今天，我们将深入探讨一个由Apache软件基金会托管的重量级解决方案——Apache InLong，它是一个一站式、全场景的数据集成框架，旨在简化大规模数据的采集、同步与订阅过程。 项目介绍 Apache InLong，灵感源自中国神话中引导河流入...
【重磅】Apache InLong(incubating) 发布 0.10.0 版本
腾源会
09-17 792
| 导语Apache InLong 以腾讯内部使用的TDBank为原型，依托万亿级别的数据接入和处理能力，整合了数据采集、汇聚、存储、分拣数据处理全流程，拥有简单易用、灵活扩展、稳定可靠...
探索数据之海：拥抱Apache InLong，打造一体化大数据处理平台
gitblog_00060的博客
06-10 499
探索数据之海：拥抱Apache InLong，打造一体化大数据处理平台 inlongApache InLong - a one-stop, full-scenario integration framework for massive data项目地址:https://gitcode.com/gh_mirrors/in/inlong 在数字化转型的浪潮中，数据成为企业最宝贵的资源之一。如何高效、...
深入了解Apache InLong和重点理解Sort的应用
zhengzaifeidelushang的博客
03-01 3410
深入了解Apache InLong和重点理解Sort的应用
龙举云兴｜顶级项目 Apache InLong 核心技术探秘
cloudbigdata的博客
06-23 595
Apache 软件基金会（即 Apache Software Foundation，简称为 ASF）于近日正式宣布，Apache InLong（应龙） 从孵化器成功毕业，成为基金会顶级项目！Apache 基金会公告（点击“阅读原文”查看）Apache InLong 的毕业，标志着业界首个一站式大数据集成 Apache 顶级项目诞生，也标志着第一个由腾讯捐献的 Apache...
Apache Inlong-(3)-Inlong单机安装
qq_31167425的博客
02-01 263
进入目录：cd apache-inlong-1.13.0/inlong-manager# 通过用户名和密码，创建DB和表： mysql -uDB_USER -pDB_PASSWD < sql/apache_inlong_manager.sql
在IDEA中接入讯飞星火X1接口
07-04
<think>我们正在处理用户的问题：如何在IntelliJ IDEA项目中集成讯飞星火X1 API。 根据用户的问题，我们需要提供步骤指南。由于讯飞星火API通常通过HTTP请求调用，我们将指导用户如何添加网络请求依赖、如何构造请求以及如何处理响应。 注意：讯飞星火API可能需要认证，通常使用API Key或Token。 步骤： 1. 在IDEA中创建或打开一个项目。 2. 添加网络请求库依赖（例如：使用OkHttp或HttpClient）。 3. 获取讯飞星火API的认证信息（如API Key、Secret Key等）。 4. 编写代码构造请求（包括认证信息、请求体等）。 5. 发送请求并处理响应。 由于讯飞星火API的具体细节（如URL、请求参数）需要参考其官方文档，因此我们只能提供一般性步骤。 同时，我们需要生成相关问题。</think>### 在IntelliJ IDEA中集成讯飞星火X1 API的步骤 #### 1. **创建/打开项目** - 打开IDEA → `File` → `New Project` 创建Java/Kotlin项目 - 或打开现有项目：`File` → `Open` #### 2. **添加依赖** 在`build.gradle`(Gradle)或`pom.xml`(Maven)中添加HTTP客户端依赖： ```gradle // Gradle示例 dependencies { implementation 'com.squareup.okhttp3:okhttp:4.12.0' // HTTP客户端 implementation 'com.google.code.gson:gson:2.10.1' // JSON处理 } ``` #### 3. **获取API凭证** 1. 登录[讯飞开放平台](https://www.xfyun.cn/) 2. 创建应用 → 获取： - `APP_ID` - `API_SECRET` - `API_KEY` - 接口地址（如：`wss://spark-api.xf-yun.com/v1.1/chat`） #### 4. **构建认证签名** 讯飞API要求动态生成签名[^1]，示例Java代码： ```java import javax.crypto.Mac; import javax.crypto.spec.SecretKeySpec; import java.util.Base64; public class AuthUtil { public static String getAuthUrl(String apiSecret, String apiKey) throws Exception { String host = "spark-api.xf-yun.com"; String date = new Date().toGMTString(); String preStr = "host: " + host + "\ndate: " + date + "\nGET /v1.1/chat HTTP/1.1"; Mac mac = Mac.getInstance("HmacSHA256"); mac.init(new SecretKeySpec(apiSecret.getBytes(), "HmacSHA256")); String signature = Base64.getEncoder().encodeToString(mac.doFinal(preStr.getBytes())); return "wss://" + host + "/v1.1/chat?" + "authorization=" + Base64.getEncoder().encodeToString( String.format("api_key=\"%s\", algorithm=\"hmac-sha256\", headers=\"host date request-line\", signature=\"%s\"", apiKey, signature).getBytes()) + "&date=" + URLEncoder.encode(date) + "&host=" + host; } } ``` #### 5. **调用API示例** ```java import okhttp3.*; import com.google.gson.Gson; public class SparkAPI { private static final Gson gson = new Gson(); public static void main(String[] args) throws Exception { String url = AuthUtil.getAuthUrl("YOUR_API_SECRET", "YOUR_API_KEY"); Request request = new Request.Builder() .url(url) .build(); WebSocket webSocket = new OkHttpClient().newWebSocket(request, new WebSocketListener() { @Override public void onMessage(WebSocket webSocket, String text) { // 处理星火API返回的JSON数据 System.out.println("Received: " + text); } }); // 构建请求体 String jsonRequest = "{\"header\":{\"app_id\":\"YOUR_APP_ID\"}," + "\"parameter\":{\"chat\":{\"domain\":\"general\"}}," + "\"payload\":{\"message\":{\"text\":[{\"role\":\"user\",\"content\":\"你好\"}]}}}"; webSocket.send(jsonRequest); } } ``` #### 6. **调试配置** - 在IDEA右上角 → `Edit Configurations` - 添加`Application`配置 → 指定主类 - 运行前设置环境变量（可选） #### 注意事项 1. 使用WebSocket协议（星火API主要使用WS） 2. 注意API版本（如`v1.1`或`v2.1`） 3. 免费额度通常为每日200万token[^2] 4. 生产环境需添加错误重试机制 [^1]: 讯飞API使用动态签名认证，每次请求需重新生成 [^2]: 具体额度以讯飞控制台显示为准
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

腾讯大数据

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值