c++通过Thrift向flume发送数据

最新推荐文章于 2020-10-11 23:51:07 发布
最新推荐文章于 2020-10-11 23:51:07 发布
阅读量901 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 网络编程/多线程 c/c++ Flume/Scribe Protobuf/Thrift 文章标签： c++ flume thrift cpp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lijinqi1987/article/details/77993805
本文介绍了如何在C++中通过Thrift与Flume进行数据交互。首先，从flume的Thrift接口定义文件生成C++代码。接着，编译生成的代码并链接libthrift库。最后，提供了启动Flume并配置Thrift source的测试步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在flume源码包apache-flume-1.7.0-src\flume-ng-sdk\src\main\thrift\flume.thrift 目录下，有Flume的Thrift接口定义（IDL）语言，通过该Thrift可以生成客户端模块基础代码，此处我们生成相应的c++代码：

thrift -r --gen cpp flume.thrift
编译过程中可能会报 " libthrift-0.9.3.so: cannot open shared object file: No such file or directory"

临时解决方法是执行命令 

export LD_LIBRARY_PATH=/usr/local/lib

或者在 /etc/ld.so.conf中加入libthrift库所在路径，本机是 /usr/local/lib

命令执行成功后，在当前目录下生成gen-cpp文件夹，内有文件

最低0.47元/天 解锁文章

200万优质内容无限畅学
Qt中用thrift验证flume
草上爬的博客
12-31 3194
flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。在flume中分为了3个组件，分别为source，channel和sink。Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据。Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。Channel是位于Source和Sink之间的缓冲区。
使用flume thrift source的一点心得
anjing900812的博客
01-12 1959
最近一直在使用flume的thrift source，刚开始搭建就遇到很多问题（依赖的其他程序较多），之后是编译程序编不过（用g++，需-l：g++ -g -DHAVE_NETr/local/include/thrift -L/usr/local/lib flumethriftclient.cpp gen-cpp/flume_constants.cpp gen-cpp/flume_types.cp
flume通过thrift协议收集日志-Python
10-09
flume通过thrift协议收集日志-Python。博客地址：http://blog.youkuaiyun.com/wangshuwei5/article/details/48902757
Flume thrift source C++ Demo
anjing900812的博客
12-30 1448
#include "gen-cpp/flume_constants.h" #include "gen-cpp/flume_types.h" #include "gen-cpp/ThriftSourceProtocol.h" #include #include #include #include #include using namespace std; using namespace
python通过thrift实现向flume发送数据
小麒麟的成长之路
09-08 2674
Apahce Thrift是FaceBook实现的一种高效的、支持多种语言的远程服务调用的框架。Source是负责接收数据到Flume Agent的组件，可以从其他系统中接收数据。Flume有Java Thrift RPC客户端，是FLume SDK的一部分，Thrift Source是多线程，高性能的Thrift服务器，Flume的Thrift接口定义（IDL）语言如下： namespac
thrift一个例子
热门推荐
xiaoshe的专栏
06-21 3万+
我用的是c++，所以我举一个c++的例子，简单说一下thrift的使用入门。例子描述是这样的：我们将学生信息（学号，姓名，性别，年龄）由客户端发送到服务端。实现这个例子，我们大致要做以下几部分事情：（1）书写.thrift文件（2）生成cpp文件（3）编写客户端（4）编译cpp文件并执行 （1）书写.thrift文件学生信息是有结构的，所以我们使用thrift的
利用Flume与Thrift协议以Python收集日志
然后，可以通过编写Python脚本来实现Thrift服务端或客户端，服务端用于接收数据，客户端用于发送数据。 #### 7. 示例应用场景 在实际应用中，我们可能需要处理多个分布在不同服务器上的日志文件。如果这些服务器都...
基于Flume的美团日志收集系统.pdf
05-20
美团的日志收集系统基于 Flume 设计和搭建而成，负责美团的所有业务日志的收集，并分别给 Hadoop 平台提供离线数据和 Storm 平台提供实时数据流。系统架构分为三层：Agent 层、Collector 层和 Store 层。 Agent 层...
Facebook大量数据处理 Scribe.zip
09-17
2. **节点通信**：Scribe节点之间通过Thrift协议进行通信，这是一种轻量级的跨语言服务开发工具，允许不同编程语言的系统间进行高效的数据交换。 3. **可扩展性**：Scribe设计时考虑了水平扩展，可以通过增加更多的...
【大数据处理技术】期末复习整理
鸽子的博客
07-19 2万+
所用教材：《大数据技术原理与应用——概念、存储、处理、分析与应用（第2版）》，由厦门大学计算机科学系林子雨编著。 教材官网：http://dblab.xmu.edu.cn/post/bigdata/ 慕课：http://www.icourse163.org/course/XMU-1002335004 内容总结自PPT： 第一篇：大数据基础 第1章 大数据概述 第2章 大数据处理架构Hadoop 第二篇 大数据存储与管理 第3章 分布式文件系统HDFS 第4章 分布式数据库HBase 第5章 No
flume-Thrift-source
duanyunxi的专栏
10-24 304
Thrift IDL Flume Thrift IDL在client包里面，定义如下： namespace java org.apache.flume.thrift struct ThriftFlumeEvent { 1: required map headers, 2: required binary body, } enum Status { OK, ...
C++ Thrift Client 与 Flume Thrift Source 对接
Liu_Guoqing2017的博客
04-09 313
项目需要C++代码与flume对接，进而将日志写入HDFS。flume原生为java代码，原先的解决方案是通过JNI调用flume java方法。但是由于一来对jni的调用效率的担心，二来C++调用JNI需要照顾local reference和GC的问题，被搞得头痛了。一怒之下，重写代码了，使用C++与远端的JAVA Flume对接。 在协议的选择上，AVRO C++虽然也有apach...
Flume C# Thrift客户端
某先生的专栏
02-26 2775
Flume Thrift Source ThriftSouce.java 使用TCompactProtocol、TFastFramedTransport做协议传输层。 而我们的DSF注册系统的Thrift使用TFramedTransport做传输层。翻看Thrift的API,看两个类的区别： ``` This transport is wire compatible with TFramed
Flume简介与使用（二）——Thrift Source采集数据
weixin_30652271的博客
08-27 423
Flume简介与使用（二）——Thrift Source采集数据 　　继上一篇安装Flume后，本篇将介绍如何使用Thrift Source采集数据。 　　Thrift是Google开发的用于跨语言RPC通信，它拥有功能强大的软件堆栈和代码生成引擎，允许定义一个简单的IDL文件来生成不同语言的代码，服务器端和客户端通过共享这个IDL文件来构建来完成通信。 　　Flume的Thrift Sou...
flume学习05---Thrift Source
chbxw
03-20 2921
Thrift Source侦听Thrift端口并从外部Thrift客户端流接收事件。 当与另一（前一跳）Flume agent上的内置ThriftSink配对时，它可以创建分层集合拓扑。 Thrift源可以配置为通过启用kerberos身份验证在安全模式下启动。 agent-principal和agent-keytab是Thrift源用来向Kerberos KDC进行身份验证的属性。 必需属性以粗
erlang+thrift配合开发
weixin_30746117的博客
01-07 149
I think, thrift is a tcp/ip based Client-Server architecture multi-languages supported RPC framework. 要使用thrift+erlang开发，要经过下面几个步骤。 1.对thrift了解。 thrift的功能的确是强劲，不过thrift缺少文档的确是它的硬伤，尤其是具体的语言的API...
Flume-ng ThriftSource原理分析
某先生的专栏
02-26 3950
Thrift IDL Flume Thrift IDL在client包里面，定义如下： namespace java org.apache.flume.thrift struct ThriftFlumeEvent { 1: required map string, string> headers, 2: required binary body, } enum Status {
Flume NG（五）使用ThriftSource通过RPC方式收集日志
weixin_42073629的博客
10-11 564
上一篇说了利用ExecSource从本地日志文件异步的收集日志，这篇说说采用RPC方式同步收集日志的方式。笔者对Thrift比较熟悉，所以用ThriftSource来介绍RPC的日志收集方式。 整体的结构图如下： 1. ThriftSource包含了一个Thrift Server，以及一个Thrift Service服务的实现。这里的Thrift Service是由ThriftSourceProtocol定义 2. 应用程序调用Thrift Service的客户端，以RPC的方式将日志发送到Thrif
C++与Thrift的双向通信实例教程
总结来说，通过上述步骤可以在C++中实现Thrift的双向通信。这个过程不仅涉及到Thrift框架的使用，还需要对网络编程、多线程等概念有一定的了解。通过实践Thrift的双向通信，可以加深对分布式系统通信协议和RPC框架的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值