为thrift新增schema的动态支持

最新推荐文章于 2021-02-21 18:24:21 发布
原创 最新推荐文章于 2021-02-21 18:24:21 发布 · 262 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了Avro和Thrift这两种数据交换格式的特点。Avro由Hadoop之父Doug Cutting提出，旨在创建统一的数据交换和存储标准。其独特之处在于结合了明确的Schema和高效的二进制数据表示，支持数据自我描述。JD_Thrift开发库的开发初衷是为了利用Avro的动态Schema加载能力。

在今天说到Thrift就不可避免的要谈到Avro。Avro出自Hadoop之父Doug Cutting,其目标是要建立一个新的，标准性的云计算的数据交换和存储的Protocol。它偏向实用，主张建立一个统一的标准，并不介意采用特定的优化。Avro的创新之处在于融合了显式,declarative的Schema和高效二进制的数据表达，强调数据的自我描述，克服了以往单纯XML或二进制系统的缺陷。

        Avro-generic方式支持Schema的动态加载，用通用的结构(map)代表数据对象，不需要编译加载直接就可以处理新的数据源，这是相对Thrift的一个非常重要的区别，而这个功能确实在某些情况下非常有用，这正是JD_Thrift开发库的原始启动原因。

     JD_Thrift的开源链接：https://github.com/netcomm/thrift_auto_java 

iteye_16029
关注
相关业务问题+系统问题+设计问题整理统计
张彦峰的博客
04-07 171万+
业务系统及其他相关面试问题整理：线上相关问题排查+高并发系统的限流+高并发秒杀系统设计+负载均衡+一个网站有 20 亿 url 存在一个黑名单中，这个黑名单要怎么存？若此时随便输入一个 url，你如何快速判断该 url 是否在这个黑名单中？并且需在给定内存空间（比如：500M）内快速判断出？
Thrift架构~动态Thrift插件的注入
weixin_34100227的博客
01-21 200
先说AOP 说到注入，大家就会想起来IoC和AOP，确实如些，这一讲中，我们通过unity来实现对thrift插件的动态注入，事实上，这个功能在以后的项目中经常要用到，比如，你将一些功能分发到指定服务器，而这些服务器的功能是可以动态调整的，每台服务器的插件功能都不相同，这时，如果你有新的插件开发好后，如果不使用AOP的思想，那简直就是灾难！试想，有100个客户端的程序，你将会把新的程序和插件一个...
HBASE学习笔记--概述
weixin_34238633的博客
11-18 166
定义： HBase是一个分布式的、面向列的开源数据库,HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。 逻辑视图： 　用户对hbase中的数据在逻辑上通过rowkey,column family, cell ,timestamp进...
Thrift、protocolbuffer、avro这几种序列化之间的比较
wjxbj的博客
08-02 1151
一.概述         thrift和avro都提供rpc服务和序列化，而protocol buffer只是提供序列化功能。         thrift是一个跨语言的轻量级RPC消息和数据交换框架，Thrift能生成的语言有: C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk, and O...
Thrift 使用以及使用动态代理透明化调用
zjs40的博客
03-11 3062
Thrift 使用以及使用动态代理透明化调用github项目地址：github项目地址本文介绍的是多服务的调用与使用动态代理进行透明化调用因为每次调用方法时都要对transport (io/socket 资源) 进行开启关闭，所以就想设计client 代理起来,然后在前后添加 transport 的open 和 close() (finally)；thrift 版本号 0.10.0thrift 文件
rpc框架: thrift/avro/protobuf 之maven插件生成java类
weixin_34281537的博客
09-22 178
thrift、avro、probobuf 这几个rpc框架的基本思想都差不多，先定义IDL文件，然后由各自的编译器(或maven插件)生成目标语言的源代码，但是，根据idl生成源代码这件事，如果每次都要手动敲命令，未免太无聊了，幸好这三种框架都提供了对应的maven插件来完成代码的自动生成，本文演示了这三种框架的maven插件用法。 一、maven-th...
Docker Kubernetes 微服务容器化实践（二） 2.1 微服务实战 thrift篇③--用户服务Service
Sicily_winner的博客
02-03 751
目录 实现目标图 详细代码实现 其中一个接口逻辑，thrift调用 redis 添加 辅助 登录功能 资源下载   前言：服务之间的调用是通过Thrift，那如何去调用呢？我们先要生成对应的客户端，返回值为 T 实现目标图 调用用户服务，对用户信息做基本操作；调用信息服务，来实现发短信和邮件；还要实现登陆功能，登陆是单点登陆，支持其他系统！ 无状态redis缓存。...
协议字段动态解析引擎设计：支持热更新与多版本兼容的架构揭秘
![协议字段动态解析引擎设计：支持热更新与多版本兼容的架构揭秘]...引擎采用分层架构设计，包含**协议注册中心、Schema管理模块、动态解析器与热更新控制器**四大核心单元，支持多版本并存、
数据序列化选型指南：Protobuf vs JSON vs Thrift性能与适用场景分析
![数据序列化选型指南：Protobuf vs JSON vs Thrift性能...本文系统梳理了数据序列化的基本概念、核心理论与主流协议，深入剖析了Protobuf、JSON、Thrift三种典型序列化方案的工作原理与结构特性，并通过多维度性能测试
Schema演化兼容性难题解决之道：Avro与Protobuf在实时采集中的应用对比
!...# 1. Schema演化与数据兼容性挑战的本质 ...其本质在于**平衡灵活性与约束性**：过于严格的模式限制会阻碍快速迭代，而完全动态的结构则带来解析失败、数据丢失等运行时风险。 Schema兼容性问题尤其体现
thrift + 服务模型实例演示（java）
05-29
主要是对thrift0.9.0 TSimpleServer、TThreadPoolServer 、TNonblockingServer、THsHaServer等服务模型实例和AsynClient 异步客户端实例代码的演示
Thrift学习整理之环境搭建
我的程序员之路
08-28 1536
Apache thrift 实现了跨语言的RPC框架，尽力的为各种语言实现相同的抽象的RPC客户端与服务器。这里我们讲的是基于Java的。Thrift拥有简介的4层接口抽象，每一层都可以独立的扩展增强或者替换，是另外一个优点。其中，Transport层提供了一个简单的网络读写抽象层，有阻塞和非阻塞的TOC与http实现。Protocol层定义了IDL中的数据结构和Transport层的传输数据格式之间的编码解码机制，传输格式有二进制压缩二进制，JSON等格式，IDL中的数据结构包括Message，struc
Apache Avro 与 Thrift 比较
冯立彬的博客
10-10 1万+
Avro和Thrift都是跨语言，基于二进制的高性能的通讯中间件. 它们都提供了数据序列化的功能和RPC服务. 总体功能上类似，但是哲学不一样. Thrift出自Facebook用于后台各个服务间的通讯,Thrift的设计强调统一的编程接口的多语言通讯框架. Avro出自Hado
[thrift] thrift基本原理及使用
热门推荐
zkp_java的专栏
08-20 7万+
Thrift架构 thrift主要用于各个服务之间的RPC通信，支持跨语言。thrift是一个典型的CS结构，客户端和服务端可以使用不同的语言开发，thrift通过IDL(Interface Description Language)来关联客户端和服务端。thrift的整体架构图如下图所示 如下图所示为thrift的网络栈结构 thirft使用socket进行数据传输，数据以特定的格...
thrift 小结
chen8238065的专栏
03-10 1万+
概述Thrift是一个跨语言的服务部署框架，最初由Facebook于2007年开发，2008年进入Apache开源项目。Thrift通过一个中间语言(IDL, 接口定义语言)来定义RPC的接口和数据类型，然后通过一个编译器生成不同语言的代码（C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk和OCaml）,
带你搞懂Thrift核心源码(JAVA)
_ACME_的博客
10-17 2308
注：本篇文章适合使用过thrift，但不识庐山真面目的人阅读 本篇文章主要目的是了解thrift的全貌。读完文章你将收获以下几点 Thrift到底是个什么东西？ Thrift在项目中充当的角色？ Thrift的架构设计？ Thrift的TTransport是什么？(重点) Thrift的TProtocol是什么？（重点） Thrift的TProcessor是什么？（重点） Thrift的sche...
基于ZooKeeper和Thrift构建动态RPC调用
火柴盒
05-09 1万+
说明：这次的博客是自己在复旦大学一个课程的小作业。有修改、调整一、基本功能　　实现服务端向ZooKeeper集群注册自己提供的服务，并且把自己的IP地址和服务端口创建到具体的服务目录下。客户端向ZooKeeper集群监听自己关注的RPC服务（例如：sayHello和天气服务）， 监听服务目录下的IP地址列表变化。若要在自己的项目中使用，可以采用阿里的Dubbo分布式服务框架。 　　在WEB端展示可...
java thrift 生成_thrift 文件生成工具 thrift-generator
weixin_36164538的博客
02-21 945
软件介绍thrift-generator 是通过 Java 的接口生成 thrift 文件的工具。例子：publicinterfaceICommonUserService{publicUserlogin(intid,Stringname);publicUsergetUserById(longid);publicbooleansaveUser(Useruser);publ...
3、thrift原理重点分析之自动生成的代码详解
架构师之路
05-28 2009
我们用thrift-0.90.exe能够自动生成代码，仍用UserService.thrift为
robotframework给spark-shell写测试用例，spark-shell的开启方式为： （1）cd /opt/module/ume/spark/bin （2）./spark-shell --master local --conf spark.hadoop.hive.metastore.uris=thrift://local:19083 spark-shell的建表语句为： import org.apache.iceberg.Schema; import org.apache.iceberg.types.Types; //创建schema val schema = new Schema( Types.NestedField.required(1, "level", Types.StringType.get()), Types.NestedField.required(2, "event_time", Types.TimestampType.withoutZone()), //without Zone Types.NestedField.required(3, "message", Types.StringType.get()), Types.NestedField.required(4, "count", Types.IntegerType.get()) ); import org.apache.iceberg.PartitionSpec; //创建分区 val spec = PartitionSpec.builderFor(schema).hour("event_time").gpHash("level", 2).build(); import org.apache.iceberg.hive.HiveCatalog; //创建catalog val catalog = new HiveCatalog(); catalog.setConf(spark.sparkContext.hadoopConfiguration); val properties = Map("warehouse"->"hdfs://node199:9000/user/spark","uri"->"thrift://localhost:19083"); import collection.JavaConversions._ catalog.initialize("hive",mapAsJavaMap(properties)); // 创建数据库，如果spark中此数据库已经存在则可以忽略 import org.apache.iceberg.catalog.Namespace val namespace = Namespace.of("postgres"); import org.apache.iceberg.relocated.com.google.common.collect.ImmutableMap catalog.createNamespace(namespace, ImmutableMap.of()); //创建数据表 import org.apache.iceberg.Table; import org.apache.iceberg.catalog.TableIdentifier; val name = TableIdentifier.of("postgres", "test_ts_without_zone"); val table = catalog.createTable(name, schema, spec); 核心是通过robotframework，通过SSHLibrary库的write语句，要解决robotframework与spark-shell的交互问题
最新发布
03-15
但要注意到，某些操作可能不被支持，例如新增列。因此，在测试用例中需要验证这些操作是否成功，或者是否返回预期的错误信息。 此外，用户可能希望验证命令执行的结果。比如，执行完建表语句后，可能需要检查是否有...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值