
kryo
varyall
这个作者很懒,什么都没留下…
展开
-
Kryo官方文档-中文翻译
Kryo作为一个优秀的Java序列化方案,在网上能找到不少测评,但未见系统的中文入门或说明文档。官方文档是最好的学习文档。虽然英文不差,但啃下来毕竟没母语来的舒服。这里抽出时间做些翻译,以方便大家查阅。为阅读流畅,文中选择性的未翻译某些专业词汇,如 buffer、scheme等, 并在双尖括号中给出了译者注释,形如 << 注释... >> 。如遇到逻辑错误、阅读不通等,请参...转载 2018-04-16 01:01:39 · 1667 阅读 · 0 评论 -
Kryo为什么比Hessian快
Kryo 是一个快速高效的Java对象图形序列化框架,它原生支持java,且在java的序列化上甚至优于google著名的序列化框架protobuf。由于protobuf需要编写Schema文件(.proto),且需静态编译。故选择与Kryo类似的序列化框架Hessian作为比较来了解一下Kryo为什么这么快。序列化的过程中主要有3个指标:1、对象序列化后的大小一个对象会被序列化工具序列化为一串b...转载 2018-04-16 01:02:56 · 432 阅读 · 0 评论 -
使用kryo做序列化会遇到的几个坑
最近在整理一个开发框架:主体:spring4+mybatis3+mysql前端:easyui 或者 Ace Admin,后者是一个基于bootstrap 的强大后台管理系统界面。集群:Tomcat+kryo+Redis其它:c3p0链接池、P6SPY作SQL跟踪、logback作日志。其中在整合kryo的时候,遇到了一些挑战,记录如下:问题一:在系列化有Hashtable、Hashmap之类的对象...转载 2018-05-06 15:50:09 · 13357 阅读 · 2 评论 -
kryo优缺点
Kryo序列化优点其实之前在“Kryo序列化生效位置”处已经提到了Kryo序列化的优点,这里总结一下,大致为: 1. 算子函数中使用到的外部变量,使用Kryo以后:优化网络传输的性能,可以优化集群中内存的占用和消耗; 2. 持久化RDD,优化内存的占用和消耗,持久化RDD占用的内存越少,task执行的时候,创建的对象,就不至于频繁的占满内存,频繁发生GC; 3、shuffle:可以优化网络传输的性...转载 2018-05-06 16:25:10 · 13358 阅读 · 1 评论 -
Kryo为什么比Hessian快
Kryo 是一个快速高效的Java对象图形序列化框架,它原生支持java,且在java的序列化上甚至优于google著名的序列化框架protobuf。由于protobuf需要编写Schema文件(.proto),且需静态编译。故选择与Kryo类似的序列化框架Hessian作为比较来了解一下Kryo为什么这么快。序列化的过程中主要有3个指标:1、对象序列化后的大小一个对象会被序列化工具序列化为一串b...转载 2018-05-06 16:34:49 · 294 阅读 · 0 评论