Hadoop数据类型讲解

干货--Hadoop自定义数据类型和自定义输入输出格式整合项目案例 数据输入格式(InputFormat) 用于描述MapReduce作业的数据输入规范。MapReduce框架依靠数据输入格式完成输入规范检查(比如输入文件目录的检查)、对数据文件进行输入分块(也叫分片,InputSplit),以及提供从输入分块(分片)中将数据记录逐一读出,并转化为Map过程的输入键值对等功能 Hadoop提供了丰富的内置数据输入格式。最常用的数据输入格式包括:TextInputFormat和KeyValueInputFormat TextInputFormat是系统默认的数据输入格式,可 阅读详情

序列化

所谓序列化(serialization),是指将结构化对象转化为字节流,以便在网络上传输或写到磁盘进行永久存储。反序列化(deserialization)是指将字节流转回结构化对象的过程。

序列化在分布式数据处理的两大领域经常出现:进程间通讯和永久存储。

在Hadoop中,系统中多个节点上进程间的通信是通过“远程过程调用”(RPC)实现的。RPC协议将消息序列化成二进制流后发送到远程节点,远程节点接着将二进制流反序列化为原始消息。

Hadoop使用自己的序列化格式Writable,它格式紧凑,速度快,但很难用Java以外的语言进行扩展或使用。因为Writable是Hadoop的核心(大多数MapReduce程序都会为键和值使用它)。

数据类型

数据类型都实现Writable接口,以便用这些类型定义的数据可以被序列化进行网络传输和文件传输。

基本数据类型

BooleanWritable:标准布尔型数值       ByteWritable:单字节数值
DoubleWritable:双字节数值           FloatWritable:浮点型
IntWritable:整形数                  LongWritable:长整数型

实现接口的问题

1)在Hadoop中所有的Key/Value类型必须实现Writable接口,有两个方法,分别用于读(反序列化)和写(序列化)。

这里写图片描述

2)所有的key,必须实现Comparable接口,在MapReduce过程中需要对key/value对进行反复的排序,默认情况下依据key进行排序,我们要实现compara To()方法。所以,通过key既要实现Writable接口,又要实现Comparable接口。Hadoop中提供了一个公共的接口 WritableComparable 。

这里写图片描述

3)由于需要序列化、反序列化、比较,对Java对象需要重写以下几个方法:
I,equals()
II,hashCode()
III,toString()

4)数据类型,必须有一个默认的无参构造方法,为了方便反射,进行创建对象。

5)在自定义数据类型中,建议使用Java原生数据类型,最好不要使用Hadoop对原生类型封装好的数据类型。

RawComparator

对MapReduce来说,类型的比较是非常重要的,因为中间有个基于键的排序阶段,hadoop提供的一个优化接口是继承自Java Comparator的RawComparator接口:

这里写图片描述

该接口允许其实现直接比较数据流中的记录,无需先把数据流反序列化成对象(比如,一开始数据流就是数组,那么可以直接用来比较),这样便避免了新建对象的额外开销。例如,我们根据IntWritable接口实现的comparator实现了compare()方法,该方法可以从每个字节数组b1和b2中读取给定起始位置(s1和s2)以及长度(l1和l2)的一个整数进而直接比较。

自定义Comparator类

在Hadoop中有一个针对Writable数据类型,进行实现的一个通用实现类WritableComparator类。所有的数据类型,只需要继承通用类,再根据需要的具体功能复写相应的compare()方法。

对于自定义Comparator类,需要以下几步:
1)推荐Comparator类定义在数据类型内部,静态内部类,实现WritableComaprator类。

2)重写默认无参构造方法,方法内必须调用父类有参构造方法。

3)重载父类的compare()方法,依据具体功能进行复写。

4)向WritableComparator类中注册自定义的Comparator类

涉及的接口与类

WritableComparator

WritableComparator是对继承自WritableComparable类的RawComparator类的一个通用实现。它提供两个主要功能,第一,它提供了对原始compare()方法的一个默认实现,该方法能够反序列化将在流中进行比较的对象,并调用对象的compare()方法。第二,它充当是RawComparator实例的工厂(已注册Writable的实现)。

NullWritable

NullWritable是Writable的一个特殊类型,它的序列化长度为0,它并不从数据流中读取数据,也不写入数据。它充当占位符,例如:在mapReduce中,如果你不需要使用键或值,就可以将键或值声明为NullWritable——结果是存储常量空值,如果希望存储一系列数值,与键/值对相对,NullWritable也可以用作在SequenceFile中的键。它是一个不可变的单实例类型:通过调用NullWritable.get()方法可以获取这个实例。

ObjectWritable and GenericWritable

ObjectWritable是对Java基本类型(String,enum,Writable,null或这些类型组成的数组)的一个通用封装。它在Hadoop RPC中用于对方法的参数和返回值类型进行封装和解封装。

当一个字段中包含多个类型时,ObjectWritable是非常实用的,例如:如果SequenceFile中的值包含多个类型,就可以将值类型声明为ObjectWritable,并将每个类型封装在一个ObjectWritable中。作为一个通用的机制,每次序列化都写封装类型的名称,这非常浪费空间。如果封装的类型数量比较少并且能够提前知道,那么可以通过使用静态类型的数组,并使用对序列化后的类型的引用加入位置索引提高性能。这是GenericWritable类采取的方法,并且你可以在继承的子类中指定需要支持的类型。

android广告SDK原理详解(附源码) 广大的开发者吃糠咽菜开发了一两款APP,获取了一些流量后自然就会想到流量变现,一般情况下大家会选择到百度联盟或者Google Admob这些广告服务提供商注册开发者账号,在自己的APP里面加上几行广告位代码,集成他们的广告SDK包。然后谋事在人,成事在天,只有每天看报表查查收益。   也有一些开发者为了能够提高自己的变现水平,同时接入了好几家的sdk,哪家出的收益高一点我就出哪家的广告,但是这 阅读详情

相关推荐

Gromacs基础教程一:入门建议

本系列教程针对的群体:非计算化学专业,而是偏生物方向的、有少量分子动力学模拟需求的人群。

m0_67843839的博客 8574

Nullwritable

NullWritable是Writable的一个特殊类,实现方法为空实现,不从数据流中读数据,也不写入数据,只充当占位符,如在MapReduce中,如果你不需要使用键或值,你就可以将键或值声明为NullWritable,NullWritable是一个不可变的单实例类型。 比如,我设置map的输出为<key,空> 不能使用new NullWritable()来定义,获取空值只能NullWritable.get()来获取 ...

weixin_43797368的博客 2137

自制非接触式静电探测仪:从振动电容原理到微弱信号检测实践

微弱信号检测是电子测量领域的核心挑战之一,尤其在需要避免物理接触或防止干扰的场景中。其基本原理在于将难以直接获取的微小物理量(如电流、电压)通过传感器转换为电信号,再经过放大、滤波等处理进行提取。锁相放大技术是解决这一问题的关键手段,它利用参考信号与目标信号的同步性,从强噪声背景中恢复出有效信息,极大提升了信噪比和测量灵敏度。这项技术的工程价值在于实现了对纳安级电流、微伏级电压等高难度参数的可靠测量。在静电防护、材料表面电位分析、生物电信号采集等应用场景中,非接触式测量需求广泛。本文聚焦的基于振动电容原理的

weixin_32349093的博客 275

MapReduce词频统计【自定义复杂类型、自定义Partitioner、NullWritable使用介绍】

一、MapReduce1.0运行模型 二、MapReduce编程模型之执行步骤 1、准备map处理的输入数据 2、交给Mapper进行处理 3、Shuffle【规则可以自己控制】 4、Reduce处理[合并、归并] 5、输出 MapReduce处理流程 InputFormat读数据,通过Split将数据切片成InputSplit,通过RecordReader读取记...

zp的博客 1989

IDEA 2023.2.3全平台安装指南:Mac/Windows/Linux一键激活(附最新补丁获取)

本文提供IDEA 2023.2.3在Mac、Windows和Linux三大平台的一键安装与激活指南,包含最新补丁获取方法。详细讲解各系统安装流程、性能调优设置及高效开发技巧,帮助开发者快速配置并提升工作效率。

weixin_28832121的博客 400

增量编码器资讯大全

增量编码器是什么 增量式编码器是将位移转换成周期性的电信号,再把这个电信号转变成计数脉冲,用脉冲的个数表示位移的大小,按照工作原理编码器可分为增量式和绝对式两类。 增量式编码器是将位移转换成周期性的电信号,再把这个电信号转变成计数脉冲,用脉冲的个数表示位移的大小。 编码器是把角位移或直线位移转换成电信号的一种装置。前者称为码盘,后者称码尺.按照读出方式编码器可以分为接触式和非接触式两种.接触式采...

kindele的博客 6009

Hadoop之——数据类型

转载请注明出处:http://blog.youkuaiyun.com/l1028386804/article/details/46039055 一.  Hadoop内置的数据类型 BooleanWritable:标准布尔型数值ByteWritable:单字节数值DoubleWritable:双字节数值FloatWritable:浮点数IntWritable:整型数LongWritable:长整型

kevin_xiang的专栏 647

国科大——形式语言与自动机理论(0812课程)——作业

此次作业题考察,包括但不限于有限自动机、无限自动机、正则文法、正则表达式以及正则语言的性质,题考查下推自动机相关的知识,题考查图灵机相关的知识。此课程建议本科学习过课程的同学选修,成绩占比:考试100%。此课程虽然留有作业,但可做也可不做,且不考勤。

qq_54145399的博客 707

Hadoop数据类型

一. Hadoop内置的数据类型BooleanWritable:标准布尔型数值 ByteWritable:单字节数值 DoubleWritable:双字节数值 FloatWritable:浮点数 IntWritable:整型数 LongWritable:长整型数 Text:使用UTF8格式存储的文本 NullWritable:当<key, value>中的key或value为空时使用 二. 用户自

Howie Lee的博客 1118

【Unity 实用工具篇】 | Book Page Curl 快速实现翻书效果

游戏和应用开发中,真实感的交互设计能显著提升用户体验。Unity3D图书翻页效果插件为开发者提供了一种便捷方式,可在项目中实现高度拟真的书籍翻页动画。 本文介绍该插件的快速使用方法,涵盖从基础导入到自动翻页效果创建的全过程,让我们快速实现翻页效果。

努力前行,总会成为自己心中的那道光 1万+

【肌电处理】肌电信号EMG积分肌电值+均方根值+中值频率+平均功率频率【含Matlab源码 3386期】

肌电信号EMG积分肌电值+均方根值+中值频率+平均功率频率 完整的代码,方可运行;可提供运行操作视频!适合小白!

订阅付费专栏Matlab(奶茶价版),可赠送奶茶价版付费专栏指定代码1份; 826

Hadoop实践(三)---Hadoop数据类型

《Hadoop MapReduce实战手册》学习笔记

狮锅艺 6427

乐企增值税及附加税费(一般纳税人适用)申报表填报能力说明文档V3.009

申报表填报,是指企业在自有业务系统中将算税结果数据按预填规则要求加工汇总后,进行申报表填报的过程。申报表填报前对纳税申报所需的前提条件进行校验。校验通过后,应用前序算税结果数据及预填规则进行纳税申报表预填,生成申报表数据。申报表数据通过申报业务规则校验后,经纳税人确认即完成申报表填报业务。

记录点滴 348

hadoop 自定义数据类型

1.Hadoop 内置的数据类型的介绍 Hadoop提供了如下内置的数据类型,这些数据类型都实现了WritableCamparable接口,以便用这些类型定义的数据可以被序列化进行网络传输和文件存储,以及进行大小比较。 IntWritable:整型数  (常用) Text:使用UTF8格式存储的文本  (常用) BooleanWritable:标准布尔型数值 ByteWritab

sunshine_pb的专栏 1105

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

Hadoop 中的数据类型

/ 将Java的int类型变量23封装成Hadoop的整形类IntWritable对象。//将Java的int类型变量23封装成Hadoop的整形类IntWritable对象。// 将Hadoop的IntWritable对象转换成int的整形数据。// 将Hadoop的Text对象转换成String的文本类型字符串。1、对于 Text 类型使用 toString() 方法进行转换。IntWritable 对应 Java 的 int。Text 对应 Java 的 String。2、通过set()进行转换。

小小王的博客 1152

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

关于hive,mapreduce,hadoop讲解

mapreduce知识 1.什么是mapreduce?特点? mapreduce分为map端和reduce端 map端映射,reduce端归约 mapreduce是分布式计算框架,用于处理海量数据 特点: 易于编程, 高扩展 适合海量数据的处理 有良好的容错性 2.maptask和reducetask的区别? maptask解析数据通过map方法写入磁盘 reducetask通过复...

weixin_43951105的博客 401

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Hadoop中的自定义数据类型(序列化、反序列化机制)详解

大家都知道,Hadoop中为Key的数据类型必须实现WritableComparable接口,而Value的数据类型只需要实现Writable接口即可;能做Key的一定可以做Value,能做Value的未必能做Key.但是具体应该怎么应用呢?—-本篇文章将结合手机上网流量业务进行分析。 先介绍一下业务场景:统计每个用户的上行流量和,下行流量和,以及总流量和。 本次描述所用数据: 日志格式描述:

什么最重要?算法!! 3171

hadoop自定义数据类型

一.  Hadoop内置的数据类型 BooleanWritable:标准布尔型数值ByteWritable:单字节数值DoubleWritable:双字节数值FloatWritable:浮点数IntWritable:整型数LongWritable:长整型数Text:使用UTF8格式存储的文本NullWritable:当中的key或value为空时使用 二. 用户自定义数据类型的实现

renzeGIS的专栏 967

【Hadoop---11】MapReduce:基本数据类型 与 自定义数据类型『Writable接口 / WritableComparable接口 | 一个案例:统计手机流量』

1. Hadoop基本数据类型 2. 序列化与反序列化概述 2.1 什么是序列化与反序列化? 2.2 为什么要序列化? 2.3 为什么不用 Java 的序列化? 3. 自定义数据类型(Writable / WritableComparable) 3.1 为什么自定义数据类型必须实现序列化接口 3.2 自定义数据类型步骤 4. 案例:统计手机流量 第一步:确定 Map、Reduce 逻辑 第二步:编写Bean类 第二步:编写Mapper类 第三步:编写Reducer类 第四步:编写Driver类 第五步:运行

渐渐的忘记,赶不上明天(读研ing,2024年毕业) 1419

【hadoop期末复习】第九章 数据仓库Hive 超详细讲解

** 本专栏的Hadoop复习计划文章内容主要包含以下几个部分: 【简单】学习通习题 【进阶】课本课后练习 【操作】相关章节实验回顾 让我们开始吧! 学习通 - 习题 课本 - 课后习题 实验回顾 ** 详见我之前写的:【hadoop学习之路】Hive HQL 语句实现查询 ...

onion23的博客 7357

大数据与Hadoop入门理论

Hadoop入门理论

小方的博客 2408

CentOS虚拟机Java环境中MapReduce Hadoop的WordCount(词频运算)程序连接数据入门

目录 1. Hadoop 简介 2. Hadoop 的架构 3. MapReduce 简介 4. Hadoop HDFS 简介 5. HDFS架构 6. MapReduce开发流程概念(重点) 7. maperuce 运算开发示例(重点) 8. hdfs 的数据类型(重点) 9. 完整代码 1. Hadoop 简介         Hadoop是使用Java编写,允许分布式集...

gaofengyan的博客 1556

hadoop序列化

Writable是hadoop自己研发的一套序列化机制。与java(Serializable)的序列化相比,便于在网络中高效传输,去除了很多额外的信息(各种校验信息,继承体系等)一、常用的数据类型对应的Hadoop数据序列类型java类型hadoop Writable类型booleanBooleanWritablebyteByteWritaleint IntWritablelongLongWrit...

carrialine的博客 379
上一篇: MapReduce架构
下一篇: 初级案例
飞鸿踏雪泥-
博客等级 码龄12年 4粉丝 48原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值