
HADOOP
xudong_98
不乱于心,不惧未来!
展开
-
hadoop之hdfs文件上传
hdfs提供了良好的文件上传方式, 首先,我们confoiguraton , 然后,创建文件系统fs, 再指定路径copy即可 以下是编码测试源码package com.map2.www;import java.io.IOException;import java.io.Serializable;import java.io.IOException;import java.util.原创 2016-06-07 15:40:02 · 551 阅读 · 0 评论 -
大话分布式数据库HBASE
region 是hbase中分布式存储和负载均衡的最小单元,刚开始,一个表只有一个region,随着数据量的不断扩大,一个region会变成两个,以后多个,一个表会被分配到多个region中。但一个region增加时不会拆分到其他server上。原创 2016-06-08 11:33:47 · 663 阅读 · 0 评论 -
HADOOP序列化机制
hadoop序列化机制非常简单,应用Serilizable接口即可,可同时适用Writable,Comparable接口Block block=new Block(7890843274892473476827643,346783584L,232353458890L);ByteArrayOutputStream b=new ByteArrayOutputStream();DataOutputStr原创 2016-06-06 11:11:53 · 381 阅读 · 0 评论 -
HADOOP -hdfs of wordcount
joke@joke-All-Series:/$ hdfs dfs -put /home/joke/input inputjoke@joke-All-Series:/$ hdfs dfs -mkdir -p /user/joke/kongjoke@joke-All-Series:/$ hdfs dfs -put /home/joke/input /jupackage com.younglibin原创 2016-06-06 12:35:35 · 357 阅读 · 0 评论 -
漫话机器学习大数据那些事儿
大数据这个名词这几年好像火山一样爆发,大家都在谈论,特别是高校里面,我所知道的身边的计算机里的老师十个有九个在搞这些玩意儿或者跟它相关,与其相关的一些名词儿还包括云计算,机器学习,人工智能等等。 这些东西的基础无疑是机器学习这个数学工具,搞计算机的很清楚,到了研究阶段,计算机何淑学的关系太紧密了,做计算机的几乎大半时间都在搞数学,毕竟算法的基础就是数学。 先谈谈机器学习这个工具,机器学习简单来说原创 2016-06-12 19:25:45 · 742 阅读 · 0 评论