
大数据
UU_Yang
这个作者很懒,什么都没留下…
展开
-
scala及java中的无符号右移运算需要注意的坑
在一个数据处理逻辑中追踪一个bug,最后定位在一行右移运算上,结果不是预期值var oldbyte:Byte = 0 //原字节数值var bitcount = 1 //右移位数,下面都是用1测试var newbyte:Byte= (oldbyte >> bitcount).toByte //新字节数值在oldbyte>=0时一切正常当oldbyte<0(也就oldbyte作为无符号数值>127)结果得到了非预期值如:old...原创 2020-05-15 10:56:03 · 662 阅读 · 0 评论 -
(转)Scala操作Hbase
import java.io.IOExceptionimport org.apache.hadoop.hbase.{HBaseConfiguration, HColumnDescriptor, HConstants, HTableDescriptor, TableName}import org.apache.hadoop.hbase.client._import org.apache.ha...转载 2020-03-17 17:04:19 · 535 阅读 · 1 评论 -
入门HBase的正确姿势(转)
HBase简介HBase是一个分布式的、面向列的开源数据库存储系统,是对Google论文BigTable的实现,具有高可靠性、高性能和可伸缩性,它可以处理分布在数千台通用服务器上的PB级的海量数据。BigTable的底层是通过GFS(Google文件系统)来存储数据,而HBase对应的则是通过HDFS(Hadoop分布式文件系统)来存储数据的。HBase不同于一般的关系型数据库,它是一...转载 2020-02-07 11:17:06 · 451 阅读 · 0 评论 -
来自大数据的反思:需要你读懂的10个小故事
转自:http://www.youkuaiyun.com/article/2015-07-28/2825312自2011年以来,大数据旋风以“迅雷不及掩耳之势”席卷中国。毋庸置疑,大数据已然成为继云计算、物联网之后新一轮的技术变革热潮,不仅是信息领域,经济、政治、社会等诸多领域都“磨刀霍霍”向大数据,准备在其中逐得一席之地。中国工程院李国杰院士更是把大数据提升到战略的高度,他表示【1】,数转载 2015-08-25 14:34:35 · 1192 阅读 · 0 评论 -
大数据里的真命题和伪命题
转自:http://www.youkuaiyun.com/article/2015-02-15/2823966大数据必会深刻的改变这个世界,这点是毋庸置疑的,但从很多当下的讨论来看,大家似乎在大数据的使用边界上走入了误区,这篇文章想具体探讨下大数据能干什么以及不能干什么上的原则问题。大数据与预测人们总是想预测未来,因为这样经济收益会非常大,作为结果就经常看到大数据与票房预测的故事,转载 2015-08-25 14:52:14 · 733 阅读 · 0 评论 -
SpatialHadoop实例:面向空间数据的高效MapReduce框架
转自:http://www.uml.org.cn/sjjm/201501131.asp摘要:本文实例介绍了SpatialHadoop平台,它是第一个基于成熟MapReduce对空间数据具有原生支持的框架。SpatialHadoop是对Hadoop的做了一个全面的扩展,使其核心功能可以支持空间数据。因此,对于处理空间数据,SpatialHadoop与目前存在的Hadoop项目相比具有更好转载 2016-04-15 10:40:07 · 1225 阅读 · 0 评论 -
SpatialHadoop:有效的分析你的空间数据
转自:http://blog.youkuaiyun.com/wwyzxb/article/details/39299181一、简介SpatialHadoop是一个开源的MapReduce扩展,专门用于在ApacheHadoop集群上处理空间数据。SpatialHadoop内置了空间高级语言,空间数据类型、空间索引和高效的空间操作。二、安装和配置SpatialHadoop1、配置转载 2016-04-15 10:42:53 · 3604 阅读 · 3 评论 -
(转)如何快速学习Tableau Desktop
转自:https://www.jianshu.com/p/0adf8fea3351/这个要慌,问题有点大!严格来说我只是Tableau众多粉丝中的一员,而且是一个不怎么会Excel的。三年前一次偶然的机会在领导推荐下接触了Tableau,开始一段没资料没指导的摸索式学习。希望本文给您在学习的过程中带来帮助,欢迎留言互相讨论交流。(本文最后有彩蛋哟)也许你有大量的数据,你想从这些数据中...转载 2019-07-31 09:41:24 · 418 阅读 · 0 评论