
Hadoop
文章平均质量分 80
Clifnich
Keep it real.
展开
-
单机配置HBase的心得
为什么要配使用HBase的原因同学的科研中会处理卫星遥感图片,数据量很大,而一台机器的内存和硬盘不够用来处理,所以他的科研成果受到了一定的限制,我打算帮他做一个存储中间件,希望通过一个集群和简单好用的API来帮助提高科研效果。如何配置HBase我相信类似的文章肯定很多了,所以我不需要把我自己的过程再写一遍。大概就是先安装配置HDFS(HaDoop File System), 这个基础设施建设要以后,原创 2017-10-23 19:27:54 · 1866 阅读 · 0 评论 -
卫星影像处理中间件开发报告
为什么要做这个东西项目简介同济的同学有一个分析卫星遥感图像的科研项目,他为图像的分析设计了一种新的算法,能够推荐原先的研究。他的算法是用Matlab实现的,涉及一些矩阵的运算。Matlab的计算在图片尺寸较小的时候运行比较顺利,但当图片超过100x100 pixel, Matlab就无法计算,因为它需要的数据都是单机内存存储的,无法适应更大的数据规模。为了解决这个问题,我利用HBase开发了一个存储原创 2017-10-23 23:10:37 · 611 阅读 · 0 评论