matengzz-优快云博客

原创利用大数据帮助医疗机构的5种方法

在医疗行业的所有信息中非结构化数据大约占80％，并且增长速度比大多数人可以理解的速度要快。通过数据排序，查找需要的病人信息，并做研究的诊断和治疗几乎是不可能没有Hadoop的巨大技术能力的。该MAPR分布，包括Hadoop帮助供应商组织医疗文件，与其他医生、患者和组织，流程和实验室结果，财务数据，临床资料，影像学报告，和输出的医疗设备进行通信交流。该功能几乎是无止境的，而Had

2015-05-01 19:36:39 1381

原创一个KCore算法引发的StackOverflow奇案

本文只概述一下此案，不做技术上的深究：这是一次扑朔迷离的Spark StackOverflow侦破过程，这也是程序员悲情debug的故事。故事起源于一个图算法：KCore算法。该算法的特点决定了需要迭代很多轮才能收敛。在亿级别的数据上，迭代个几百次是家常便饭。当我们翘首期盼迭代收敛结果时，它却引发了一综StackOverflow的奇案。一开始，该算法在本地小

2015-03-27 14:29:48 1801

原创 Hadoop2.0中HDFS高可用性的实现原理

在Hadoop1.0中，NameNode在HDFS集群中存在单点故障，每一个集群中只存在一个NameNode，如果NameNode所在的机器出现故障，那么整个集群就无法利用，直到NameNode重启或在另一台主机上启动NameNode守护进程。因此，有两个因素影响了HDFS的高可用性：（1）、在不可预知的情况下，如果NameNode所在的机器崩溃了，整个集群将无法利用，直到Na

2015-03-27 08:43:58 1617

原创 Hadoop1.0中fsimage和edits的合并

在NameNode运行期间，HDFS的所有更新操作都是直接写到edits中的，所以edits这个文件会渐渐变大，这虽然对NameNode运行期间没影响，但是我们知道，当NameNode启动的时候，它会将fsimage和edits中的所有内容加载到内存中，然后再一条一条地执行edits中的记录，所以，如果edits这个文件很大，就会导致NameNode的启动非常缓慢，这显然不是用户想要看到的。

2015-03-25 16:57:41 676

原创 MySQL常用命令

1、清空表：truncate table 表名

2015-03-11 08:56:17 333

原创 x=x+1、x+=1、x++、++x

1、x=x+1 编译器首先寻找右边x的地址，然后读取该地址中x的值并放入寄存器，再在寄存器中将x的值加1，接着寻找左边x的地址（编译器不知道右边的x就是左边的x），将刚才的计算结果存到该地址中。2、x+=1 编译器首先寻找x的地址，然后读取该地址中x的值并放入寄存器，再在寄存器中将x的值加1，接着将计算结果存到x的地址中（编译器知道读写两个操作的地址是相同的）。3、x+

2014-12-10 13:18:17 1847

原创 check the manual that corresponds to your MySQL server version for the right syntax

今天操作MySQL数据库时遇到了一个Error，具体信息如下： check the manual that corresponds to your MySQL server version for the right syntax最终发现了问题之所在：有一张表名字是Group，创建这张表时没问题，当向这张表插入数据时就会报如上错误，这是因为Group与MySQL的关键字冲

2014-12-04 19:59:59 574

原创 Hibernate中session.load()和session.get()的区别

一、延迟加载 1、load：true，load采用的是延迟加载的方式，Hibernate的思想是，既然你延迟加载该对象，那我就认为数据库中存在该对象 2、get：false，get采用的是立即加载的方式二、load方法的加载过程例如：Teacher t = (Teacher)session.load(Teacher.class, 1); 1、首先去se

2014-12-01 10:52:37 528