
Big Data
启四
这个作者很懒,什么都没留下…
展开
-
hadoop、hive、hbase的通俗解释,带你快速了解
定义: hadoop是一个分布式计算+分布式文件系统,前者其实就是MapReduce,后者是HDFS。后者可以独立运行,前者可以选择性使用,也可以不使用。 hive是一个构建在Hadoop基础设施之上的数据仓库。 hbase是一种Key/Value系统,它运行在HDFS之上,是一个分布式的、面向列的开源数据库。 特点: hive把数据文件加载进来作为一个hive表(或者原创 2017-09-27 14:58:38 · 5427 阅读 · 0 评论 -
MapReduce的最通俗解释
编注:下面这段话应该是最简短的语言解释MapReduce: We want to count all the books in the library. You count up shelf #1, I count up shelf #2. That’s map. The more people we get, the faster it goes. 我们要数图书馆中的所有书。你数原创 2017-10-10 10:38:38 · 929 阅读 · 0 评论 -
hive表中有对应数据,写sql却查不出来结果
hive表中有对应数据,写sql却查不出来结果遇到问题原因解决方案 遇到问题 查询hive表时,明明sql中字段在表中有对应数据,但是却一直查不出来数据。 原因 sql中有longitude!=’’ and latitude!=’’,其中longitude和latitude都是float类型,不支持这样判断是否为空 另外,sql中float类型变量不能通过"="比较大小是否相等, 而应该通过≥或≤...原创 2018-12-30 00:15:54 · 7674 阅读 · 2 评论 -
为何以及如何设置NTP时间同步?
文章目录为何要设置NTP时间同步?如何设置NTP时间同步?修改选定的服务器的本地时间将修改后的时间写入硬件时钟,确保重启有效安装并开启ntp服务手动同步服务器系统时间操作注意事项 为何要设置NTP时间同步? NTP(Network Time Protocol,网络时间协议)是由RFC 1305定义的时间同步协议,用来在分布式时间服务器和客户端之间进行时间同步。NTP基于UDP报文进行传输,使用的U...原创 2019-08-13 00:31:30 · 1359 阅读 · 0 评论 -
使用机器学习对美股涨跌预测系统的探究
美股涨跌预测系统的探究 罗斌(141499) 摘要:本文对美股股票的涨跌进行了研究,从问题出发并提出猜想,然后定义了机器学习的实验任务。通过多次实验得到实验数据,最终证明了所提出的猜想:中国股市确实和美国股市存在着一定的联系,并且通过这些隐含的联系可以预测某些美国股票的涨跌。 关键字:机器学习; 股票预测 The research of US stock prediction syste...转载 2019-08-27 14:16:18 · 963 阅读 · 0 评论 -
Operation category READ is not supported in state standby. hdfs改变standby状态为active
错误 Operation category READ is not supported in state standby. 原因 namenode节点处于standby 状态 解决方案 两种方式获取服务ID: a. hdfs的50070端口的webUI页面 ——> Overview ——> NamenodeID b. 在hdfs-site.xml中: <property...原创 2019-09-11 18:50:17 · 548 阅读 · 0 评论