
大数据
offer、绝缘体
科班出身的专业业余码农
展开
-
雾里探花之Hadoop初识
Hadoop初识Hadoop产生问题与传统关系型数据库的比较HDFS节点:数据流读取写入高可用安全模式MapReduce节点Hadoop产生个人数据的快速产生,保存个人成长过程的数据成为主流物联网所产生出的数据问题磁盘IO硬件故障并行读/写数据面对此系列问题,Hadoop为我们提供了一个可靠的且可扩展的存储和分析平台,运行于商用硬件且开源。其中,Hadoop默认使用MapReduce编程模型,实现了在合理的时间内处理针对数据集的动态查询。与传统关系型数据库的比较寻址时间数据原创 2020-09-14 23:31:24 · 411 阅读 · 0 评论 -
Apache Hadoop大数据集群及相关生态组件安装
大数据集群安装写在前头集群安装部署HadoopHA与ZOOKEEPERHBASEHIVEFLUMEKAFKASPARKKylinKafka-eagel问题排查写在前头本文就是一些个人安装 Apache Hadoop集群(包括其一些生态组件)时的一些过程。集群安装部署Hadoop确定集群数,最好为奇数台修改hosts文件映射(最好保证机器的ip为静态ip)上传Hadoop,jdk压缩包,并解压配置环境变量关闭防火墙# 查看防火墙状态chkconfig iptables原创 2020-09-14 23:09:59 · 301 阅读 · 0 评论 -
hive学习
HiveHive是Hadoop的一个数据仓库工具,它可以将结构化的数据文件映射到一张数据表之中持久化在HDFS上,并提供类似于SQL的HQL语言来对数据表进行增、删、改、查等操作。它底层会将HQL语句转化为MapReduce任务进行执行。作为Hadoop的数据仓库,故其为建立在Hadoop上的数据仓库基础架构,其数据分为两种:元数据和数据,元数据存储在关系型数据库之中,而数据持久化在HDFS上...原创 2019-07-24 08:56:03 · 151 阅读 · 0 评论