zhangliushi的博客

记录自己在家用电脑利用虚拟机搭建Hadoop集群的具体过程，分享我遇到的坑，如有错误，请各位小伙伴指正，持续更新中。

记录Hadoop集群搭建的具体过程，分享我遇到的坑，如有错误，请各位小伙伴指正，持续更新中。

文章目录前言一、入职前公司的大数据架构二、现使用的大数据架构1.引入库2.读入数据总结前言笔者从事数据分析相关工作3年，现任职公司所属行业为智能家居，入职半年多以来，经历了大数据团队解散重组，大数据架构推倒重构的情况，本文主要介绍现使用大数据架构的优缺点并结合自身经验浅谈对此的看法。一、入职前公司的大数据架构示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、现使用的大数据架构1.引入库代码如下（示例）：import numpy as npimp

文章目录前言一、Hadoop组件前言记录Hadoop学习与实战过程，持续更新中。一、Hadoop组件组件名称主要功能hdfs分布式文件存储mapreduce批量处理引擎yarn资源调度管理hive查询引擎，提供类sql的对hdfs中数据进行查询的接口hbase列类键值对 nosqlsqoop数据获取，从关系型数据库到hdfsflumk数据获取，日志类数据kafka高可扩展分布式消息引擎flink全功能的实时数据

一、查看分区数据；二、查看路径；三、新增路径；四、删除路径