W_DongQiang的博客

不同的模块需要学习一些不同的技术和处理方式，1.数据的采集与存储 需要学习Hadoop基础，了解大数据基础组件HDFS、MR、Yarn原理，学习Hive大数据存储和分析重点技术组件，学习HbaseNosql列式存储数据库，学习ETL数据同步和集成，这一部分是大数据的核心基础功能，后续的计算和展示都要在此基础上进行。浏览了一些博客和一些技术的官方文档，了解到入门的话大致需要三个模块的基础，JAVA、SQL和LINUX，好在工作了几年，这三方面基础的话还是比较扎实的。为什么要学习大数据相关的技术？

dfs.namenode.name.dir和dfs.datanode.data.dir分别指名称节点和数据节点存储路径。切换到路径/usr/local/hadoop/etc/hadoop下，需要修改2个配置文件core-site.xml和hdfs-site.xml。并选择相应系统以及位数下载（本文选择jdk-8u381-linux-x64.tar.gz，如具体版本不同则灵活修改）注：本文使用的是hdfs://localhost:9000即hdfs文件系统。