p715306030的博客

安装iptables-services ：yum install iptables-services 修改配置年间进入下面目录进行修改：/etc/sysconfig/iptables查看对外开放的端口状态查询已开放的端口 netstat -anp查询指定端口是否已开 firewall-cmd --query-port=666/tcp提示 yes，表示开启；no表示未开启。对外开发端口查看想开的端口是否已开：firewall-cmd --query-port=6379/tcp

Hive是构建在Hadoop之上的数据仓库平台- Hive是一个SQL解析引擎,它将SQL语句转译成MapReduce作业并在Hadoop上执行。- Hive表是HDFS的一个文件目录，一个表名对应一个目录名，如果有分区表的话，则分区值对应子目录名。- 其实质将hdfs文件内容变成了表的映射，然后通过mr查询。- 底层存储是HDFS,中间执行时MR，或可视为中转代理。

hadoop生态圈HDFS（分布式存储系统）Sqoop（数据库导入导出工具）hadoop用于数据画像特征向量防止维度爆炸，向量降维数据矩阵，获取样本库通过神经网络（权重不同），获取数据结果，冲突学习，控制误差，递归获取权重体系，优化计算复杂性（分布式，切割数据，通过并行计算优化时间）...

根据Mysql官网下载提供的链接【mysql安装包下载（1-4）】，可先下载到主机后转存至虚拟机，或直接在虚拟机通过wget下载

打开idea软件，找到菜单项的File ----> Settings ----> Plugins ,在输入框内搜索 “hadoop” 或 “ big data ”,如图所示若在idea上下载很慢，可以考虑 到 官网（https://plugins.jetbrains.com/）下载离线插件安装包，通过磁盘安装方式安装工具。下载安装后需重启IDEA，配置big data toolsc. 测试链接成功后，点击确定即可，效果图如下所示...

a、安装jdk； b、hadoop 解压；c、环境变量设置

shell是在控制台执行的脚本代码，它是客户端访问HDFS的方式之一。## 它是由两大部分组成，a. 一个是Hadoop头部指令（特定的hdfs关键字）可以有三种写法，我们一般使用 hadoop fs 。b. 一个是具体的文件执行指令（与Linux操作指令类似,指令也分为两大部分，一个是保留关键字（作为执行事务）；另一个为参数项，即操作对象），比如 mkdir /tmp 表示在根目录下创建tmp的新目录

HDFS ----- Hadoop Distributed File System （hadoop 分布式文件系统）概念： 它是一个分布式集群，可以支持海量数据存储，hadoop框架的核心之一以及重要组件

Hadoop shell指令idea big data tool使用HDFS-java编程与

hadoop属于分布式技术 框架，需要搭设集群环境，由于物理机有限，通过虚拟化技术可以实现集群节点的创建；hadoop应用的生产环境多使用Linux；社区资源多，学习方便；工具支持多，hadoop属于开源项目，与linux有共同点，有些开源工具方便使用；