2401_83273632的博客

原创 伪分布式hadoop搭建

官网地址：https://www.oracle.com/java /technologies /javase-jdk8-downloads.html。步骤一：将/root/runajian下的hadoop-2.7.7.tar.gz压缩包解压到/opt目录下，并将解压文件改名为hadoop。步骤三：编辑/opt/hadoop/etc/hadoop/hadoop-env.sh文件。步骤一：创建ssh秘钥，输入如下命令，生成公私密钥。安装命令如下，将安装包解压到。查看删除结果再次键入命令。步骤二：修改环境变量。

原创 hadoop的安装与配置

主机：master（192.168.10.3）从机：slave0（192.168.10.4）从机：slave1（192.168.10.5）

原创 Hive超详细安装

Hive的超详细安装

原创 如何永久、临时配置虚拟机网络ip

在本文中，我们介绍了如何在虚拟机中配置临时IP地址和永久IP地址。虽然临时IP地址配置很容易实现，但不适用于生产环境中。相比之下，永久IP地址配置虽然需要一些额外的工作，但它可以确保服务器在重启后仍能正常运行。我们还详细介绍了虚拟机网络配置文件中可用的各个选项，以便您可以根据自己的需求进行调整。一、二、

原创 公主王子请看 linux的基础命令的运行

原创 王子公主请看 热备 冷备 温备

是指与目标设备共同运转，当目标设备发生故障或停机时，热备设备立即承担起故障设备的工作任务；是指当目标设备发生故障或停机后，冷备设备才开始由停机等待状态进入启动运转状态，并承担起故障设备的工作任务同样是在数据库运行中进行的，但是会对当前数据库的操作有所影响，备份时 仅支持读操作，不支持写操作。

原创 公主王子请看 Spark的特点

Spark 与 Hadoop MapReduce的运行速度差异较大的原因是，Spark 的中间数据存放于内存中，有更高的迭代运算效率，而Hadoop MapReduce 每次迭代的中间数据存效子于HDFS中，涉及硬盘的读写，运算效率相对较低。一般情况下，对于迭代次数较多的应用程序，Spark在内存中的运行速度是 Hadoop MapReduce运行速度的100 多倍，Spark 在磁盘上的运行速度是 Hadoop MapReduce 运行速度的 10 多倍。此外，Spark 提供超过。

原创 王子公主请看 MapReduce的特点及运行架构

其中，编程模型为用户提供了非常易用的编程接口，用户只需要像编写串行程序一样实现几个简单的函数即可实现一个分布式程序，而其他比较复杂的工作，如节点间的通信、节点失效、数据切分等，全部由MapReduce运行时环境完成.比如其中一台机器挂了，它可以把上面的计算任务转移到另外一个节点上运行，不至于使这个任务运行失败，而且这个过程不需要人工干预，完全是由 Hadoop 内部完成的。它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器运行。2️⃣良好的扩展性。

转载 公主王子请看 全新Hadoop生态圈相关组件

Drill：低延迟的分布式海量数据（涵盖结构化、半结构化以及嵌套数据）交互式查询引擎，使用ANSI SQL兼容语法，支持本地文件、HDFS、HBase、MongoDB等后端存储，支持Parquet、JSON、CSV、TSV、PSV等数据格式。.Flume：分布式、可靠、高可用的服务，它能够将不同数据源的海量日志数据进行高效收集、汇聚、移动，最后存储到一个中心化数据存储系统中，它是一个轻量级的工具，简单、灵活、容易部署，适应各种方式日志收集并支持failover和负载均衡。Hadoop相关组件如下图▶️。

转载 大数据技术；结构化数据与非结构化数据

二是非结构化的数据，如视频、图片、音频等，其特点是数据间没有因果关系；云计算的核心是业务模式，其本质是数据处理技术，数据是资产，云计算为数据资产提供了储存、访问的场所和计算能力，即云计算更偏重大数据的存储和计算，以及提供云计算服务，运行云应用。但是云计算缺乏盘活数据资产的能力，从数据挖掘价值和对数据进行预测性分析，为国家治理决策，企业决策乃至个人生活提供服务，这是大数据的核心应用，云计算是基础设施架构，大数据是思想方法，大数据技术将帮助人们从大体量、高度复杂的数据中分析、挖掘信息，从而发现价值和预测趋势。