
大数据技术
7INrelief
天道有轮回,苍天饶过谁
展开
-
CentOS7 基于Hadoop2.7.3完全分布式安装Hive2.3.4以及安装MySql
CentOS7基于Hadoop2.7.3安装Hive2.3.40x00 本人的Hadoop集群已配置并且能正常运行0x10 安装Mysql5.70x11 为yum配置mysql57的源0x12 修改MySQL密码开启 mysql 中 root用户远程访问权限0x20 下载、配置Hive0x21到apache下载Hive的tar包0x22安装Hive,并设置环境变量0x23 配置hive-site....原创 2019-04-29 15:00:20 · 1562 阅读 · 1 评论 -
Hive 通过 SQL 查询语句实现 wordcount
Hive 通过 SQL 查询语句实现 wordcount0x00 环境0x01 Hadoop2.7.3完全分布式集群0x01 Hive2.3.40x10 准备需分析txt文件0x11 创建word.txt0x20 SQL查询实现wordcount0x21 进入hive shell0x22 创建数据库和表0x23 加载数据到表中0x24 使用查询语句完成wordcount0x30 参考0x00 环...原创 2019-05-19 12:12:11 · 685 阅读 · 0 评论 -
CentOS 7 搭建 Hadoop2.7.3 完全分布式集群
CentOS 7 搭建 Hadoop2.7.3 完全分布式集群0x00 准备工作0x01 安装虚拟机VMware以及CentOS 7 系统0x02 CentOS7 系统的基本配置一、网络设置0x00 准备工作0x01 安装虚拟机VMware以及CentOS 7 系统VMware官网:https://www.vmware.com/CentOS官网:https://www.centos.org...原创 2019-05-26 11:37:44 · 829 阅读 · 0 评论 -
Spark 实现 WordCount 三种方式 spark-shell、Scala、JAVA
Spark 实现 WordCount 三种方式 spark-shell、Scala、JAVA -- IntelliJ IDEA0x00 准备阶段0x01 现有环境0x10 实现WordCount0x11 spark-shell 实现 wordcount1.从本地加载word.txt进行字频统计2.从hdfs加载word.txt进行字频统计0x12 Scala 实现 WordCount1.使用Int...原创 2019-05-27 13:37:06 · 1011 阅读 · 0 评论 -
CentOS 7基于 Hadoo2.7.3完全分布式集群 安装配置 spark2.4.3 以及 安装 scala
CentOS7 基于 Hadoo2.7.3 安装spark2.4.3 以及安装 scala0x00准备0x01 前提0x02 下载 Spark 安装包0x03 下载 Scala 安装包功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也...原创 2019-05-18 18:56:25 · 922 阅读 · 1 评论