Big Data
关注
分享
扫一扫
yunxiaoMr
where there great love,there are always miracles!Just work hard and be yourself, and then you will succeed!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大数据篇:Centos7 安装 java jdk1.8
2014.03.19甲骨文公司发布Java 8.0的正式版以来，加入了当前比较流行的函数式编程的特性—Java 8.0相对java7.0加入了函数式编程的特点。以下给出的是Jdk 8在CentOS 7的安装与配置：一、准备环境： CentOS 7：首先从官网上：http://www.oracle.com/technetwork/java/javase/downloads/...原创 2020-02-28 12:30:12 · 314 阅读 · 0 评论 -
大数据实战篇: Spark2.0.0 + Adult数据集 + Logistic回归模型测试(Scala语言)
Spark Adult数据集Logistic回归模型测试【Pre】1.官网下载数据集adult.csv及adult.data：https://archive.ics.uci.edu/ml/machine-learning-databases/adult/2.本地发送到服务器端/usr/app/spark-2.0.0-bin-hadoop2.7/data/mllib/adult.cs...原创 2019-03-28 16:16:45 · 2864 阅读 · 0 评论 -
大数据篇：集群 Spark的安装
集群安装Spark这里采用3台机器（节点）作为实例来演示如何搭建Spark集群，其中1台机器（节点）作为Master节点，另外两台机器（节点）作为Slave节点（即作为Worker节点），主机名分别为Slave1和Slave2。在Master节点机器上，访问Spark官方下载地址，按照如下图下载。下载完成后，执行如下命令：sudo tar -zxf spark-2.0.2-bin-...原创 2018-11-04 22:55:02 · 300 阅读 · 0 评论 -
大数据篇：Spark 启动时，提示 slave1 JAVA_HOME not set
Problem:[root@master ~]# start-slaves.shslave1: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark-1.6.3-bin-hadoop2.6/logs/spark-root-org.apache.spark.deploy.worker.Wor...原创 2018-11-04 22:37:20 · 994 阅读 · 0 评论 -
大数据篇：Hive的安装详解
hive是什么？由facebook开源，用于解决海量结构化日志的数据统计； 基于hadoop的一个数据仓库工具，使用HDFS进行存储并将结构化数据文件映射成一张表，并提供类sql查询的功能，其底层采用MR进行计算； 本质是将HQL转化成MR程序。准备工作Java 1.5以上(我的为jdk1.8) Hadoop 2.0以上(我的为2.8.4)安装流程# 1. 下载...原创 2018-11-03 23:39:13 · 336 阅读 · 0 评论 -
大数据篇：Spark入门第一个Spark应用程序详解：WordCount
任务要求编写一个Spark应用程序，对某个文件中的单词进行词频统计。备注：本文spark的根目录名：spark-1.6.3-bin-hadoop2.6#准备工作cd /usr/local/spark-1.6.3-bin-hadoop2.6mkdir mycodecd mycodemkdir wordcountcd wordcount#新建一个包含了一些语句的文本文件...原创 2018-11-03 15:36:38 · 1654 阅读 · 0 评论 -
大数据篇：Spark-shell的测试及Scala独立应用程序的编写与sbt打包
一、在 Spark Shell 中运行代码Spark shell 提供了简单的方式来学习 API，并且提供了交互的方式来分析数据。你可以输入一条语句，Spark shell会立即执行语句并返回结果，这就是我们所说的REPL（Read-Eval-Print Loop，交互式解释器），为我们提供了交互式执行环境，表达式计算完成就会输出结果，而不必等到整个程序运行完毕，因此可即时查看中间结果，并...原创 2018-11-03 12:27:44 · 2044 阅读 · 1 评论 -
大数据篇：Linux(Centos7)虚拟机的安装
不管是做大数据hadoop、spark等框架，或者初学linux，一台或几台linux系统拿来玩玩是必不可少的。要想装好Linux虚拟系统，VMware Workstation Pro和CentOs（Linux的一种）必不可少，这里我装的是VMware Workstation Pro 14和CentOs7以此来完成对Linux虚拟机的安装。VMware Workstation Pro14下载...原创 2018-11-03 12:25:00 · 707 阅读 · 0 评论 -
大数据篇：Spark安装及测试PI的值
本文运行的具体环境如下：centos7.3 Hadoop 2.8.4 Java JDK 1.8 Spark 1.6.3一、安装Hadoop关于Hadoop的安装，这里就不概述了！二、安装 Spark下载网址http://archive.apache.org/dist/spark/spark-1.6.3/spark-1.6.3-bin-hadoop2.6.tgz，下载速度比较...原创 2018-11-03 00:17:48 · 2518 阅读 · 1 评论 -
大数据篇：hadoop测试WordCount mapreduce出错问题
[root@master ~]# hadoop jar /usr/local/hadoop-2.8.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar wordcount /data/wordcount /output/wordcount18/11/02 11:51:25 INFO client.RMProxy: Conne...原创 2018-11-02 23:59:32 · 744 阅读 · 0 评论 -
大数据篇：Hadoop集群统一时间
修改系统时间，将时间改为一致（建议采用本方法）：1.修改日期date -s 11/2/20182.修改时间date -s 20:40:003.检查硬件（CMOS）时间clock -r4.这个修改在系统重启后就失效了，因此为了将这个时间永久生效，需要将修改的时间写入CMOS。clock -w ...原创 2018-11-02 21:58:03 · 964 阅读 · 0 评论 -
大数据篇：hadoop测试WordCount hdfs拒绝连接
18/11/02 11:50:03 INFO ipc.Client: Retrying connect to server: master/192.168.10.251:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 M...原创 2018-11-02 20:42:51 · 3012 阅读 · 1 评论 -
大数据篇：Scala安装配置及测试Hello，World！
第1步：安装Java Scala程序需要运行在JVM（Java虚拟机）上，因此，在安装Scala之前，需要配置Java环境(jdk版本1.5及其以上)。关于linux下安装，可以参考我的这篇博客：Jdk 1.8在CentOS 7的安装与配置(https://blog.youkuaiyun.com/weixin_41297324/article/details/83592014)第2步：安装Scal...原创 2018-10-31 22:56:23 · 1044 阅读 · 1 评论 -
大数据篇:Jdk1.8在CentOS 7的安装与配置
2014.03.19甲骨文公司发布Java 8.0的正式版以来，加入了当前比较流行的函数式编程的特性——Java 8.0相对java7.0加入了函数式编程的特点。以下给出的是Jdk 8在CentOS 7的安装与配置：一、准备环境： CentOS 7： 首先从官网上： http://www.oracle.com/technetwork/java/javase/downloads...原创 2018-10-31 22:48:31 · 275 阅读 · 0 评论 -
大数据篇：centos7安装java jdk1.8
2014.03.19甲骨文公司发布Java 8.0的正式版以来，加入了当前比较流行的函数式编程的特性——Java 8.0相对java7.0加入了函数式编程的特点。以下给出的是Jdk 8在CentOS 7的安装与配置：一、准备环境： CentOS 7：a)首先从官网上：链接：http://www.oracle.com/technetwork/java/javase/downlo...原创 2018-10-20 22:46:42 · 376 阅读 · 0 评论