
大数据技术与应用
从hadoop出发,学习HDFS、mapreduce、zookeeper、hive、Flume、kafka、Hbase、Oozie、Sqoop、Scala、Spark、数据仓库和机器学习
shy-2
人生苦短,我只入门不精通✌️
展开
-
大数据生态组件——Hive安装及配置
Hive安装与配置Hive简介Hive简介原创 2020-05-17 18:43:27 · 1076 阅读 · 0 评论 -
大数据生态组件——Spark学习(搭建spark完全分布式环境)
学习sparkSpark下载安装spark下载spark安装spark熟悉spark的目录结构配置环境变量配置spark完全分布式集群配置spark的环境变量文件`spark-env.sh`配置spark的slaves文件同步文件测试spark完全分布式集群本次带来的是spark的学习使用教程Spark下载安装spark下载sparkhadoop搭建及其他一些生态圈组件安装可查看我的另一篇博客一文搞定hadoop及其生态圈组件的安装,赶紧收藏起来吧!去开源社区下载spark,注意版本和你ha原创 2020-05-16 22:20:44 · 1062 阅读 · 0 评论 -
centos6.X版本离线安装MySQL
准备工作下载好安装文件:上传到centos操作系统的~/downloads,没有该目录可以创建以下,以后把安装文件的安装包统一放到这里便于管理。观察系统中是否安装过MySQL文件[hadoop@s1 ~]$ rpm -qa | grep -i mysql # i指的是不区分大小写mysql-libs-5.1.73-3.el6_5.x86_64可以观察到系统自带了一个MySQL文件卸载该文件否则后续工作无法进行:sudo rpm -e mysql-libs-5.1.73-3.el6原创 2020-05-14 13:27:23 · 431 阅读 · 1 评论 -
centos6及centos7平台上搭建人工智能深度学习框架tensorflow
centos6及centos7平台上搭建人工智能深度学习框架tensorflow安装前说明centos6(以centos6.6演示)源码安装python3和tensorflow观看centos自带的python版本安装必要的依赖包解压python3并编译安装建立软链接升级pip3使用pip3安装tensorflow升级GLIBC_2.12 到GLIBC_2.17升级CLIBCXX(可选)测试tensorflow安装完成centos7(以centos7.2演示)源码安装python3和tensorflow安装原创 2020-05-14 13:06:50 · 943 阅读 · 0 评论 -
一文搞定hadoop及其生态圈组件的安装,赶紧收藏起来吧!
大数据项目综合能力练习前言虚拟机的安装hadoop环境搭建前言本篇博客主要内容是:本次练习所需的安装包均已上传至我的资源,当然这些都是开源软件,建议在去官网下载,但务必注意软件版本之间的联系。虚拟机的安装hadoop环境搭建我使用的linux发行版是这个版本的hadoop有啥区别...原创 2020-05-10 14:19:54 · 1001 阅读 · 0 评论 -
centos7 使用yum命令出错的问题
在执行yum命令时,如 yum install XXX时,并没有执行安装操作,而是出现以下报错:Loaded plugins: fastestmirrorError: invalid clean argument: 'yum' Mini usage: clean [headers|packages|metadata|dbcache|plugins|expire-cache|all] Remove cached data[root@localhost ~]# yum install g原创 2020-05-10 07:22:35 · 1815 阅读 · 0 评论