青蛙博客

Spark core 原理1.弹性分布式数据集（RDD）1.1概念数据集：需要运算的数据集合分布式的：Spark加载的数据都是以分区的形式存储在各个节点上的，各个节点的分区组合在一起就是一个RDD，所以它是分布式的。基于内存的（弹性的）：Spark在进行数据的转换或者计算的时候都是在内存中完成的，如果内存资源不够的话 ，那么它就会在磁盘中进行计算。1.2程序解析程序代码pac...

Mysql 误把root删除处理未测试成功， 仅供参考mysql版本5.7.6配置允许非用户密码进入mysql.cnf文件中[mysqld]段加入skip-grant-tables 并保存重启mysqlterry@terry-VirtualBox:~$ sudo service mysql restart进入到数据库中 并创建root用户以及权限terry@terry-Virtu...

HIVE 安装主备工作1. 安装hadoop2.安装mysql3.安装hive3.1 下载hive安装包现在url： http://archive.apache.org/dist/hive/ 选择相应的版本本次安装选择2.3.33.2 解压hive包terry@terry-VirtualBox:/opt/bigdata_platform$ tar -xvf ../source/a...

Kafka 安装1 准备安装包kafka安装包下载地址： https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz默认zookeeper已安装2 解压安装包terry@terry-VirtualBox:/opt/bigdata_platform$ tar -xvf ../source/kafk...

zookeeper 安装1.下载zookeeper官方下载页面：http://zookeeper.apache.org/releases.html#download国内的下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/2. 解压zookeeperterry@terry-VirtualBox:/opt/bigdata_p...