- 博客(9)
- 收藏
- 关注
RSS订阅转载 MySQL8安装
MySQL8下载MySQL8下载初始化目录D:\mysql\mysql-8.0.15-winx64\bin\mysqld --initialize安装服务my.ini配置文件[client]default-character-set=utf8port=3307[...
2019-08-30 08:46:00
144
转载 Hive工具、数据模型、Java API与常见问题
简介因为Hive的使用依赖Hadoop，不同的版本之间有很多问题，大的原则上是hive2.x版本对应hadoop2.x版本，hive3.x版本对应hadoop3.x版本。但是在实际的使用过程中还是有各种兼容问题，具体的hive安装可以参考hive安装，这里我们介绍一下遇到问题的解决方案。...
2019-07-05 08:19:00
275
转载 Windows下安装Hive与问题
下载与安装hive必须依赖hadoop，所以先安装hadoop，可以参考hadoop安装注意hive一般2.x.x就对应hadoop的2.y.y版本，3.x.x就需要hadoop的3.y.y版本。hive下载hive downloadHive下载hive wiki高版本的hiv...
2019-07-04 08:36:00
818
转载 从WordCount看hadoop执行流程
准备要执行Map reduce程序，首先得安装hadoop，hadoop安装可以参考hadoop安装启动hdfs和yarnstart-dfs.cmdstart-yarn.cmd创建待处理数据目录：hadoop fs -mkdir /wchadoop fs -mkdir /wc/...
2019-07-04 08:21:00
186
转载 Spark RDD算子、分区与Shuffle
RDDSpark的主要抽象是分布式的元素集合(distributed collection of items)，称为RDD(Resilient Distributed Dataset，弹性分布式数据集)它可被分发到集群各个节点上，进行并行操作。RDD可以通过Hadoop InputForm...
2019-07-04 08:16:00
393
转载 Spark安装与基本使用
简介Spark是专为大规模数据处理而设计的快速通用的计算引擎，第一次看到这句话估计会比较抽象。其实可以和MySQL数据库类比。只不过侧重点不同，MySQL的侧重点在数据存储和查询，Spark的侧重点在于数据处理。MySQL处理的是预定义格式的数据，Spark处理的是没有预定义格式的数据，包...
2019-07-02 08:35:00
653
转载 HBase基本命令与新版本Java API
简介有关HBase的安装可以参考hbase安装我们可以通过hbase shell和hbase数据库进行交互，也可以通过Java-api和hbase数据库交互，这里我们使用的是hbase-client。主要是介绍2.0重大重构之后的api的基本使用。命名空间#列出所有命名空间lis...
2019-06-25 19:59:00
178
转载 Windows HBase2.2.0安装部署踩坑
下载安装hbase下载解压之后根目录，没有什么要修改的。配置文件目录，主要修改hbase-env.cmd和hbase-site.xmlhbase-env.cmdset HBASE_MANAGES_ZK=trueset JAVA_HOME=C:\Program Files\Jav...
2019-06-25 19:36:00
1732
转载 Elasticsearch7安装与集群
下载安装Elasticsearch下载Elasticsearch的安装比较简单，下载下来直接解压到指定的目录就可以了。关键在于配置，这里我们下载的是7.1.1版本的Elasticsearch。elasticsearch.yml配置文件elasticsearch配置中最重要的是前面几...
2019-06-13 08:43:00
106
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人