mannnn__的博客

##1.hbase特性Hbase的表模型与关系型数据库的表模型不同Hbase的表没有固定的字段定义；Hbase的表中每行存储的都是一些key-value对Hbase的表中有列族的划分，用户可以指定将哪些kv插入哪个列族Hbase的表在物理存储上，是按照列族来分割的，不同列族的数据一定存储在不同的文件中Hbase的表中的每一行都固定有一个行键，而且每一行的行键在表...

Centos7安装mysql选择mysql版本https://dev.mysql.com/downloads/mysql/下载wget https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar解压tar -xvf mysql-5.7.27-1.el7.x86_64.rpm-b...

jvm类加载器jvm自带的类加载器三种。1. 启动类加载器，由C++实现。负责加载$JAVA_HOME/jre/lib/rt.jar包。2. 扩展类加载器，由JAVA实现。负责加载$JAVA_HOME/jre/lib/ext/*.jar包，如javax包下的类。3. 应用类加载器，由JAVA实现。负责加载当前应用classpath下的包，我们编写的类文件由其负责加载。非jvm自...

Hdfs写性能测试执行命令yarn jar /soft/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.5-tests.jar TestDFSIO -write -nrFiles 2 -size 5GB结果19/09/05 00:00:57 INFO fs.TestDFSIO: ---...

创建mavena项目，引入依赖<dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>1.2.1</version> ...

项目架构创建maven项目，引入依赖<dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.8.0</version> <scope>pr...

1、报错如下：org.apache.spark.sql.AnalysisException: Detected implicit cartesian product for INNER join between logical plans解决方式：spark-shell --master yarn --conf spark.sql.crossJoin.enabled=true...

from pyspark.sql import SparkSession, Rowfrom matplotlib import pyplot as pltspark = SparkSession.builder.master("local[4]").appName("spark_01").getOrCreate()sc = spark.sparkContextlines = sc....

zookeeper作用-----------------------------------------------------    配置维护    域名服务    分布式同步    组服务zk工作流程-----------------------------------------------------    zk集群启动后，client连接到其中的一个节点，这个节点可以l...

hive安裝    curl -O https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.4/apache-hive-2.3.4-bin.tar.gz    tar -xzvf apache-hive-2.3.4-bin.tar.gz -C apps/    ln -s apache-hive-2.3.4-bin hive   ...

import pandas as pdimport numpy as nparr = np.random.randn(3,3)arrarray([[-0.4840499 , -1.10358516, -2.02087998], [ 1.47393252, -0.64985477, -0.11712859], [-0.44069225, -0.37788...

zookeeper 集群安装1、安装jdk2、下载http://zookeeper.apache.org/ 3、解压 tar -xzvf zookeeper-3.4.10.tar.gz -C /root/apps/ 4、mv zoo_sample.cfg zoo.cfg5、vi zoo.cfg6、修改zoo.cfg    #指定数据文件存放目录    dataDir=/...

map:1、inputformat对输入文件做逻辑切分，生成List&lt;InputSplit&gt;2、InputSplit描述了切片的大小、位置3、RecordReader将InputSplit分为key/value pairs输入Mapper4、执行map方法5、转为字节数组写入到内存缓冲区。    当达到容量的80%时， 启动一个新线程将内存缓冲区中的内容排序、归并，如果设置...

测试数据：key 1value 3aa 4deng 5haha 8tt 81、使用TreeMap实现topNimport org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache...

MapReduce各个执行阶段（1）MapReduce框架使用InputFormat模块做Map前的预处理，比如验证输入的格式是否符合输入定义；然后，将输入文件切分为逻辑上的多个InputSplit，InputSplit是MapReduce对文件进行处理和运算的输入单位，只是一个逻辑概念，每个InputSplit并没有对文件进行实际切割，只是记录了要处理的数据的位置和长度。（2）因为In...

                                                                       HDFS写数据流程图1）客户端通过Distributed FileSystem模块向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上...

shell脚本中单引号和双引号的区别新建测试脚本test.sh#!/bin/bashval=22echo $valecho "$val"echo '$val'echo "'$val'"echo '"$val"'修改执行权限chmod 777 test.sh执行结果[root@cdh01 ~]# ./test.sh2222$val'22'"$val"结论...