阿宾571-优快云博客

原创 spark编程基础(算子详解)

包括spark的简介、安装启动等基本介绍对RDD及相关概念的解析对Transformation算子和action算子的详细介绍

2020-12-27 09:06:38 1429

原创 JAVAEE---javaweb和SpringBoot

JavaEE和SpringBoot 一 JavaEE基础知识 1.分层框架客户端访问 —>表现层/控制层 : 总servlet(拦截所有请求并调用方法处理) —>业务层 : service(处理需求) —>持久层/数据访问层 : dao(写底层方法,减少冗余代码) 2.MVC模式 model : 数据模型，方便各层级之间传递数据 view：页面（展示数据） controller：控制器（控制请求与输出，使流程更加清晰） 3.Maven项目 Maven可以创建java项目、Web项

2020-12-12 22:50:16 3518

原创 ClickHouse02---ClickHouse的入门学习

ClickHouse的应用详情访问主页： https://clickhouse.tech/docs/v20.3/en/ 启动服务端 service clickhouse-server start 启动交互式客户端 clickhouse-client 支持多行输出: clickhouse-client -m 一数据库和表 1.数据库的操作创建数据库 create database db_name; 切换数据库 use db_name; 查看当前数据库 select curre

2020-12-09 12:05:37 653

原创 Hadoop07---Hive基础

HIVE 一 hive的启动与连接使用hive的前提：安装好sql、hadoop、hdfs、yarn 1.启动hive 初始化：只执行一次，执行过后，后面再次启动时不需要执行在bin目录下执行： schematool -initSchema -dbType mysql 开启元数据服务前台启动： hive --service metastore 后台启动： hive --service metastore & 直接启动：hive 远程

2020-11-29 20:42:36 1345

原创 Hadoop06---Hbase基础

HBASE基础 region核心知识：表的行范围数据，将一张大的表格划分成多个region，将region分配给不同的regionserver及其管理分布式数据库region中有： store — 一个列族对应一个store memorystore — 写数据的内存对象，对整个hfile中的数据排序 WALG 记录用户的操作行为 storefile 内存对象flush到hdfs中形成hfile文件，storefile就是hfile的抽象对象 blockCache 提升查询效率 names

2020-11-29 12:36:01 654

原创 MySQL02---JDBC

JDBC ##一 JDBC简介 JDBC（Java Data Base Connectivity,java数据库连接）是一种用于执行SQL语句的Java API，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。JDBC提供了一种基准，据此可以构建更高级的工具和接口，使数据库开发人员能够编写数据库应用程序 ###1.JDBC基本实现步骤 1.创建一个Java项目 2.导入Mysql连接的jar包（驱动包） 3.注册驱动 4.获得与数据库的链接 5.创建代表发送和执行SQL语句的对象

2020-11-28 10:05:01 97

原创 MySQL01---MySQL基本语法

MySQL基本语法一数据类型类型描述 int 整型，和java中的int类型一样； double 浮点型，例如double(5,2)表示该列存放的数据最多是5位，而且其中必须有2位小数，它的最大值是：999.99； decimal 浮点型，用于保存对准确精度有重要要求的值，例如与金钱有关的数据。 char (120) 固定长度字符串类型，如果没有指定长度，默认长度是255，如果存储的字符没有达到指定长度，mysql将会在其后面用空格补足到指定长度； varchar(1

2020-11-28 09:00:46 377

原创 Hbase---布隆过滤器分析

Hbase文件存储特点：同一个region的文件按照列族存储，而不是按行存储；也就导致了在一个Hfile文件中，存储的是一个列族的多行数据。 Hbase系统读取数据特点：通常是读取一行数据，或者是读取单个cell数据；当region中存储大量数据后，列族目录下就会有大量的Hfile文件；而不论是读取一行数据还是单个cell数据，首先都要通过行键在对应的region目录下查找包含有该行键信息的Hfile文件。需求分析：通过对上述Hbase文件存储特点和读取数据特点的分析，发现一个.

2020-11-28 08:58:33 274

原创 Linux02---Linux基础操作

Linux基础操作一虚拟机初始化 1.安装JDK 2.配置环境变量 /etc/profile 修改hostname 修改hosts 二集群搭建 1.克隆关闭虚拟机进行克隆开启克隆的虚拟机修改ip地址 vim /etc/sysconfig/network-scripts/ifcfg-eth0 重启网络任务 2.免密连接创建公钥和私钥 ssh-keygen 初始化连接 ssh-copy-id 要连接的虚拟机 3.远程复制只有两台机器开启了免密连接后才可以远程复制

2020-11-27 20:40:49 111

原创 Linux01---Linux常用命令

Linux常用命令一根目录简介 /bin: (binaries) 存放系统命令的目录，所有用户都可以执行。 /sbin : (super user binaries) 保存和系统环境设置相关的命令，只有超级用户可以使用这些命令，有些命令可以允许普通用户查看。 /usr/bin：存放系统命令的目录，所有用户可以执行。这些命令和系统启动无关，单用户模式下不能执行 /usr/sbin：存放根文件系统不必要的系统管理命令，超级用户可执行 /root: 存放root用户的相关文件,root用户的家目录。宿主目

2020-11-27 20:40:08 527

原创 HTML03---服务连接器Servlet

服务连接器Servlet 一 servlet概述 1. 概念 Servlet： Server Applet的简称，是服务器端的程序（代码、功能实现），可交互式的处理客户端发送到服务端的请求，并完成操作响应。作用 : •接收客户端请求，完成操作。 •动态生成网页（页面数据可变）。 •将包含操作结果的动态网页响应给客户端 2. 基本原理将网页提交的信息接收 , 使用java语言进行处理，所用到的java文件就是广义上的servlet 3. 流程创建java EE项目，并为idea配置T

2020-11-27 20:39:21 426

原创 HTML01---html+css

HTML+CSS基础一 HTML基础 1. HTML简介超文本标记语言，(Hyper Text Markup Language)，使用标记标签来描述网页的一门非编程语言 HTML文件被浏览器加载读取，以网页的形式展示。简单来说HTML就是用来写网页，展示信息的。 2. 基本标签 HTML语言组成标签 : txt 写在尖角号<>里的第一个单词，叫做标记，也叫做标签，也称作元素；属性 : 标记和属性用空格隔开，属性和属性值用等号连接，属性值必须放在双引号内一个标记可以有多个

2020-11-27 20:38:21 268

原创 HTML02---javaScript

typora-root-url: img #HTML02 JavaScript ##一 JavaScript概述 ###1. 什么是JavaScript JavaScript是因特网上最流行的脚本语言。脚本语言不能单独使用，必须嵌入到其他语言中组合使用 JavaScript不能单独使用，必须和其他语言（HTML）结合使用 JavaScript由浏览器解释执行（解释一条，执行一条。故写代码时能用一条语句就不要用两条语句） JavaScript代码：必须效率和可读性 JavaScript代码遇到错误，解.

2020-11-27 20:36:43 228

原创 Hadoop05---zookeeper基础

zookeeper Java端常用命令 1.基本命令代码如下： public class ZkText { public static void main(String[] args) throws Exception { //写入方法内 // ZooKeeper zk = new ZooKeeper("linux01:2181,linux02:2181,linux03:2181", 2000, null); ZooKeeper

2020-11-27 20:23:10 95

原创 Hadoop04---Yarn的安装与基础

Yarn的安装与基础一配置Yarn yarn在hadoop中存在，对配置文件稍加修改即可使用 1.修改yarn-site.xml 在hadoop/etc/hadoop/yarn-site.xml 添加如下内容：  <property> <name>yarn.resourcemanager.hostname</name> <value>linux01</value> &l

2020-11-27 20:22:30 336

原创 Hadoop03---MapReduce基础

MapReduce基本用法一 MapReduce基本定义 1.简介 MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）“和"Reduce （归约）”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中

2020-11-27 20:21:15 188

原创 Hadoop02---HDFS基础(HDFS原理 java客户端).md

HDFS基础一启动HDFS 一键开启: start-dfs.sh 一键停止: stop-dfs.sh> 二 HDFS基本原理 1.HDFS上传文件流程客户端向NameNode进行请求 NameNode校验存储空间，空间充足，向客户端返回ok 客户端将文件进行切块处理，将切块数量等信息传递给namenode NameNode确认所有数据块的存储位置，并将位置信息返回给客户端客户端依据获得的存储位置信息，在文件系统中建立连接，将客户端与目标DataNode相连连接成功向客服端返回ok，

2020-11-27 20:19:55 530

原创 Hadoop01---HDFS安装流程

HDFS安装流程 1.上传解压将安装包上传解压至指定文件夹(rz) 2.配置变量 2.1 配置JAVA_HOME 文件位置: vi /opt/apps/hadoop-3.1.1/etc/hadoop/hadoop-env.sh 更改内容: # variable is REQUIRED on ALL platforms except OS X! export JAVA_HOME=/opt/apps/jdk1.8.0_141/ （注意删除注释符#） 2.2 设置HDFS地址文件位置：

2020-11-26 22:04:54 243

lb634774742的博客