<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[qq_33301310的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/qq_33301310</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_33301310]]></copyright><item><title><![CDATA[Kubernetes入门 · Centos7安装Minikube]]></title><link>https://blog.youkuaiyun.com/qq_33301310/article/details/115693229</link><guid>https://blog.youkuaiyun.com/qq_33301310/article/details/115693229</guid><author>qq_33301310</author><pubDate>Wed, 14 Apr 2021 11:07:06 +0800</pubDate><description><![CDATA[1. 准备一台centos7操作系统
1. 新安装的配置IP、关闭防火墙
2. # 配置阿里云 docker hub 镜像
	export REGISTRY_MIRROR=https://registry.cn-hangzhou.aliyuncs.com
	curl -sSL https://kuboard.cn/install-script/v1.19.x/install_kubelet.sh | sh -s 1.19.2
3. 安装minikube
	curl -Lo minikube https://]]></description><category></category></item><item><title><![CDATA[spring源码解读-2]]></title><link>https://blog.youkuaiyun.com/qq_33301310/article/details/111352299</link><guid>https://blog.youkuaiyun.com/qq_33301310/article/details/111352299</guid><author>qq_33301310</author><pubDate>Fri, 26 Mar 2021 15:19:02 +0800</pubDate><description><![CDATA[1

]]></description><category></category></item><item><title><![CDATA[zookeeper]]></title><link>https://blog.youkuaiyun.com/qq_33301310/article/details/113035093</link><guid>https://blog.youkuaiyun.com/qq_33301310/article/details/113035093</guid><author>qq_33301310</author><pubDate>Fri, 26 Mar 2021 15:18:10 +0800</pubDate><description><![CDATA[Zookeeper概念

Zookeeper 是一个分布式协调服务，可用于服务发现，分布式锁，分布式领导选举，配置管理等。
Zookeeper 提供了一个类似于 Linux 文件系统的树形结构（可认为是轻量级的内存文件系统，但
只适合存少量信息，完全不适合存储大量文件或者大文件），同时提供了对于每个节点的监控与
通知机制。

Zookeeper角色

Zookeeper 集群是一个基于主从复制的高可用集群，每个服务器承担如下三种角色中的一种。

Leader

一个Zookeeper集群同一时间只会有一个实]]></description><category></category></item><item><title><![CDATA[Docker安装Centos7，并配置ssh登录]]></title><link>https://blog.youkuaiyun.com/qq_33301310/article/details/112512535</link><guid>https://blog.youkuaiyun.com/qq_33301310/article/details/112512535</guid><author>qq_33301310</author><pubDate>Tue, 12 Jan 2021 11:18:10 +0800</pubDate><description><![CDATA[dicker pull centos:7

docker run --privileged  -itd -p 5001:22 --name k8smaster1 8652b9f0cb4c /usr/sbin/init

docker run --privileged  -itd -p 5002:22 --name k8snode1 8652b9f0cb4c /usr/sbin/init

docker run --privileged  -itd -p 5003:22 --name k8snode2 865]]></description><category></category></item><item><title><![CDATA[IDEA 启动Tomcat卡死，Artifact is deployed successfully，但是项目无法访问，Tomcat日志乱码]]></title><link>https://blog.youkuaiyun.com/qq_33301310/article/details/111475161</link><guid>https://blog.youkuaiyun.com/qq_33301310/article/details/111475161</guid><author>qq_33301310</author><pubDate>Mon, 21 Dec 2020 15:02:46 +0800</pubDate><description><![CDATA[参照图中

选好对应的Tomcat
Deployment 选择好相应的war
Server菜单 URL 和 Deployment菜单中 Application context 路径一致



]]></description><category></category></item><item><title><![CDATA[SparkSQL读写Hive整合]]></title><link>https://blog.youkuaiyun.com/qq_33301310/article/details/111308520</link><guid>https://blog.youkuaiyun.com/qq_33301310/article/details/111308520</guid><author>qq_33301310</author><pubDate>Thu, 17 Dec 2020 16:11:50 +0800</pubDate><description><![CDATA[修改hive-site.xml
  &lt;property&gt;
    &lt;name&gt;hive.metastore.warehouse.dir&lt;/name&gt;
    &lt;value&gt;/user/hive/warehouse&lt;/value&gt;
    &lt;description&gt;location of default database for the warehouse&lt;/description&gt;
  &lt;/property&gt;
 ]]></description><category></category></item><item><title><![CDATA[Flume01]]></title><link>https://blog.youkuaiyun.com/qq_33301310/article/details/111297729</link><guid>https://blog.youkuaiyun.com/qq_33301310/article/details/111297729</guid><author>qq_33301310</author><pubDate>Wed, 16 Dec 2020 17:44:15 +0800</pubDate><description><![CDATA[Flume架构组成


Flume 负载均衡

Flume Agent内部原理


启动 Flume 监听

./bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-telnet-logger.conf -Dflume.root.logger=INFO,console

telnet localhost 44444


]]></description><category></category></item><item><title><![CDATA[Hive02]]></title><link>https://blog.youkuaiyun.com/qq_33301310/article/details/111297662</link><guid>https://blog.youkuaiyun.com/qq_33301310/article/details/111297662</guid><author>qq_33301310</author><pubDate>Wed, 16 Dec 2020 17:43:32 +0800</pubDate><description><![CDATA[外部表创建

create external table t_stu (id int, name string,age int, sex string) 
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ',' location '/stu';
关键字：external、location


外部表与内部表的区别：内部表 删除表 元数据和数据丢失、外部表 删除表 只删除元数据 数据依然存在


Like

create table t_t2_copy like t_t2.]]></description><category></category></item><item><title><![CDATA[Hive01]]></title><link>https://blog.youkuaiyun.com/qq_33301310/article/details/111297596</link><guid>https://blog.youkuaiyun.com/qq_33301310/article/details/111297596</guid><author>qq_33301310</author><pubDate>Wed, 16 Dec 2020 17:42:58 +0800</pubDate><description><![CDATA[Hive 启动

0. cp hive-env.sh.template hive-env.sh
1. vim hive-env.sh
2. export HADOOP_HOME=/data/module/hadoop-2.7.2
3. :wq
4. vim hive-site.xml
5. 
&lt;configuration&gt;

  &lt;property&gt;
    &lt;name&gt;javax.jdo.option.ConnectionURL&lt;/name&gt;
    &l.]]></description><category></category></item><item><title><![CDATA[Windows7下Hadoop2.7.2环境配置]]></title><link>https://blog.youkuaiyun.com/qq_33301310/article/details/111297469</link><guid>https://blog.youkuaiyun.com/qq_33301310/article/details/111297469</guid><author>qq_33301310</author><pubDate>Wed, 16 Dec 2020 17:42:08 +0800</pubDate><description><![CDATA[准备工作

hadoop-2.7.2.tar.gz


链接：https://pan.baidu.com/s/1eFRwGeutjWBE-ZD1C_zYqg
提取码：uo7b


hadooponwindows-master.zip


链接：https://pan.baidu.com/s/1JxlWVpTfH9SZJFSsGjKNkA
提取码：25ko

操作


解压 hadoop-2.7.2.tar.gz



修改配置文件hadoop-env.cmd
路径：hadoop-2.7.2\etc\hado]]></description><category></category></item><item><title><![CDATA[解决CentOS6 完整克隆后网卡不能使用的问题]]></title><link>https://blog.youkuaiyun.com/qq_33301310/article/details/111297384</link><guid>https://blog.youkuaiyun.com/qq_33301310/article/details/111297384</guid><author>qq_33301310</author><pubDate>Wed, 16 Dec 2020 17:41:28 +0800</pubDate><description><![CDATA[第一步


关闭需要克隆的虚拟机
选中需要克隆的vm - 右击 - 管理 - 完整克隆


第二步


开机
修改配置文件


第三步

vim /etc/udev/rules.d/70-persistent-net.rules




把 原有的 eth0 删除
把 eth1修改成eth0
复制ATTR{address}属性的内容


第四步

vim /etc/sysconfig/network-scripts/ifcfg-eth0




复制ATTR{address}属性的内容 替换 HWADDR
]]></description><category></category></item><item><title><![CDATA[HDFS优缺点]]></title><link>https://blog.youkuaiyun.com/qq_33301310/article/details/111297339</link><guid>https://blog.youkuaiyun.com/qq_33301310/article/details/111297339</guid><author>qq_33301310</author><pubDate>Wed, 16 Dec 2020 17:40:52 +0800</pubDate><description><![CDATA[优点

高容错性

数据自动保存多个副本。它通过增加副本的形式，提高容错性。
某一个副本丢失以后，它可以自动恢复。


适合处理大数据

数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；
文件规模：能够处理百万规模以上的文件数量，数量相当之大。


可构建在廉价机器上，通过多副本机制，提高可靠性。


缺点


不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。


无法高效的对大量小文件进行存储。

存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。这样是不]]></description><category></category></item><item><title><![CDATA[hadoop学习03]]></title><link>https://blog.youkuaiyun.com/qq_33301310/article/details/111297261</link><guid>https://blog.youkuaiyun.com/qq_33301310/article/details/111297261</guid><author>qq_33301310</author><pubDate>Wed, 16 Dec 2020 17:40:01 +0800</pubDate><description><![CDATA[hadoop学习笔记 - HDFS - 完全分布式模式

Hadoop完全分布式模式结构





hadoop01
hadoop02
hadoop03




HDFS
NameNode  DataNode
DataNode
SecondaryNameNode DataNode


YARN
NodeManager
ResourceManager  NodeManager
NodeManager



准备工作：

3台服务器
Jdk环境
SSH配置
Hadoop安装


配置hadoop01的core.]]></description><category></category></item><item><title><![CDATA[hadoop学习02]]></title><link>https://blog.youkuaiyun.com/qq_33301310/article/details/111297177</link><guid>https://blog.youkuaiyun.com/qq_33301310/article/details/111297177</guid><author>qq_33301310</author><pubDate>Wed, 16 Dec 2020 17:39:09 +0800</pubDate><description><![CDATA[hadoop学习笔记 - HDFS - 伪分布式模式

准备工作


伪分布式 当然就一台机器哈，后面继续学习，多台机器
虚拟机提前配置好JDK 1.8.x （jdk配置就不多说了）不会的给个传送门：https://www.jianshu.com/p/8cbea338b4ef
下载hadoop包，传送门：https://archive.apache.org/dist/hadoop/common/
这里使用的是：hadoop-hadoop-2.10.0.tar.gz为案例  版本选在根据自己的需求来。


.]]></description><category></category></item><item><title><![CDATA[hadoop学习01]]></title><link>https://blog.youkuaiyun.com/qq_33301310/article/details/111297071</link><guid>https://blog.youkuaiyun.com/qq_33301310/article/details/111297071</guid><author>qq_33301310</author><pubDate>Wed, 16 Dec 2020 17:38:40 +0800</pubDate><description><![CDATA[Hadoop的优势（4高）

高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。
高效性：在MapReduce的思想下，Hadoop的并行工作的，比加快任务处理速度。
高容错性：能够自动将失败的任务重新分配。

Hadoop组成

HDFS架构概述

NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所]]></description><category></category></item><item><title><![CDATA[SparkSQL扩展读写]]></title><link>https://blog.youkuaiyun.com/qq_33301310/article/details/111152109</link><guid>https://blog.youkuaiyun.com/qq_33301310/article/details/111152109</guid><author>qq_33301310</author><pubDate>Wed, 16 Dec 2020 14:57:15 +0800</pubDate><description><![CDATA[Reader
  @Test
  def reader(): Unit ={
    val spark = SparkSession.builder()
      .appName("reader_test")
      .master("local[*]")
      .getOrCreate()

    val reader: DataFrameReader = spark.read
    
    reader
      .format("csv")
      .option("hea]]></description><category></category></item><item><title><![CDATA[spring源码解读-1]]></title><link>https://blog.youkuaiyun.com/qq_33301310/article/details/111166413</link><guid>https://blog.youkuaiyun.com/qq_33301310/article/details/111166413</guid><author>qq_33301310</author><pubDate>Mon, 14 Dec 2020 20:55:41 +0800</pubDate><description><![CDATA[Spring 的整体架构

源码环境搭建

工具 使用的是 IDEA
这里分支 选择是 5.0.x
spring-framework Git地址


1 . git clone 后，修改 build.gradle

repositories {
		gradlePluginPortal()
		maven { url "https://maven.aliyun.com/repository/spring-plugin" }
		maven{ url "https://maven.aliyun.com/nex]]></description><category></category></item><item><title><![CDATA[Spark Dataset & DataFrame]]></title><link>https://blog.youkuaiyun.com/qq_33301310/article/details/111058046</link><guid>https://blog.youkuaiyun.com/qq_33301310/article/details/111058046</guid><author>qq_33301310</author><pubDate>Sat, 12 Dec 2020 17:42:38 +0800</pubDate><description><![CDATA[Dataset
Dataset是什么

1 . Dataset是结构化数据
2 . Dataset能够使用类似SQL这样声明式结构化查询语句的形式来查询
3 . Dataset是一个强类型，并且类型安全的数据容器，并且提供了结构化查询API和类似RDD一样的命令式API

DataFrame
DataFrame是什么

1 . DataFrame类似一张关系型数据库
2 . 在DataFrame上操作，非常类似SQL语句
3 . DataFrame中有行和列，以及Scheam

DataFrame如何创建
]]></description><category></category></item><item><title><![CDATA[Spark原理-物理执行图]]></title><link>https://blog.youkuaiyun.com/qq_33301310/article/details/110945422</link><guid>https://blog.youkuaiyun.com/qq_33301310/article/details/110945422</guid><author>qq_33301310</author><pubDate>Thu, 10 Dec 2020 09:43:30 +0800</pubDate><description><![CDATA[物理图的意义
谁来计算RDD呢

Task

Task如何设计

1 . 第一个想法，每个RDD 的每个分区都对应一个Task
2 . 第二个想法，用一个Task计算所有RDD 中对应的分区
3 . 这两个想法都有问题，分阶段，采用数据流动的模型来进行设计

阶段怎么划分

阶段 + Task 就是执行RDD 的执行者

总结

数据是如何流动的

数据计算发生在需要数据的地方，FinalRDD
第一个获取数据的 RDD 是 firstRDD



小案例

val firstRdd = sc.parall]]></description><category></category></item><item><title><![CDATA[Spark原理-逻辑执行图]]></title><link>https://blog.youkuaiyun.com/qq_33301310/article/details/110881649</link><guid>https://blog.youkuaiyun.com/qq_33301310/article/details/110881649</guid><author>qq_33301310</author><pubDate>Tue, 08 Dec 2020 20:46:09 +0800</pubDate><description><![CDATA[]]></description><category></category></item></channel></rss>