<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[qq_51138261的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/qq_51138261</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_51138261]]></copyright><item><title><![CDATA[percona-toolkit]]></title><link>https://blog.youkuaiyun.com/qq_51138261/article/details/125111622</link><guid>https://blog.youkuaiyun.com/qq_51138261/article/details/125111622</guid><author>qq_51138261</author><pubDate>Fri, 03 Jun 2022 13:16:42 +0800</pubDate><description><![CDATA[percona-toolkit]]></description><category></category></item><item><title><![CDATA[sqoop]]></title><link>https://blog.youkuaiyun.com/qq_51138261/article/details/119605486</link><guid>https://blog.youkuaiyun.com/qq_51138261/article/details/119605486</guid><author>qq_51138261</author><pubDate>Wed, 11 Aug 2021 14:23:01 +0800</pubDate><description><![CDATA[sqoop1 Sqoop 简介2 Sqoop 原理3 Sqoop 安装3.1 下载并解压3.2 修改配置文件3.3 拷贝 JDBC 驱动3.4 验证 Sqoop3.5 测试 Sqoop 是否能够成功连接数据库4 Sqoop 的简单使用案例4.1 导入数据4.1.1 RDBMS 到 HDFS4.1.2 RDBMS 到 Hive4.1.3 RDBMS 到 Hbase4.2、导出数据4.2.1 HIVE/HDFS 到 RDBMS4.3 脚本打包5 Sqoop 一些常用命令及参数5.1 常用命令列举5.2 命令&a]]></description><category></category></item><item><title><![CDATA[flume]]></title><link>https://blog.youkuaiyun.com/qq_51138261/article/details/119493011</link><guid>https://blog.youkuaiyun.com/qq_51138261/article/details/119493011</guid><author>qq_51138261</author><pubDate>Sat, 07 Aug 2021 21:41:00 +0800</pubDate><description><![CDATA[flume1 Flume 概述1.1 Flume 定义1.2 Flume 基础架构1.2.1 Agent1.2.2 Source1.2.3 Sink1.2.4 Channel1.2.5 Event2 Flume 快速入门2.1 Flume 安装部署2.1.1 安装地址2.1.2 安装部署2.2 Flume 入门案例2.2.1 监控端口数据官方案例2.2.2 实时监控单个追加文件-exec2.2.3 实时监控目录下多个新文件-spooldir2.2.4 实时监控目录下的多个追加文件-taildir3 Flum]]></description><category></category></item><item><title><![CDATA[kafka]]></title><link>https://blog.youkuaiyun.com/qq_51138261/article/details/119325312</link><guid>https://blog.youkuaiyun.com/qq_51138261/article/details/119325312</guid><author>qq_51138261</author><pubDate>Mon, 02 Aug 2021 15:18:39 +0800</pubDate><description><![CDATA[1 Kafka 概述
1.1 定义
Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于 大数据实时处理领域。
1.2 消息队列
1.2.1 传统消息队列的应用场景

使用消息队列的好处
1）解耦
允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。
2）可恢复性
系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所 以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。
3）缓冲
有助于控制和优化数据]]></description><category></category></item><item><title><![CDATA[HBase]]></title><link>https://blog.youkuaiyun.com/qq_51138261/article/details/119004832</link><guid>https://blog.youkuaiyun.com/qq_51138261/article/details/119004832</guid><author>qq_51138261</author><pubDate>Thu, 22 Jul 2021 17:43:43 +0800</pubDate><description><![CDATA[HBase1.1 HBase 定义1.2 HBase 数据模型1.2.1 HBase 逻辑结构1.2.2 HBase 物理存储结构1.2.3 数据模型1.3 HBase 基本架构2 HBase 快速入门2.1 HBase 安装部署2.1.1 Zookeeper 正常部署2.1.2 Hadoop 正常部署2.1.3 HBase 部署2.1.4 HBase 服务的启动2.2 HBase Shell 操作2.2.1 基本操作2.2.2 表的操作3 HBase 进阶3.1 架构原理3.2 写流程3.3 MemSto]]></description><category></category></item><item><title><![CDATA[自定义 HBase-MapReduce]]></title><link>https://blog.youkuaiyun.com/qq_51138261/article/details/118939550</link><guid>https://blog.youkuaiyun.com/qq_51138261/article/details/118939550</guid><author>qq_51138261</author><pubDate>Tue, 20 Jul 2021 17:49:01 +0800</pubDate><description><![CDATA[自定义 HBase-MapReduce1 hdfs -&gt; table1) mapper2) reducer3) driver4) 打包上传并执行2 table -&gt; table1) mapper2) reducer3) driver
1 hdfs -&gt; table
需求: 从hdfs读取数据,插入到hbase的表中
1) mapper
public class FruitMapper extends Mapper&lt;LongWritable, Text,LongWritable, Te]]></description><category></category></item><item><title><![CDATA[hbase-api]]></title><link>https://blog.youkuaiyun.com/qq_51138261/article/details/118936981</link><guid>https://blog.youkuaiyun.com/qq_51138261/article/details/118936981</guid><author>qq_51138261</author><pubDate>Tue, 20 Jul 2021 15:45:56 +0800</pubDate><description><![CDATA[HBase-apiHBase-api1 依赖2 java-api操作

HBase-api
1 依赖
&lt;dependency&gt;
    &lt;groupId&gt;org.apache.hbase&lt;/groupId&gt;
    &lt;artifactId&gt;hbase-server&lt;/artifactId&gt;
    &lt;version&gt;1.3.1&lt;/version&gt;
&lt;/dependency&gt;
&lt;dependency&gt;
]]></description><category></category></item><item><title><![CDATA[Hive入门]]></title><link>https://blog.youkuaiyun.com/qq_51138261/article/details/118702830</link><guid>https://blog.youkuaiyun.com/qq_51138261/article/details/118702830</guid><author>qq_51138261</author><pubDate>Tue, 13 Jul 2021 17:03:25 +0800</pubDate><description><![CDATA[Hive入门1 Hive 基本概念1.2Hive 的优缺点1.2.1 优点1.2.2 缺点1.3 Hive 架构原理1.4 Hive 和数据库比较1.4.1 查询语言1.4.2 数据更新1.4.3 执行延迟1.4.4 数据规模2 Hive 安装2.1 Hive 安装地址2.2Hive 安装部署2.2.1 安装 Hive2.2.2 启动并使用 Hive2.3 MySQL 安装2.4 Hive 元数据配置到 MySQL2.4.1 再次启动 Hive2.5 使用元数据服务的方式访问 Hive2.6 使用 JDBC]]></description><category></category></item><item><title><![CDATA[Hadoop-生产调优手册]]></title><link>https://blog.youkuaiyun.com/qq_51138261/article/details/118520655</link><guid>https://blog.youkuaiyun.com/qq_51138261/article/details/118520655</guid><author>qq_51138261</author><pubDate>Tue, 06 Jul 2021 15:39:44 +0800</pubDate><description><![CDATA[Hadoop-生产调优手册1 HDFS—核心参数1.1 NameNode 内存生产配置1.2 NameNode 心跳并发配置1.3 开启回收站配置2 HDFS—集群压测2.1 测试 HDFS 写性能2.2 测试 HDFS 读性能3 HDFS—多目录3.1 NameNode 多目录配置3.2 DataNode 多目录配置3.3 集群数据均衡之磁盘间数据均衡4 HDFS—集群扩容及缩容4.1 添加白名单4.2 服役新服务器4.3 服务器间数据均衡4.4 黑名单退役服务器5 HDFS—存储优化5.1 纠删码5.1]]></description><category></category></item><item><title><![CDATA[Hadoop-Yarn]]></title><link>https://blog.youkuaiyun.com/qq_51138261/article/details/118445393</link><guid>https://blog.youkuaiyun.com/qq_51138261/article/details/118445393</guid><author>qq_51138261</author><pubDate>Sat, 03 Jul 2021 21:53:41 +0800</pubDate><description><![CDATA[Hadoop-Yarn1 Yarn 资源调度器1.1 Yarn 基础架构1.2 Yarn 工作机制1.3 作业提交全过程1.4 Yarn 调度器和调度算法1.4.1 先进先出调度器（FIFO）1.4.2 容量调度器（Capacity Scheduler）1.4.3 公平调度器（Fair Scheduler）1.5 Yarn 常用命令1.5.1 yarn application 查看任务1.5.2 yarn logs 查看日志1.5.3 yarn applicationattempt 查看尝试运行的任务1.5]]></description><category></category></item><item><title><![CDATA[Hadoop-MapReduce]]></title><link>https://blog.youkuaiyun.com/qq_51138261/article/details/118404662</link><guid>https://blog.youkuaiyun.com/qq_51138261/article/details/118404662</guid><author>qq_51138261</author><pubDate>Fri, 02 Jul 2021 10:39:39 +0800</pubDate><description><![CDATA[Hadoop-MapReduce1 MapReduce 概述1.1 MapReduce 定义1.2 MapReduce 优缺点1.2.1 优点1.2.2 缺点1.3 MapReduce 核心思想1.4 MapReduce 进程1.5 官方 WordCount 源码1.6 常用数据序列化类型1.7 MapReduce 编程规范1.8.1 本地测试1.8.2 编写测试类1.8.3 提交到集群测试2 Hadoop 序列化2.1 序列化概述2.2 自定义 bean 对象实现序列化接口（Writable）2.3 序列]]></description><category></category></item><item><title><![CDATA[Hadoop-HDFS]]></title><link>https://blog.youkuaiyun.com/qq_51138261/article/details/118208443</link><guid>https://blog.youkuaiyun.com/qq_51138261/article/details/118208443</guid><author>qq_51138261</author><pubDate>Fri, 25 Jun 2021 09:17:42 +0800</pubDate><description><![CDATA[Hadoop-HDFS1 HDFS 概述1.1 HDFS 产出背景及定义1.2 HDFS 优缺点1.3 HDFS 组成架构1.4 HDFS 文件块大小（面试重点）2 HDFS 的 Shell 操作（开发重点）2.1 基本语法2.2 命令大全2.3 常用命令实操2.3.1 上传2.3.2 下载2.3.3 HDFS 直接操作3  HDFS 的 API 操作3.1 客户端环境准备总结
1 HDFS 概述
1.1 HDFS 产出背景及定义
1）HDFS 产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，]]></description><category></category></item><item><title><![CDATA[Hadoop入门]]></title><link>https://blog.youkuaiyun.com/qq_51138261/article/details/118141698</link><guid>https://blog.youkuaiyun.com/qq_51138261/article/details/118141698</guid><author>qq_51138261</author><pubDate>Wed, 23 Jun 2021 08:59:47 +0800</pubDate><description><![CDATA[提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

Hadoop1 Hadoop概述1.1 Hadoop是什么1.2 Hadoop 发展历史（了解）1.3 Hadoop 三大发行版本（了解）1.4 Hadoop 优势（4 高）1.5 Hadoop 组成（面试重点）1.5.1 HDFS 架构概述1.5.2 YARN 架构概述1.5.4 HDFS、YARN、MapReduce 三者关系1.6 大数据技术生态体系1.7 推荐系统框架图2 Hadoop 运行环境搭建（开发重点）2.1 下载安装2.2]]></description><category></category></item><item><title><![CDATA[Java NIO 编程]]></title><link>https://blog.youkuaiyun.com/qq_51138261/article/details/118093388</link><guid>https://blog.youkuaiyun.com/qq_51138261/article/details/118093388</guid><author>qq_51138261</author><pubDate>Mon, 21 Jun 2021 20:09:59 +0800</pubDate><description><![CDATA[Java NIO 编程1 I/O模型基本说明2 BIO、NIO、AIO适用场景分析3 Java BIO 基本介绍3.1 Java BIO 应用实例3.2  Java BIO 问题分析4 Java NIO 基本介绍4.1 NIO 和 BIO 的比较4.2 NIO 三大核心原理示意图4.3 缓冲区(Buffer)4.4 通道(Channel)4.5 Selector(选择器)4.6 NIO 网络编程应用实例-群聊系统5 Java AIO 基本介绍总结

1 I/O模型基本说明


I/O 模型简单的理解：就是用]]></description><category></category></item><item><title><![CDATA[mycat]]></title><link>https://blog.youkuaiyun.com/qq_51138261/article/details/118059230</link><guid>https://blog.youkuaiyun.com/qq_51138261/article/details/118059230</guid><author>qq_51138261</author><pubDate>Sat, 19 Jun 2021 22:08:22 +0800</pubDate><description><![CDATA[mycat1 概述1.1 mycat是什么1.2 能干什么1.3 原理2 安装启动2.1 配置读写分离2.2 配置mysql的主从复制2.2 配置mysql的双主双从2.3 mycat实现双主双从读写分离3 垂直拆分-分库4 水平拆分-分表4.1 实现分表4.2 mycat的分片join4.3 全局表4.4 常用的分片规则4.4.1 取模4.2.2 分片枚举4.2.3 范围约定4.2.4 按日期（天）分片4.5 全局序列4.5.1 本地文件4.5.2 数据库方式(重点)4.5.3 时间戳方式4.5.4 自主]]></description><category></category></item><item><title><![CDATA[shardingsphere]]></title><link>https://blog.youkuaiyun.com/qq_51138261/article/details/118001730</link><guid>https://blog.youkuaiyun.com/qq_51138261/article/details/118001730</guid><author>qq_51138261</author><pubDate>Thu, 17 Jun 2021 21:35:50 +0800</pubDate><description><![CDATA[shardingsphere1 基本概念1.1 什么是shardingsphere1.2 分库分表1.2.1 分库分表的方式1.2.2 分库分表应用和问题2 sharding-jdbc2.1 sharding-jdbc简介2.2 sharding-jdbc实现(java操作)2.2.1 环境搭建2.2.2 水平分表2.2.3 水平分库2.2.4 垂直分库2.2.5 公共表2.2.6 实现读写分离3 sharding-proxy3.1 sharding-proxy简介3.2 sharding-proxy配置(]]></description><category></category></item><item><title><![CDATA[elasticsearch]]></title><link>https://blog.youkuaiyun.com/qq_51138261/article/details/117931967</link><guid>https://blog.youkuaiyun.com/qq_51138261/article/details/117931967</guid><author>qq_51138261</author><pubDate>Tue, 15 Jun 2021 20:14:08 +0800</pubDate><description><![CDATA[elasticsearch1 概述1.1 Elastic Stack的核心1.2 Elasticsearch And Solr(对比图)2 入门2.1 安装2.2 数据格式2.3 java操作api3 环境3.1 Linux单机版3.2 Linux集群部署3.1 elasticsearch-head chrome插件安装3.2 kibana安装总结
1 概述
1.1 Elastic Stack的核心

The Elastic Stack,包括ElasticSearch,Kibana,Beats和Logsta]]></description><category></category></item><item><title><![CDATA[activemq]]></title><link>https://blog.youkuaiyun.com/qq_51138261/article/details/117853520</link><guid>https://blog.youkuaiyun.com/qq_51138261/article/details/117853520</guid><author>qq_51138261</author><pubDate>Sat, 12 Jun 2021 19:45:04 +0800</pubDate><description><![CDATA[activemq前言使用步骤1.安装2.java操作activemq2.1 队列模式2.1 主题模式2.3 topic和queue的对比总结3.jms4.发布订阅5.事务6.签收7.broker8.springboot整合activemq8.1 activemq-produce(生产者)8.2 activemq-consumer(消费者)8.3 topic模式9.传输协议9.1 nio协议(重点)9.2 auto+nio10.activemq存储机制10.1 kahaDB消息存储10.2  jdbc消息存储]]></description><category></category></item><item><title><![CDATA[zookeeper]]></title><link>https://blog.youkuaiyun.com/qq_51138261/article/details/117827028</link><guid>https://blog.youkuaiyun.com/qq_51138261/article/details/117827028</guid><author>qq_51138261</author><pubDate>Fri, 11 Jun 2021 21:37:04 +0800</pubDate><description><![CDATA[zookeeper1 zookeeper入门1.1 zookeeper特点1.2 据结构1.3应用场景1.4 下载地址2 zookeeper安装2.1 安装部署2.2 配置参数解读3 zookeeper内部原理3.1 选举机制3.2 节点类型4 zookeeper实战(重点)4.1 伪分布式集群4.2 客户端命令行操作4.3 写数据流程4.4 java连接zookeeper总结

1 zookeeper入门
zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目
1.1 zook]]></description><category></category></item><item><title><![CDATA[kubernates入门]]></title><link>https://blog.youkuaiyun.com/qq_51138261/article/details/117674681</link><guid>https://blog.youkuaiyun.com/qq_51138261/article/details/117674681</guid><author>qq_51138261</author><pubDate>Mon, 07 Jun 2021 22:07:49 +0800</pubDate><description><![CDATA[kubernates前言二、使用步骤1.引入库2.读入数据总结
前言
提示：这里可以添加本文要记录的大概内容：
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。

二、使用步骤
1.引入库
代码如下（示例）：
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import warnings
warnin]]></description><category></category></item></channel></rss>