<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[炫炫的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/ITresource</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; ITresource]]></copyright><item><title><![CDATA[Flink 1.9 实战：使用 SQL 读取 Kafka 并写入 MySQL]]></title><link>https://blog.youkuaiyun.com/ITresource/article/details/109774286</link><guid>https://blog.youkuaiyun.com/ITresource/article/details/109774286</guid><author>ITresource</author><pubDate>Wed, 18 Nov 2020 15:14:44 +0800</pubDate><description><![CDATA[Flink 1.9 实战：使用 SQL 读取 Kafka 并写入 MySQL
http://wuchong.me/blog/2019/09/02/flink-sql-1-9-read-from-kafka-write-into-mysql/
调整后代码：https://github.com/Aliangxuyan/flink-sql-submit.git
实战演示
flink-1.9.0/lib/  需要依赖各个 connector 实现。
mysql-connector-java-5.1.48.jar
f]]></description><category></category></item><item><title><![CDATA[Flink SQL CDC]]></title><link>https://blog.youkuaiyun.com/ITresource/article/details/108535932</link><guid>https://blog.youkuaiyun.com/ITresource/article/details/108535932</guid><author>ITresource</author><pubDate>Fri, 11 Sep 2020 16:09:01 +0800</pubDate><description><![CDATA[Flink1.11中的CDC Connectors操作实践 汇总

7月，Flink 1.11 新版发布，在生态及易用性上有大幅提升，其中 Table &amp; SQL 开始支持 Change Data Capture（CDC）。CDC 被广泛使用在复制数据、更新缓存、微服务间同步数据、审计日志等场景，本文由社区由曾庆东同学分享，主要介绍 Flink SQL CDC 在生产环境的落地实践以及总结的实战经验，文章分为以下几部分：项目背景
解决方案
项目运行环境与现状
具体实现
踩过的坑和学到的经验
总结

]]></description><category></category></item><item><title><![CDATA[flume 数据流监控 ganglia 安装]]></title><link>https://blog.youkuaiyun.com/ITresource/article/details/107815934</link><guid>https://blog.youkuaiyun.com/ITresource/article/details/107815934</guid><author>ITresource</author><pubDate>Wed, 05 Aug 2020 15:38:41 +0800</pubDate><description><![CDATA[一. 安装配置 ganglia

安装 httpd 服务与 php

sudo yum -y install httpd php


安装其他依赖

sudo yum -y install rrdtool perl-rrdtool rrdtool-devel

sudo yum -y install apr-devel


安装 ganglia

sudo rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6- 8.noa]]></description><category></category></item><item><title><![CDATA[04_tidb sql 语法&05_与 mysql 兼容性]]></title><link>https://blog.youkuaiyun.com/ITresource/article/details/104631369</link><guid>https://blog.youkuaiyun.com/ITresource/article/details/104631369</guid><author>ITresource</author><pubDate>Tue, 03 Mar 2020 14:02:55 +0800</pubDate><description><![CDATA[https://pingcap.com/docs-cn/dev/how-to/get-started/explore-sql/
TiDB 服务器官方支持的版本为 MySQL 5.7，mysql. 大部分运维工具都支持
1）不支持的特性
 
存储过程与函数
触发器
事件
自定义函数
外键约束
全文函数与索引
空间函数与索引
非 utf8/utf8mb4 字符集
BINARY 之外的排序规则
增加主键...]]></description><category></category></item><item><title><![CDATA[03_使用 Docker Compose 快速构建 TiDB 集群]]></title><link>https://blog.youkuaiyun.com/ITresource/article/details/104631202</link><guid>https://blog.youkuaiyun.com/ITresource/article/details/104631202</guid><author>ITresource</author><pubDate>Tue, 03 Mar 2020 13:55:42 +0800</pubDate><description><![CDATA[1、安装docker.
(01_centos 安装docker)
https://docs.docker.com/install/linux/docker-ce/centos/
2、下载并安装 tidb-docker-compose
https://github.com/pingcap/tidb-docker-compose 
可能存在问题：（版本的问题）
1、tidb-docker-compos...]]></description><category></category></item><item><title><![CDATA[02_tidb 架构演进]]></title><link>https://blog.youkuaiyun.com/ITresource/article/details/104630188</link><guid>https://blog.youkuaiyun.com/ITresource/article/details/104630188</guid><author>ITresource</author><pubDate>Tue, 03 Mar 2020 12:54:33 +0800</pubDate><description><![CDATA[Design Goals：
Goal 1: Horizontal Scalability
Goal 2: High Availability
Goal 3: ACID Transaction

1、In ancient times

We get SQL and transaction! But it is a toy
2、Persistent Storage

3、MySQL Protocol
...]]></description><category></category></item><item><title><![CDATA[01_tidb 资料参考]]></title><link>https://blog.youkuaiyun.com/ITresource/article/details/104628831</link><guid>https://blog.youkuaiyun.com/ITresource/article/details/104628831</guid><author>ITresource</author><pubDate>Tue, 03 Mar 2020 12:41:38 +0800</pubDate><description><![CDATA[TiDB 是 PingCAP 公司设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库，结合了传统的 RDBMS 和 NoSQL 的最佳特性
高度兼容MySQL，并且能免去传统数仓ETL过程实现数据分析，同时支持高并发、大吞吐量的在线事务处理的PB级数据存储数据库，同时支持海量数据在线事务（OLTP）和在线分析（OLA...]]></description><category></category></item><item><title><![CDATA[10、es 常见问题]]></title><link>https://blog.youkuaiyun.com/ITresource/article/details/104348402</link><guid>https://blog.youkuaiyun.com/ITresource/article/details/104348402</guid><author>ITresource</author><pubDate>Sun, 16 Feb 2020 20:41:27 +0800</pubDate><description><![CDATA[1、Caused by: org.elasticsearch.transport.RemoteTransportException: [node-1][172.20.44.8:9300][indices:data/read/search[phase/query]] Caused by: java.lang.IllegalArgumentException: Fielddata is disable...]]></description><category></category></item><item><title><![CDATA[09、es 相关插件安装]]></title><link>https://blog.youkuaiyun.com/ITresource/article/details/104348269</link><guid>https://blog.youkuaiyun.com/ITresource/article/details/104348269</guid><author>ITresource</author><pubDate>Sun, 16 Feb 2020 20:39:03 +0800</pubDate><description><![CDATA[1、kibana 下载安装
1、下载
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.4-linux-x86_64.tar.gz

2、解压
 tar -zxvf kibana-6.2.4-linux-x86_64.tar.gz

3、启动及检测
ps -ef|grep kibana

ps -ef|grep 5601

...]]></description><category></category></item><item><title><![CDATA[08、es 进一步了解___e_性能优化_]]></title><link>https://blog.youkuaiyun.com/ITresource/article/details/104347980</link><guid>https://blog.youkuaiyun.com/ITresource/article/details/104347980</guid><author>ITresource</author><pubDate>Sun, 16 Feb 2020 20:27:39 +0800</pubDate><description><![CDATA[2)_内部索引优化

Elasticsearch 为了能快速找到某个 Term，先将所有的 Term 排个序，然后根据二分法查找 Term，时间复杂度为 logN，就像通过字典查找一样，这就是 Term Dictionary。
现在再看起来，似乎和传统数据库通过 B-Tree 的方式类似。但是如果 Term 太多，Term Dictionary 也会很大，放内存不现实，于是有了 Term Inde...]]></description><category></category></item><item><title><![CDATA[08、es 进一步了解___d_机制原理_存储原理]]></title><link>https://blog.youkuaiyun.com/ITresource/article/details/104347299</link><guid>https://blog.youkuaiyun.com/ITresource/article/details/104347299</guid><author>ITresource</author><pubDate>Sun, 16 Feb 2020 20:07:58 +0800</pubDate><description><![CDATA[上面介绍了在 ES 内部索引的写处理流程，这个流程是在 ES 的内存中执行的，数据被分配到特定的分片和副本上之后，最终是存储到磁盘上的，这样在断电的时候就不会丢失数据。
具体的存储路径可在配置文件 …/config/elasticsearch.yml 中进行设置，默认存储在安装目录的 Data 文件夹下。
建议不要使用默认值，因为若 ES 进行了升级，则有可能导致数据全部丢失：
path.data...]]></description><category></category></item><item><title><![CDATA[08、es 进一步了解___d_机制原理_写索引原理]]></title><link>https://blog.youkuaiyun.com/ITresource/article/details/104347130</link><guid>https://blog.youkuaiyun.com/ITresource/article/details/104347130</guid><author>ITresource</author><pubDate>Sun, 16 Feb 2020 19:27:15 +0800</pubDate><description><![CDATA[下图描述了 3 个节点的集群，共拥有 12 个分片，其中有 4 个主分片（S0、S1、S2、S3）和 8 个副本分片（R0、R1、R2、R3），每个主分片对应两个副本分片，节点 1 是主节点（Master 节点）负责整个集群的状态。

写索引是只能写在主分片上，然后同步到副本分片。这里有四个主分片，一条数据 ES 是根据什么规则写到特定分片上的呢？

这条索引数据为什么被写到 S0 上而不写到 S...]]></description><category></category></item><item><title><![CDATA[08、es 进一步了解___c_ES 的基本使用]]></title><link>https://blog.youkuaiyun.com/ITresource/article/details/103064881</link><guid>https://blog.youkuaiyun.com/ITresource/article/details/103064881</guid><author>ITresource</author><pubDate>Thu, 14 Nov 2019 12:01:02 +0800</pubDate><description><![CDATA[在决定使用 Elasticsearch 的时候首先要考虑的是版本问题，Elasticsearch （排除 0.x 和 1.x）目前有如下常用的稳定的主版本：2.x，5.x，6.x，7.x（current）。
你可能会发现没有 3.x 和 4.x，ES 从 2.4.6 直接跳到了 5.0.0。其实是为了 ELK（ElasticSearch，Logstash，Kibana）技术栈的版本统一，免的给用户...]]></description><category></category></item><item><title><![CDATA[08、es 进一步了解___b_ES 核心概念__4)映射（Mapping）]]></title><link>https://blog.youkuaiyun.com/ITresource/article/details/103064822</link><guid>https://blog.youkuaiyun.com/ITresource/article/details/103064822</guid><author>ITresource</author><pubDate>Thu, 14 Nov 2019 11:48:26 +0800</pubDate><description><![CDATA[映射是用于定义 ES 对索引中字段的存储类型、分词方式和是否存储等信息，就像数据库中的 Schema ，描述了文档可能具有的字段或属性、每个字段的数据类型。
只不过关系型数据库建表时必须指定字段类型，而 ES 对于字段类型可以不指定然后动态对字段类型猜测，也可以在创建索引时具体指定字段的类型。
对字段类型根据数据格式自动识别的映射称之为动态映射（Dynamic Mapping），我们创建索引时具体...]]></description><category></category></item><item><title><![CDATA[08、es 进一步了解___b_ES 核心概念__3)副本（Replicas）]]></title><link>https://blog.youkuaiyun.com/ITresource/article/details/103064785</link><guid>https://blog.youkuaiyun.com/ITresource/article/details/103064785</guid><author>ITresource</author><pubDate>Thu, 14 Nov 2019 11:46:33 +0800</pubDate><description><![CDATA[副本就是对分片的 Copy，每个主分片都有一个或多个副本分片，当主分片异常时，副本可以提供数据的查询等操作。
主分片和对应的副本分片是不会在同一个节点上的，所以副本分片数的最大值是 N-1（其中 N 为节点数）。
对文档的新建、索引和删除请求都是写操作，必须在主分片上面完成之后才能被复制到相关的副本分片。
ES 为了提高写入的能力这个过程是并发写的，同时为了解决并发写的过程中数据冲突的问题，ES ...]]></description><category></category></item><item><title><![CDATA[08、es 进一步了解___b_ES 核心概念__2)分片（Shards）]]></title><link>https://blog.youkuaiyun.com/ITresource/article/details/103064660</link><guid>https://blog.youkuaiyun.com/ITresource/article/details/103064660</guid><author>ITresource</author><pubDate>Thu, 14 Nov 2019 11:41:01 +0800</pubDate><description><![CDATA[ES 支持 PB 级全文搜索，当索引上的数据量太大的时候，ES 通过水平拆分的方式将一个索引上的数据拆分出来分配到不同的数据块上，拆分出来的数据库块称之为一个分片。
这类似于 MySQL 的分库分表，只不过 MySQL 分库分表需要借助第三方组件而 ES 内部自身实现了此功能。
在一个多分片的索引中写入数据时，通过路由来确定具体写入哪一个分片中，所以在创建索引的时候需要指定分片的数量，并且分片的数...]]></description><category></category></item><item><title><![CDATA[08、es 进一步了解___b_ES 核心概念__1)集群（Cluster）]]></title><link>https://blog.youkuaiyun.com/ITresource/article/details/103064584</link><guid>https://blog.youkuaiyun.com/ITresource/article/details/103064584</guid><author>ITresource</author><pubDate>Thu, 14 Nov 2019 11:39:04 +0800</pubDate><description><![CDATA[ES 的集群搭建不需要依赖第三方协调管理组件，自身内部就实现了集群的管理功能。
ES 集群由一个或多个 Elasticsearch 节点组成，每个节点配置相同的 cluster.name 即可加入集群，默认值为 “elasticsearch”。
确保不同的环境中使用不同的集群名称，否则最终会导致节点加入错误的集群。
一个 Elasticsearch 服务启动实例就是一个节点（Node）。节点通过 ...]]></description><category></category></item><item><title><![CDATA[08、es 进一步了解___b_ES 核心概念]]></title><link>https://blog.youkuaiyun.com/ITresource/article/details/103064525</link><guid>https://blog.youkuaiyun.com/ITresource/article/details/103064525</guid><author>ITresource</author><pubDate>Thu, 14 Nov 2019 11:34:27 +0800</pubDate><description><![CDATA[ES 是使用 Java 编写的一种开源搜索引擎，它在内部使用 Lucene 做索引与搜索，通过对 Lucene 的封装，隐藏了 Lucene 的复杂性，取而代之的提供一套简单一致的 RESTful API。
然而，Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎。
它可以被下面这样准确的形容：
一个分布式的实时文档存储，每个字段可以被索引与搜索。
一个分布式实时...]]></description><category></category></item><item><title><![CDATA[08、es 进一步了解____a_背景：Lucene]]></title><link>https://blog.youkuaiyun.com/ITresource/article/details/103064460</link><guid>https://blog.youkuaiyun.com/ITresource/article/details/103064460</guid><author>ITresource</author><pubDate>Thu, 14 Nov 2019 11:33:50 +0800</pubDate><description><![CDATA[这种非结构化数据的处理需要依赖全文搜索，而目前市场上开放源代码的最好全文检索引擎工具包就属于 Apache 的 Lucene了。
但是 Lucene 只是一个工具包，它不是一个完整的全文检索引擎。Lucene 的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。
目前以 Lucene 为基础建立的开源可用全文搜索引擎主要...]]></description><category></category></item><item><title><![CDATA[08、es 进一步了解]]></title><link>https://blog.youkuaiyun.com/ITresource/article/details/103064440</link><guid>https://blog.youkuaiyun.com/ITresource/article/details/103064440</guid><author>ITresource</author><pubDate>Thu, 14 Nov 2019 11:30:26 +0800</pubDate><description><![CDATA[参考：
https://mp.weixin.qq.com/s/PIl9_1ogyKVDd0nxz8PhUw
全文搜索引擎选ElasticSearch还是Solr？
搞定Java垃圾回收，就这一篇！
Elasticsearch如何做到亿级数据查询毫秒级返回？
1、背景：Lucene
2、ES 核心概念
1）集群（Cluster）
2）分片（Shards）
3）副本（Replicas）
4）映射（Ma...]]></description><category></category></item></channel></rss>