<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[ykqidev的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/YKQi_</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; YKQi_]]></copyright><item><title><![CDATA[windows下mysql的下载、安装与配置（迭代中...）]]></title><link>https://blog.youkuaiyun.com/YKQi_/article/details/128616118</link><guid>https://blog.youkuaiyun.com/YKQi_/article/details/128616118</guid><author>YKQi_</author><pubDate>Mon, 09 Jan 2023 16:17:02 +0800</pubDate><description><![CDATA[1）my.ini文件，个人自定义设置大概如下[mysql]# 设置mysql客户端默认字符集[mysqld]# 设置3306端口# 设置mysql的安装目录# 设置 mysql数据库的数据的存放目录，MySQL 8+ 不需要以下配置，系统自己生成即可，否则有可能报错# 允许最大连接数# 服务端使用的字符集默认utf8mb4# 创建新表时将使用的默认存储引擎#binlog日志名称前缀#默认值未0，如果使用默认值则不能和从节点通信，这个值的区间是：1到(2^32)-1。]]></description><category></category></item><item><title><![CDATA[Shell命令批量杀死进程]]></title><link>https://blog.youkuaiyun.com/YKQi_/article/details/128560549</link><guid>https://blog.youkuaiyun.com/YKQi_/article/details/128560549</guid><author>YKQi_</author><pubDate>Thu, 05 Jan 2023 11:48:32 +0800</pubDate><description><![CDATA[在Linux操作系统中，一般常用的杀死进程的命令是kill、pkill、killall，根据杀死单个进程拓展至批量杀死进程。结果如下图2）根据进程号（PID）杀死进程：第二列显示的就是进程号kill命令杀死指定进程PID的进程kill PID3）强制杀死进程。（有些进程可能杀不死，就加个-9参数，强制将其杀死）4）杀死多个进程，在命令 kill -9 后面跟多个进程的PID号即可。（进程号之间以空格隔开）]]></description><category></category></item><item><title><![CDATA[kettle的下载安装以及问题点]]></title><link>https://blog.youkuaiyun.com/YKQi_/article/details/128551342</link><guid>https://blog.youkuaiyun.com/YKQi_/article/details/128551342</guid><author>YKQi_</author><pubDate>Wed, 04 Jan 2023 18:09:53 +0800</pubDate><description><![CDATA[6）把工程达成jar包，名称参考安装版 plugins/pentaho-big-data-plugin/下的pentaho-big-data-plugin-版本号.jar的名字，然后替换安装版这个jar包为工程导出的jar包，重启kettle，DB连接的HadoopHive2连接的特征列表的supportsBatchUpdate已经是Y了，实际转换中的表输出速度也提高到几千条每秒。异常原因：在kettle的big-data-plugin插件的源码中把批量提交的方法关闭了，所以其只能单挑插入，效率就非常低。]]></description><category></category></item><item><title><![CDATA[Hive框架里面的一些组件（迭代中...）]]></title><link>https://blog.youkuaiyun.com/YKQi_/article/details/128387542</link><guid>https://blog.youkuaiyun.com/YKQi_/article/details/128387542</guid><author>YKQi_</author><pubDate>Tue, 20 Dec 2022 17:29:50 +0800</pubDate><description><![CDATA[1）将现有的所有hive的服务停止，不需要修改任何服务，在某一台机器上执行hiveserver2或者hive --service hiveserver2的命令，开始启动hiveserver2的服务，hiveserver2的服务也是一个阻塞式窗口，当开启服务后，会开启一个10000的端口，对外提供服务。HiveServer2(HS2)是一种能使客户端执行Hive查询的服务。Hive客户端工具后续将使用Beeline 替代HiveCLI ，Beeline是Hive新的命令行客户端工具。]]></description><category></category></item><item><title><![CDATA[Notepad++ 配置设置（迭代中）]]></title><link>https://blog.youkuaiyun.com/YKQi_/article/details/125784809</link><guid>https://blog.youkuaiyun.com/YKQi_/article/details/125784809</guid><author>YKQi_</author><pubDate>Thu, 14 Jul 2022 15:21:20 +0800</pubDate><description><![CDATA[具体步骤：Setting → Style Configurator → language : Global Styles；Style : Global override → 打钩上 (Enable global background colour) → Colour Style 里点击 Background colour → 点击MoreColos在背景色设置界面，设置成（色调：80 饱和度：97 亮度：205）（红R：202 绿G：234 蓝B：206），添加到自定义颜色，确定，然后将设置使用到全局，将使]]></description><category></category></item><item><title><![CDATA[Centos7上安装配置Spark]]></title><link>https://blog.youkuaiyun.com/YKQi_/article/details/124300872</link><guid>https://blog.youkuaiyun.com/YKQi_/article/details/124300872</guid><author>YKQi_</author><pubDate>Wed, 20 Apr 2022 17:19:22 +0800</pubDate><description><![CDATA[该文章主要是描述单机版Spark的简单安装，版本为 spark-3.1.3-bin-hadoop3.2.tgz

1、Spark 下载、解压、安装

Spark官方网站： Apache Spark™ - Unified Engine for large-scale data analytics 

Spark下载地址：Index of /dist/spark



tar -zxvf spark-3.1.3-bin-hadoop3.2.tgz -C /opt/module
mv spark-3.1.3-bi]]></description><category></category></item><item><title><![CDATA[Linux-查看磁盘使用情况df/du命令]]></title><link>https://blog.youkuaiyun.com/YKQi_/article/details/124274644</link><guid>https://blog.youkuaiyun.com/YKQi_/article/details/124274644</guid><author>YKQi_</author><pubDate>Tue, 19 Apr 2022 15:40:29 +0800</pubDate><description><![CDATA[1、df 命令

df：disk free 空余硬盘，df 查看磁盘空间使用情况

1）基本语法

df 选项 （功能描述：列出文件系统的整体磁盘使用量，检查文件系统的磁盘空间占用情况）

2）选项说明


			选项
			
			
			功能
			
		
			
			
			
			查看磁盘使用情况，以 KB 为单位显示
			
		-h
			查看磁盘使用情况，但是可以根据磁盘的大小，适当的显示单位 M 或 G（常用）
		-i
			查看分区下面有多少个 inode ，以及 inode 使用情况]]></description><category></category></item><item><title><![CDATA[Hue安装、或操作过程中遇到的问题]]></title><link>https://blog.youkuaiyun.com/YKQi_/article/details/124174261</link><guid>https://blog.youkuaiyun.com/YKQi_/article/details/124174261</guid><author>YKQi_</author><pubDate>Thu, 14 Apr 2022 16:22:56 +0800</pubDate><description><![CDATA[[Hue-001] 编译Hue时报错，File “/usr/bin/yum“, line 30 except KeyboardInterrupt

解决方案：主要是系统自带的python2.7，默认环境是python，你安装python3.x后，更改默认/usr/bin/python的软引用为python3.x导致的。
直接修改/usr/bin/yum文件中的第一行为 #!/usr/bin/python2.7

[Hue-002] Hue启动报错，OperationalError: attempt to w]]></description><category></category></item><item><title><![CDATA[Centos7上安装配置Hue]]></title><link>https://blog.youkuaiyun.com/YKQi_/article/details/124118860</link><guid>https://blog.youkuaiyun.com/YKQi_/article/details/124118860</guid><author>YKQi_</author><pubDate>Tue, 12 Apr 2022 11:52:52 +0800</pubDate><description><![CDATA[1、HUE 编译安装

Hue官方网站：Hue - The open source SQL Assistant for Data Warehouses
Hue官方用户手册：Hue Guide :: Hue SQL Assistant Documentation
官方安装文档：Install :: Hue SQL Assistant Documentation
Hue下载地址：Releases :: Hue SQL Assistant Documentation

Hue的官方并没有编译好的软件包，所有其安装]]></description><category></category></item><item><title><![CDATA[Linux下安装Python3.x和第三方库]]></title><link>https://blog.youkuaiyun.com/YKQi_/article/details/123901569</link><guid>https://blog.youkuaiyun.com/YKQi_/article/details/123901569</guid><author>YKQi_</author><pubDate>Fri, 01 Apr 2022 16:48:11 +0800</pubDate><description><![CDATA[1、安装python3.x

（下面的步骤统一使用root用户操作）

1.1 安装依赖环境


yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

python3.7版本之后需要一个新的包libffi-devel


yum install libffi-devel]]></description><category></category></item><item><title><![CDATA[flink-connector-mysql-cdc_2.0.2]]></title><link>https://blog.youkuaiyun.com/YKQi_/article/details/123376074</link><guid>https://blog.youkuaiyun.com/YKQi_/article/details/123376074</guid><author>YKQi_</author><pubDate>Wed, 09 Mar 2022 14:01:10 +0800</pubDate><description><![CDATA[官方参考文档：MySQL CDC Connector — Flink CDC documentationhttps://ververica.github.io/flink-cdc-connectors/master/content/connectors/mysql-cdc.html

1、测试步骤：

1）开启MySQL Binlog并重启MySQL

2）启动HDFS集群


[hadoop@linux100 flink-1.13.5]$ start-dfs.sh

3）启动Flink集群


[hado]]></description><category></category></item><item><title><![CDATA[Kafka-命令行操作]]></title><link>https://blog.youkuaiyun.com/YKQi_/article/details/122713833</link><guid>https://blog.youkuaiyun.com/YKQi_/article/details/122713833</guid><author>YKQi_</author><pubDate>Thu, 27 Jan 2022 10:53:29 +0800</pubDate><description><![CDATA[配置注意点

kafka 默认分区为1个，如果更改配置文件的分区数，以后默认创建分区的数据就是更改的分区数。分区数一般根据处理器个数来设置（主要是提高并发处理）+

Kafka-命令行操作




1）查看当前服务器中的所有topic


bin/kafka-topics.sh --zookeeper linux102:2181 --list

2）创建topic


bin/kafka-topics.sh --zookeeper linux102:2181 \
--create --replication]]></description><category></category></item><item><title><![CDATA[Spark-远程调试]]></title><link>https://blog.youkuaiyun.com/YKQi_/article/details/122706268</link><guid>https://blog.youkuaiyun.com/YKQi_/article/details/122706268</guid><author>YKQi_</author><pubDate>Wed, 26 Jan 2022 18:18:55 +0800</pubDate><description><![CDATA[第一种方法：

1、启动需要调试项目jar命令：（参考原始命令）


./bin/spark-submit --master yarn --deploy-mode cluster \
--num-executors 8 \
--executor-cores 4 \
--executor-memory 12G \
--driver-java-options "Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=18888" \
--c]]></description><category></category></item><item><title><![CDATA[Chapter3 Elasticsearch restful api (DSL)]]></title><link>https://blog.youkuaiyun.com/YKQi_/article/details/122700579</link><guid>https://blog.youkuaiyun.com/YKQi_/article/details/122700579</guid><author>YKQi_</author><pubDate>Wed, 26 Jan 2022 14:20:15 +0800</pubDate><description><![CDATA[3.1 elasticsearch的基本概念



			cluster
			
			
			整个elasticsearch 默认就是集群状态，整个集群是一份完整、互备的数据。
			
		
			node
			
			
			集群中的一个节点，一般只一个进程就是一个node
			
		
			shard
			
			
			分片，即使是一个节点中的数据也会通过hash算法，分成多个片存放，默认是5片。（7.0默认改为1片）
			
		
			index
			
			
			相当于rdbms的d]]></description><category></category></item><item><title><![CDATA[Chapter2 ElasticSearch的安装]]></title><link>https://blog.youkuaiyun.com/YKQi_/article/details/122689886</link><guid>https://blog.youkuaiyun.com/YKQi_/article/details/122689886</guid><author>YKQi_</author><pubDate>Tue, 25 Jan 2022 18:11:37 +0800</pubDate><description><![CDATA[2.1 下载/安装elasticsearch

2.1.1 安装包下载

Elasticsearch官网： Elasticsearch: The Official Distributed Search &amp; Analytics Engine | Elastic

Elasticsearch 6.6.0 | Elastic

下载好后拷贝到/opt/module/目录下

2.1.2 修改配置文件


.../elasticsearch-6.6.0/config/elasticsearch.yml...]]></description><category></category></item><item><title><![CDATA[Chapter1 Elasticsearch简介]]></title><link>https://blog.youkuaiyun.com/YKQi_/article/details/122688548</link><guid>https://blog.youkuaiyun.com/YKQi_/article/details/122688548</guid><author>YKQi_</author><pubDate>Tue, 25 Jan 2022 17:03:03 +0800</pubDate><description><![CDATA[ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。






1.1 elasticSearch的使用场景

为用户提供按关键字查询的全文搜索功能。
	实现企业海量数据的处理分析的解决方案。大数据领域的重要一份子，如著名的ELK框架(ElasticSearch,Logstash,Kiban...]]></description><category></category></item><item><title><![CDATA[Chapter7 Linux-常用基本命令]]></title><link>https://blog.youkuaiyun.com/YKQi_/article/details/122637491</link><guid>https://blog.youkuaiyun.com/YKQi_/article/details/122637491</guid><author>YKQi_</author><pubDate>Sat, 22 Jan 2022 14:49:09 +0800</pubDate><description><![CDATA[帮助命令

7.1.1 man 获得帮助信息

1）基本语法

man [命令或配置文件] （功能描述：获得帮助信息）

2）显示说明



			信息
			
			
			功能
			
		
			NAME
			
			
			命令的名称和单行描述
			
		
			SYNOPSIS
			
			
			怎样使用命令
			
		
			DESCRIPTION
			
			
			命令功能的深入讨论
			
		
			EXAMPLES 
			
			
			怎样使用命令的例子...]]></description><category></category></item><item><title><![CDATA[IDEA上一些配置问题]]></title><link>https://blog.youkuaiyun.com/YKQi_/article/details/122540472</link><guid>https://blog.youkuaiyun.com/YKQi_/article/details/122540472</guid><author>YKQi_</author><pubDate>Mon, 17 Jan 2022 15:16:05 +0800</pubDate><description><![CDATA[1、默认设置（全局设置：只对新文件有效）

file –&gt; setting –&gt; code style –&gt; Line separator，选中需要替换的分隔符类型

注意： Line separator下面有行小字，applied to new files，意味着该处设置只针对于新增的文件。

2、IDEA批量替换文件换行符、分隔符CRLF、LF、CR

指定范围设置（可用于老项目改造）

1）选中你需要更改的文件目录（或者直接选择父目录），选中的目录代表下面的所有文件都会被更改 lin]]></description><category></category></item><item><title><![CDATA[linux下mysql的下载、安装与配置]]></title><link>https://blog.youkuaiyun.com/YKQi_/article/details/122459030</link><guid>https://blog.youkuaiyun.com/YKQi_/article/details/122459030</guid><author>YKQi_</author><pubDate>Wed, 12 Jan 2022 17:50:04 +0800</pubDate><description><![CDATA[1、mysql的下载、安装

到官网下载linux版本安装包：​​​​​​​MySQL :: MySQL Community Downloadshttps://dev.mysql.com/downloads/





地址：MySQL :: Download MySQL Community Server (Archived Versions)https://downloads.mysql.com/archives/community/






...]]></description><category></category></item><item><title><![CDATA[大数据 —— CentOS虚拟机配置]]></title><link>https://blog.youkuaiyun.com/YKQi_/article/details/122312470</link><guid>https://blog.youkuaiyun.com/YKQi_/article/details/122312470</guid><author>YKQi_</author><pubDate>Tue, 04 Jan 2022 22:02:18 +0800</pubDate><description><![CDATA[1.1 linux100虚拟机配置要求如下

（本文Linux系统全部以CentOS-7.5-x86-1804为例）

1）使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况


[root@linux100 ~]# ping www.baidu.com
PING www.baidu.com (14.215.177.39) 56(84) bytes of data.
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 tt]]></description><category></category></item></channel></rss>