<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[weixin_41228362的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/weixin_41228362</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; weixin_41228362]]></copyright><item><title><![CDATA[flink批处理读lzo压缩文件]]></title><link>https://blog.youkuaiyun.com/weixin_41228362/article/details/115956140</link><guid>https://blog.youkuaiyun.com/weixin_41228362/article/details/115956140</guid><author>weixin_41228362</author><pubDate>Wed, 21 Apr 2021 15:33:21 +0800</pubDate><description><![CDATA[1.概述

因为flink框架读压缩文件支持的格式如下，没有LZO压缩格式，所以需要在源码的基础上做一点添加。这里只是提供一下思路，具体的代码细节还需要自己去敲。



2. 具体实现

​

首先，flink内部读压缩文件，以文件后缀名为key，以压缩类型工厂对象为value组成的Map来 保存 不同的压缩文件对应着不同的解压工厂对象的映射关系。



​

通过上图可以看到FileInputFormat这个类会将所有的支持的解压缩工厂对象初始化到一个Map中，后续处理压缩文件时，可以直接根据压缩文件的.]]></description><category></category></item><item><title><![CDATA[python操作gitlab创建issue并上传文件]]></title><link>https://blog.youkuaiyun.com/weixin_41228362/article/details/108266168</link><guid>https://blog.youkuaiyun.com/weixin_41228362/article/details/108266168</guid><author>weixin_41228362</author><pubDate>Thu, 27 Aug 2020 18:14:53 +0800</pubDate><description><![CDATA[因为工作需要对数程序跑完之后，自动的告知一下大家，并把结果上传到gitlab的issue下。所以给对数工具添加了一下脚本。

用的是python-gitlab，详细可以看看这个文档，直接上代码。


class GitlabProject(object):

    def __init__(self, url, token,project_id):
 
        self.gl = gitlab.Gitlab(url, private_token=token)
        self.projec]]></description><category></category></item><item><title><![CDATA[利用docker-compose单节点快速部署efk日志收集系统]]></title><link>https://blog.youkuaiyun.com/weixin_41228362/article/details/107768165</link><guid>https://blog.youkuaiyun.com/weixin_41228362/article/details/107768165</guid><author>weixin_41228362</author><pubDate>Mon, 03 Aug 2020 16:51:29 +0800</pubDate><description><![CDATA[efk-log-monitor
用docker compose方式安装了fluentd，es，kibana
githup地址
说明
线上的springboot应用程序通过logback，发送到了fluentd所监听的24224端口，fluentd接到日志发送到es中，最后利用kibana查看日志。
版本

fluentd-1.3.2
fluent-plugin-elasticsearch 4.1.1
elasticsearch:6.5.4
kibana:6.5.4

配置
elasticsearch

配置]]></description><category></category></item><item><title><![CDATA[docker-compose部署单台es和kibana]]></title><link>https://blog.youkuaiyun.com/weixin_41228362/article/details/107640671</link><guid>https://blog.youkuaiyun.com/weixin_41228362/article/details/107640671</guid><author>weixin_41228362</author><pubDate>Tue, 28 Jul 2020 17:37:42 +0800</pubDate><description><![CDATA[1. 概述

首先在宿主机上准备一下es和kibana的配置文件，之后根据自己的情况配置docker-compose.yml，最后运行init.sh脚本

2. 准备es和kibana的配置文件

2.1 目录结构如下：



2.2 es的配置文件

es-master.yml


# 集群名称
cluster.name: es-cluster
# 节点名称
node.name: es-node1
# 是否可以成为master节点
node.master: true
# 是否允许该节点存储数据,默认开启
]]></description><category></category></item><item><title><![CDATA[es修改字段类型]]></title><link>https://blog.youkuaiyun.com/weixin_41228362/article/details/107382647</link><guid>https://blog.youkuaiyun.com/weixin_41228362/article/details/107382647</guid><author>weixin_41228362</author><pubDate>Thu, 16 Jul 2020 14:47:33 +0800</pubDate><description><![CDATA[概述

首先说明es中索引的字段类型是不可修改的，只能是重新创建一个索引并设置好mapping，然后再将老索引的数据复制过去。

操作步骤

1、创建索引，并指定mapping


PUT /web-log
{
    "mappings" : {
      "properties" : {
        "classMethod" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
      ]]></description><category></category></item><item><title><![CDATA[JVM参数 -XX:+PrintCompilation的使用]]></title><link>https://blog.youkuaiyun.com/weixin_41228362/article/details/106388843</link><guid>https://blog.youkuaiyun.com/weixin_41228362/article/details/106388843</guid><author>weixin_41228362</author><pubDate>Wed, 27 May 2020 19:42:25 +0800</pubDate><description><![CDATA[idea中启动一个java程序，在VM options指定-XX:+PrintCompilation。之后启动执行，会打印出java文件编译后的样子。







从左边开始。

第一列是说明，虚拟机自启动后所用的毫秒数。

接下来是代码或方法执行的顺序。

第三列可以看到有的是“s”,有的是“n”,有的干脆啥也没有。其中“s”代表的是synchronized方法，“n”代表的是本地方法。其中第三列还有一个“%”，“%”代表的是，这个方法以及本地编译了，并且存放在内存中的一个叫代码缓存的地方。

第...]]></description><category></category></item><item><title><![CDATA[AWS Auto Scaling 在缩小的过程中默认的终止策略]]></title><link>https://blog.youkuaiyun.com/weixin_41228362/article/details/105164985</link><guid>https://blog.youkuaiyun.com/weixin_41228362/article/details/105164985</guid><author>weixin_41228362</author><pubDate>Sat, 28 Mar 2020 17:38:17 +0800</pubDate><description><![CDATA[默认终止策略旨在帮助确保在可用区之间平均分配实例，以获得高可用性。默认策略会保留通用性和灵活性，旨在满足各种场景的需要。

默认终止策略行为如下所示：


	确定哪些可用区包含最多实例，并且至少有一个实例不受缩减保护。
	
	
	确定要终止的实例，以便使剩余实例与要终止的按需实例或 Spot 实例的分配策略保持一致。这仅适用于指定了分配策略的 Auto Scaling 组。

	例如，在实例启动后...]]></description><category></category></item><item><title><![CDATA[Linux下查看某一进程所占用内存的方法]]></title><link>https://blog.youkuaiyun.com/weixin_41228362/article/details/105161407</link><guid>https://blog.youkuaiyun.com/weixin_41228362/article/details/105161407</guid><author>weixin_41228362</author><pubDate>Sat, 28 Mar 2020 14:57:39 +0800</pubDate><description><![CDATA[Linux下查看某一个进程所占用的内存，首先可以通过ps命令找到进程id，比如ps-ef |grepkafka可以看到kafka这个程序的进程id

　　

　　可以看到是2913，现在可以使用如下命令查看内存：


top -p 2913

　　

　　这样可以动态实时的看到CPU和内存的占用率，然后按q键回到命令行

　　也可直接使用ps命令查看：ps-aux |grepka...]]></description><category></category></item><item><title><![CDATA[java中汉字转拼音和拼音缩写字典初始化处理多音字]]></title><link>https://blog.youkuaiyun.com/weixin_41228362/article/details/105161227</link><guid>https://blog.youkuaiyun.com/weixin_41228362/article/details/105161227</guid><author>weixin_41228362</author><pubDate>Sat, 28 Mar 2020 14:52:09 +0800</pubDate><description><![CDATA[&lt;!-- 汉字转拼音--&gt;
		&lt;dependency&gt;
			&lt;groupId&gt;com.github.promeg&lt;/groupId&gt;
			&lt;artifactId&gt;tinypinyin&lt;/artifactId&gt;
			&lt;version&gt;2.0.3&lt;/version&gt;
		&lt;/dependen...]]></description><category></category></item><item><title><![CDATA[java中json字符串转成csv保存]]></title><link>https://blog.youkuaiyun.com/weixin_41228362/article/details/105161083</link><guid>https://blog.youkuaiyun.com/weixin_41228362/article/details/105161083</guid><author>weixin_41228362</author><pubDate>Sat, 28 Mar 2020 14:46:21 +0800</pubDate><description><![CDATA[&lt;!--		json转csv--&gt;
		&lt;dependency&gt;
			&lt;groupId&gt;org.json&lt;/groupId&gt;
			&lt;artifactId&gt;json&lt;/artifactId&gt;
			&lt;version&gt;20090211&lt;/version&gt;
		&lt;/dependency...]]></description><category></category></item><item><title><![CDATA[springboot读resource下的csv文件]]></title><link>https://blog.youkuaiyun.com/weixin_41228362/article/details/105157346</link><guid>https://blog.youkuaiyun.com/weixin_41228362/article/details/105157346</guid><author>weixin_41228362</author><pubDate>Sat, 28 Mar 2020 14:38:39 +0800</pubDate><description><![CDATA[首先，有一个注意点就是，springboot项目最后打成一个jar包，tomcat容器内嵌在jar包里，我们从代码里去读resource下的文件的方式和传统的以web容器目录形式部署的服务器肯定是不一样的。








import org.apache.commons.csv.CSVFormat;
import org.apache.commons.csv.CSVParser;
impor...]]></description><category></category></item><item><title><![CDATA[AWS API Gateway 绑定自己的域名]]></title><link>https://blog.youkuaiyun.com/weixin_41228362/article/details/105111053</link><guid>https://blog.youkuaiyun.com/weixin_41228362/article/details/105111053</guid><author>weixin_41228362</author><pubDate>Thu, 26 Mar 2020 09:47:18 +0800</pubDate><description><![CDATA[由于中国区的AWS服务缺少或者功能不全，导致目前能找到的给API GateWay绑定域名的文档和资料都不够准确，因此在这记录一下中国区的操作步骤。




	准备域名证书，需要以下材料

	
		证书正文（一般名字是certificate.pem\certificate.crt之类的）
		
		
		密钥文件（一般以.key结尾的文件）
		
		
		证书链（名字中带有chain的文件）
	...]]></description><category></category></item><item><title><![CDATA[spark的df.na.fill()填充值注意的地方]]></title><link>https://blog.youkuaiyun.com/weixin_41228362/article/details/104892484</link><guid>https://blog.youkuaiyun.com/weixin_41228362/article/details/104892484</guid><author>weixin_41228362</author><pubDate>Mon, 16 Mar 2020 09:58:22 +0800</pubDate><description><![CDATA[//用法
df.na.fill(value,Array("ranges"))

//注意点
//填充ranges这一列的时候，填充值和这一列的数据类型一致才会生效，否则忽略无效


]]></description><category></category></item><item><title><![CDATA[SpringBoot在window和linux都可以获取resource路径的方法]]></title><link>https://blog.youkuaiyun.com/weixin_41228362/article/details/104771249</link><guid>https://blog.youkuaiyun.com/weixin_41228362/article/details/104771249</guid><author>weixin_41228362</author><pubDate>Tue, 10 Mar 2020 11:58:43 +0800</pubDate><description><![CDATA[// 获取项目根路径
final File basePath = new File(ResourceUtils.getURL("classpath:").getPath());

这个再Windows下是可以的，但是在Linux （centos7）下是不行的，正确的获取方法：




Resource resource = new ClassPathResource("");
System.o...]]></description><category></category></item><item><title><![CDATA[AWS助理级解决方案架构师备考路线]]></title><link>https://blog.youkuaiyun.com/weixin_41228362/article/details/103798901</link><guid>https://blog.youkuaiyun.com/weixin_41228362/article/details/103798901</guid><author>weixin_41228362</author><pubDate>Thu, 02 Jan 2020 09:20:08 +0800</pubDate><description><![CDATA[AWS的认证体系

AWS的认证有路线图，主要分为Architecting（架构）、Developing（开发）、Operations（运维）三条线。每条线又分为助理级认证和专家级认证，必须通过助理级认证后才能考取相应的专家级认证。架构这条线的两个认证为助理级解决方案架构师认证和专家级解决方案架构师认证。开发这条线的两个认证为开发者认证和DevOps工程师认证。运维这条线的两个认证为SysOps系...]]></description><category></category></item><item><title><![CDATA[不可见字符'\001'在java程序中表示]]></title><link>https://blog.youkuaiyun.com/weixin_41228362/article/details/103602753</link><guid>https://blog.youkuaiyun.com/weixin_41228362/article/details/103602753</guid><author>weixin_41228362</author><pubDate>Wed, 18 Dec 2019 18:51:12 +0800</pubDate><description><![CDATA[\001作为分隔符的日志，从linux终端复制出来用notePad打开时看到的SOH，而\002分隔的，从终端复制到编辑器是里STX。

项目中需要将含'\001'的字符串做一个替换，结果在写程序的时候，却不知怎么写来匹配'\001'，最后上网搜了半天，找到了解决办法。



对，你没看错，就是这样，需要4个\，4962\\\\001亚洲龙 去匹配文件中的 4962\001亚洲龙

ASCI...]]></description><category></category></item><item><title><![CDATA[Linux中login shell和non-login shell]]></title><link>https://blog.youkuaiyun.com/weixin_41228362/article/details/90576452</link><guid>https://blog.youkuaiyun.com/weixin_41228362/article/details/90576452</guid><author>weixin_41228362</author><pubDate>Sun, 26 May 2019 15:50:33 +0800</pubDate><description><![CDATA[login shell：需要输入用户的帐号与密码，此时的bash就称为“login shell”。
	non-login shell：在原本的bash环境下再次执行bash这个命令，没有输入帐号和密码，那第二个bash（子进程）就是“non-login shell”。
login shell 的读取流程




从上图可以看出来，最终被读取的配置文件是~/.bashrc这个文件。所以可以将自己的偏...]]></description><category></category></item><item><title><![CDATA[spring Boot项目集成jacoco 完成单元测试Coverage并上传到snarqube]]></title><link>https://blog.youkuaiyun.com/weixin_41228362/article/details/89846087</link><guid>https://blog.youkuaiyun.com/weixin_41228362/article/details/89846087</guid><author>weixin_41228362</author><pubDate>Sun, 05 May 2019 17:08:50 +0800</pubDate><description><![CDATA[近期因工作需要，需对代码覆盖率进行统计，所以这篇就当做对这段时间学习的总结。


JaCoCo Java Code Coverage Library

Jacoco 是一个开源的覆盖率工具。Jacoco 可以嵌入到 Ant 、Maven 中，并提供了 EclEmma Eclipse 插件,也可以使用 Java Agent 技术监控 Java 程序。很多第三方的工具提供了对 Jacoco 的集成，如...]]></description><category></category></item><item><title><![CDATA[在Vim中，如何将不可见字符也显示出来]]></title><link>https://blog.youkuaiyun.com/weixin_41228362/article/details/89011666</link><guid>https://blog.youkuaiyun.com/weixin_41228362/article/details/89011666</guid><author>weixin_41228362</author><pubDate>Thu, 04 Apr 2019 09:50:59 +0800</pubDate><description><![CDATA[在Linux中，cat -A file可以把文件中的所有可见的和不可见的字符都显示出来，在Vim中，如何将不可见字符也显示出来呢？只需要:set invlist即可以将不可见的字符显示出来，例如，会以^I表示一个tab符，$表示一个回车符等。
...]]></description><category></category></item><item><title><![CDATA[centos6.7安装docker]]></title><link>https://blog.youkuaiyun.com/weixin_41228362/article/details/86513335</link><guid>https://blog.youkuaiyun.com/weixin_41228362/article/details/86513335</guid><author>weixin_41228362</author><pubDate>Wed, 16 Jan 2019 19:30:13 +0800</pubDate><description><![CDATA[接着上一篇文章，这篇文章主要是按照docker

centos6.7运行命令yum install docker，发生错误

No package docker available

可以看到，在Centos6.7的标准yum源中已经没有Docker的安装包了，这时，我们需要安装EPEL。

　　EPEL（Extra Packages for Enterprise Linux），企业版Linux额...]]></description><category></category></item></channel></rss>