<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[xdshust的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/xdshust</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; xdshust]]></copyright><item><title><![CDATA[如何快速通过Certified Kubernetes Application Developer (CKAD)认证]]></title><link>https://blog.youkuaiyun.com/xdshust/article/details/119532122</link><guid>https://blog.youkuaiyun.com/xdshust/article/details/119532122</guid><author>xdshust</author><pubDate>Fri, 27 Aug 2021 21:00:47 +0800</pubDate><description><![CDATA[考试环境准备
一个干净的桌子，除了电脑啥也不能有，包括矿泉水都不行，只拿能透明玻璃杯喝水
全程必须对着摄像头，起身或者动一下都会收到提示，（其实也挺烦的，尤其在你专心想问题时候）
网络要好，我是用的公司网络。
要关掉除Chrome以外的所有程序，任务栏里面pin的程序也都unpin一下，我正在做题时候，提示我开了其他程序，其实只是任务栏pin的。
考试时间120分钟，19个题，时间非常紧张，不会的不要停留太久，参考题目的weight决定停多久，尽快直接去做后面的题，先把会做的都完成，再回到不会的攻克。
只能]]></description><category></category></item><item><title><![CDATA[Logstash实时同步MySQL数据到ElasticSearch的经验总结]]></title><link>https://blog.youkuaiyun.com/xdshust/article/details/117550313</link><guid>https://blog.youkuaiyun.com/xdshust/article/details/117550313</guid><author>xdshust</author><pubDate>Sat, 03 Jul 2021 23:47:47 +0800</pubDate><description><![CDATA[这里写自定义目录标题Logstash同步MySQL数据到ElasticSearch的经验总结新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入
Logstash同步MySQL数据到ElasticSearch的经验总结
你好！ ]]></description><category></category></item><item><title><![CDATA[ElasticSearch获取Index的document数量]]></title><link>https://blog.youkuaiyun.com/xdshust/article/details/118381195</link><guid>https://blog.youkuaiyun.com/xdshust/article/details/118381195</guid><author>xdshust</author><pubDate>Thu, 01 Jul 2021 10:59:01 +0800</pubDate><description><![CDATA[ElasticSearch可以通过/_cat/indices来查看Index的状态
GET _cat/indices/your_index_name*?v

health status index                            uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   your-index-name-20210630_041604 tnc]]></description><category></category></item><item><title><![CDATA[Logstash导入csv文件到ElasticSearch]]></title><link>https://blog.youkuaiyun.com/xdshust/article/details/118163600</link><guid>https://blog.youkuaiyun.com/xdshust/article/details/118163600</guid><author>xdshust</author><pubDate>Thu, 24 Jun 2021 14:24:16 +0800</pubDate><description><![CDATA[需求
计划写一系列ElasticSearch如何快速搭建小型搜索系统的文章，需要一些实际数据来展示ElasticSearch的搜索原理，选择使用kaggle公开数据集Movies Dataset，由于是用来展示ElasticSearch的搜索原理，只保留id,name两列，使用Logstash将数据导入ElasticSearch。
Logstash原理
Logstash是一个开源的数据收集引擎，是ELK技术栈中的L。可以完成数据的ETL，方便的将数据导入ElasticSearch等。
Logstash数据处]]></description><category></category></item><item><title><![CDATA[ElasticSearch如何新添加一列并将已有列内容填入]]></title><link>https://blog.youkuaiyun.com/xdshust/article/details/118095085</link><guid>https://blog.youkuaiyun.com/xdshust/article/details/118095085</guid><author>xdshust</author><pubDate>Mon, 21 Jun 2021 21:28:07 +0800</pubDate><description><![CDATA[ElasticSearch不支持更改已有Field的数据类型以及Analyzer，项目中如果需要额外的检索需求，当前mapping中的analyzer不能满足时，可以通过新增加一个filed并定义额外的Analyzer来实现。
项目中name列最开始的定义如下，采用标准analyzer提供基础的查询功能，子field中定义了keyword用来排序
 "name": {
     "type": "text",
     "analyzer": "standard",
     "fields": {
   ]]></description><category></category></item><item><title><![CDATA[MySQL日常使用总结]]></title><link>https://blog.youkuaiyun.com/xdshust/article/details/117559515</link><guid>https://blog.youkuaiyun.com/xdshust/article/details/117559515</guid><author>xdshust</author><pubDate>Fri, 04 Jun 2021 16:35:46 +0800</pubDate><description><![CDATA[MySQL日常使用过程中经历过的坑，持续更新
MySQL 5.6 版本不支持View中存在Subquery
Error Code: 1349. View’s SELECT contains a subquery in the FROM clause
view外层尽量不要再使用where条件
view外面再加where条件是需要先等view内检索条件执行完毕创建temp table之后再对table过滤，所以where条件中即使有Index也不起作用。多用explain extended去分析执行逻辑。
My]]></description><category></category></item><item><title><![CDATA[Python多进程 struct.error: ‘i‘ format]]></title><link>https://blog.youkuaiyun.com/xdshust/article/details/108734666</link><guid>https://blog.youkuaiyun.com/xdshust/article/details/108734666</guid><author>xdshust</author><pubDate>Tue, 22 Sep 2020 17:40:56 +0800</pubDate><description><![CDATA[当对多个文件进行同样的预处理时，为了加快处理速度会使用Python多进程。每个进程返回数据给父进程，做最后的合并处理。
问题描述与分析
代码在处理大文件时候会抛出如下错误，但当处理的文件较小时候，一切正常。
concurrent.futures.process._RemoteTraceback:
"""
Traceback (most recent call last):
  File "/home/dxi/software/python3.7.9/lib/python3.7/concurrent/futu]]></description><category></category></item><item><title><![CDATA[文本文件在MongoDB中的存储大小]]></title><link>https://blog.youkuaiyun.com/xdshust/article/details/108711537</link><guid>https://blog.youkuaiyun.com/xdshust/article/details/108711537</guid><author>xdshust</author><pubDate>Mon, 21 Sep 2020 18:43:29 +0800</pubDate><description><![CDATA[前言
项目中使用MongoDB存储文本数据，通过pymongo连接DB提供python查询接口。原始文件每天增长，项目需要评估MongoDB服务器使用什么规格的硬盘，那么当文本文件存入MongoDB后，相比原始文件，MongoDB磁盘占用多少，压缩率如何，怎么可以优化磁盘占用空间。本文尝试解答这些问题。
测试步骤
测试文件：
csv文件，13,515,366行，22列
文件大小: 4.6G
（csv文件使用mongodb是因为不同的csv文件中列是不同的）
测试方法：
测试三种情况下，MongoDB中col]]></description><category></category></item><item><title><![CDATA[Linux开机自动mount windows cifs共享]]></title><link>https://blog.youkuaiyun.com/xdshust/article/details/106406466</link><guid>https://blog.youkuaiyun.com/xdshust/article/details/106406466</guid><author>xdshust</author><pubDate>Thu, 28 May 2020 15:48:32 +0800</pubDate><description><![CDATA[本文介绍如何Linux如何开机自动mount Windows cifs共享，可以在server重启时候自动mount数据，不影响应用程序的数据访问

linux安装cifs驱动sudo apt-get install cifs-utils


创建credentials文件保存用户密码。dxi@mylinux:~$ cat .smbcredentials
username=dxi
password=mypassword

将文件改为 600权限.
在 /etc/fstab 中增加cifs mountdxi@]]></description><category></category></item><item><title><![CDATA[AWS助理架构师认证备考之路]]></title><link>https://blog.youkuaiyun.com/xdshust/article/details/103478952</link><guid>https://blog.youkuaiyun.com/xdshust/article/details/103478952</guid><author>xdshust</author><pubDate>Tue, 10 Dec 2019 17:05:40 +0800</pubDate><description><![CDATA[考试介绍及报名
AWS官方推出的云计算架构师能力认证，分为助理级和专业级，本攻略针对助理级架构师认证AWS Soluctions Architect - Associate (SAA-C01)。
通过AWS认证中心网站预约考试即可，基本随约随考，可以选择离自己近的考点，深圳南山区在赋安科技大厦，会安排在一个小会议室里，里面有几个小隔间，电脑考试，自动出成绩。考试的详细介绍网上资料较多，本文重点分享...]]></description><category></category></item><item><title><![CDATA[pg_dump版本不符导致PostgreSQL不能备份]]></title><link>https://blog.youkuaiyun.com/xdshust/article/details/103122110</link><guid>https://blog.youkuaiyun.com/xdshust/article/details/103122110</guid><author>xdshust</author><pubDate>Mon, 18 Nov 2019 14:36:30 +0800</pubDate><description><![CDATA[项目使用AWS Aurora Postgresql数据，自动备份任务突然报错了，收到邮件查看错误信息，是由于Postgresql升级了，但备份机器上的pg_dump没有升级，导致版本不一致，备份出错。
错误信息：
21:59:35 pg_dump: server version: 9.6.12; pg_dump version: 9.5.19
21:59:35 pg_dump: aborting ...]]></description><category></category></item><item><title><![CDATA[Python去除文本中非utf8字符]]></title><link>https://blog.youkuaiyun.com/xdshust/article/details/99707138</link><guid>https://blog.youkuaiyun.com/xdshust/article/details/99707138</guid><author>xdshust</author><pubDate>Wed, 04 Sep 2019 17:01:49 +0800</pubDate><description><![CDATA[在处理文档相关项目中，经常会碰到utf8的非法字符，例如用户上传一个文件，系统根据用户文件产生相应结果返回。如果用户文件（utf编码的csv文件）中有utf8的非法字符，需要程序能自动去掉这些字符，因为这些字符也是无意义的。
错误信息：
处理方法：

...]]></description><category></category></item><item><title><![CDATA[docker不能运行任何containers]]></title><link>https://blog.youkuaiyun.com/xdshust/article/details/90268206</link><guid>https://blog.youkuaiyun.com/xdshust/article/details/90268206</guid><author>xdshust</author><pubDate>Thu, 16 May 2019 19:39:55 +0800</pubDate><description><![CDATA[ERROR: for es-master  Cannot start service es-master: OCI runtime create failed: container_linux.go:348: starting container process caused "process_linux.go:297: copying bootstrap data to pipe caused \"write init-p: broken pipe\"": unknown]]></description><category></category></item><item><title><![CDATA[Tableau 使用技巧总结]]></title><link>https://blog.youkuaiyun.com/xdshust/article/details/89495296</link><guid>https://blog.youkuaiyun.com/xdshust/article/details/89495296</guid><author>xdshust</author><pubDate>Wed, 24 Apr 2019 15:52:38 +0800</pubDate><description><![CDATA[dashboard的大小可以使用一个范围值，range(),这样可以更好适应不同屏幕尺寸。
布局layout使用blank可以更方便。设置主内容固定宽带，blank自动调整宽度。
Venv图当两边数据差别较大时，需要手动调整布局，而且不美观。可以使用一个新变量来调整圆圈大小，实际数字用Label显示。
字体必须在计算机中安装才能使用，所以尽量使用比较大众的字体如Arial



...]]></description><category></category></item><item><title><![CDATA[优化Docker Image案例]]></title><link>https://blog.youkuaiyun.com/xdshust/article/details/89177894</link><guid>https://blog.youkuaiyun.com/xdshust/article/details/89177894</guid><author>xdshust</author><pubDate>Fri, 12 Apr 2019 20:16:32 +0800</pubDate><description><![CDATA[docker history可以查看每一个步的大小
一行命令一个layer
经常变化的尽量放最后
COPY 源代码尽量放在最后

]]></description><category></category></item><item><title><![CDATA[Python多重继承]]></title><link>https://blog.youkuaiyun.com/xdshust/article/details/89251507</link><guid>https://blog.youkuaiyun.com/xdshust/article/details/89251507</guid><author>xdshust</author><pubDate>Fri, 12 Apr 2019 18:44:24 +0800</pubDate><description><![CDATA[多重继承可以允许继承多个父类，实现多个父类的功能，具体可以参考这里
那么若当多个父类有相同的方法时，调用这个方法会如何。
答：会调用继承第一个类中的方法。这是按照Python方法解决顺序执行，参考如下代码。
class A:
    def say_hello(self):
        print("Hi from A")

class B:
    def say_hello(self):
...]]></description><category></category></item><item><title><![CDATA[Docker应用数据存储方法及使用场景]]></title><link>https://blog.youkuaiyun.com/xdshust/article/details/86672747</link><guid>https://blog.youkuaiyun.com/xdshust/article/details/86672747</guid><author>xdshust</author><pubDate>Sat, 23 Mar 2019 22:14:41 +0800</pubDate><description><![CDATA[容器技术已经广泛应用在接口开发等各个方面，那么容器中产生的应用数据如用户上传的文件，系统日志等，应该如何做好持久化存储，以便共享及后续数据分析。本文会解答这个问题。]]></description><category></category></item><item><title><![CDATA[Elasticsearch ReadTimeoutError Read timed out]]></title><link>https://blog.youkuaiyun.com/xdshust/article/details/88354419</link><guid>https://blog.youkuaiyun.com/xdshust/article/details/88354419</guid><author>xdshust</author><pubDate>Tue, 12 Mar 2019 17:28:25 +0800</pubDate><description><![CDATA[success, errors = bulk(self.es, self.set_data())
  File &amp;quot;/home/dxi/PycharmProjects/OEMDB/venv/lib/python3.5/site-packages/elasticsearch/helpers/__init__.py&amp;quot;, line 257, in bulk
    for ok, item in ...]]></description><category></category></item><item><title><![CDATA[容器与虚拟机的区别（译）]]></title><link>https://blog.youkuaiyun.com/xdshust/article/details/86735480</link><guid>https://blog.youkuaiyun.com/xdshust/article/details/86735480</guid><author>xdshust</author><pubDate>Thu, 14 Feb 2019 18:12:30 +0800</pubDate><description><![CDATA[容器和虚拟机都能很好地利用计算机软硬件资源，当然容器技术是新兴的，并且在各种数据中心变得非常流行。如果你正在寻找如何在云上运行服务的方案，那么需要了解这些虚拟化技术，它们之间有何异同，最合适的使用场景，这里是我们的快速入门。]]></description><category></category></item><item><title><![CDATA[Linux挂载的nfs文件在重启后消失]]></title><link>https://blog.youkuaiyun.com/xdshust/article/details/86689643</link><guid>https://blog.youkuaiyun.com/xdshust/article/details/86689643</guid><author>xdshust</author><pubDate>Tue, 29 Jan 2019 14:38:34 +0800</pubDate><description><![CDATA[Ubuntu 挂载NFS目录，用来读取服务器资源
sudo mount -o ro -t nfs 192.168.*.20:/vault2/datasets /mnt/data/datasets/

但当系统重启时候，挂载会消失。
如果需要永久挂载，可以添加如下内容到 /etc/fstab 文件中
# device                                   mountpo...]]></description><category></category></item></channel></rss>