<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/dongang5198</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; dongang5198]]></copyright><item><title><![CDATA[利用multiprocessing.managers开发跨进程生产者消费者模型]]></title><link>https://blog.youkuaiyun.com/dongang5198/article/details/101571516</link><guid>https://blog.youkuaiyun.com/dongang5198/article/details/101571516</guid><author>dongang5198</author><pubDate>Thu, 25 Apr 2019 19:33:00 +0800</pubDate><description><![CDATA[研究了下multiprocessing.managers，略有收获，随笔一篇；
核心思路是构造一个manager进程，这个进程可以通过unix socket或tcp socket与其它进程通信；因为利用了socket，所以通信的进程间不要求具备父子关系，甚至可以跨主机（通过tcp socket）；
通过manager进行数据结构共享，可以应用于很多的IPC场景；这里只做一个示例，在m...]]></description><category></category></item><item><title><![CDATA[[算法] 举一反三之n重复数组中找唯一m重复异类数]]></title><link>https://blog.youkuaiyun.com/dongang5198/article/details/101571515</link><guid>https://blog.youkuaiyun.com/dongang5198/article/details/101571515</guid><author>dongang5198</author><pubDate>Wed, 27 Feb 2019 10:56:00 +0800</pubDate><description><![CDATA[n重复数组，是指数组中的数字都出现n次；
唯一m重复异类数，是指存在唯一一个没出现n次，只出现了m次的数；
这里我简记它为nX+my问题，求解y，其中m &lt; n，数组中都是整数；

3X+y问题
一直没有精力刷leetcode，今天查问题无意中看到了leetcode 137：给定一个非空整数数组，除了某个元素只出现一次以外，其余每个元素均出现了三次；找出那个只出现了一次...]]></description><category></category></item><item><title><![CDATA[HBase Thrift过滤语法]]></title><link>https://blog.youkuaiyun.com/dongang5198/article/details/101571513</link><guid>https://blog.youkuaiyun.com/dongang5198/article/details/101571513</guid><author>dongang5198</author><pubDate>Tue, 18 Sep 2018 09:58:00 +0800</pubDate><description><![CDATA[摘抄自hbase ref guide 0.94；
在写本文的时候，hbase ref guide已经更新到1.2及2.0了，但是个人感觉Thrift过滤语法部分写得都没有0.94的好，省掉了example，看起来很不方便，也不便于在hbase shell中进行调试，因而复制一份过来，以免以后找不到；
-------------



10.3.Thrift



C...]]></description><category></category></item><item><title><![CDATA[kubernetes pod infra container网络原理]]></title><link>https://blog.youkuaiyun.com/dongang5198/article/details/101571510</link><guid>https://blog.youkuaiyun.com/dongang5198/article/details/101571510</guid><author>dongang5198</author><pubDate>Mon, 02 Jul 2018 09:50:00 +0800</pubDate><description><![CDATA[刚开始接触kubernetes时，对kubelet的--pod-infra-container-image参数非常不能理解，不理解为什么我的业务应用需要依赖一个第三方的容器；
上文入门级kubernetes安装流程中简单提了一句，启动pod后的两个容器会有相同的网络地址，这样，多个容器可以绑定为一个pod进行管理；
本文展开来说一下这里的网络原理；其实就是一层窗户纸，捅破了就明白了；...]]></description><category></category></item><item><title><![CDATA[CentOS7上手动部署入门级kubernetes]]></title><link>https://blog.youkuaiyun.com/dongang5198/article/details/101571512</link><guid>https://blog.youkuaiyun.com/dongang5198/article/details/101571512</guid><author>dongang5198</author><pubDate>Fri, 29 Jun 2018 10:06:00 +0800</pubDate><description><![CDATA[前言
翻看了很多的kubernetes的安装教程，也反复做了一些实验，深感教程之复杂，所以决定写一个极简版本的安装教程，目标在于用尽可能少的参数启动服务，并且剖析各组件关系，然后再在此基础上逐步添加参数，实现功能完备；
干什么

在server节点上启动三个主要服务：apiserver、controller-manager、scheduler；
在node节点上启动两个主要服务...]]></description><category></category></item><item><title><![CDATA[CentOS7 手动部署flannel并启用vxlan]]></title><link>https://blog.youkuaiyun.com/dongang5198/article/details/101571511</link><guid>https://blog.youkuaiyun.com/dongang5198/article/details/101571511</guid><author>dongang5198</author><pubDate>Fri, 22 Jun 2018 17:40:00 +0800</pubDate><description><![CDATA[本以为docker准备妥当之后，就可以直接上k8s了，结果yum install kubernetes，报错：Error: docker-ce conflicts with docker-1.9.1 .....
这才想起来，自己的docker不是从centos官方源获取的，而是用了docker的源安装docker-ce，参见上一遍docker的部署文档。
centos官方源提供的k8...]]></description><category></category></item><item><title><![CDATA[tensorflow学习笔记3：写一个mnist rpc服务]]></title><link>https://blog.youkuaiyun.com/dongang5198/article/details/101571509</link><guid>https://blog.youkuaiyun.com/dongang5198/article/details/101571509</guid><author>dongang5198</author><pubDate>Wed, 20 Jun 2018 10:54:00 +0800</pubDate><description><![CDATA[本篇做一个没有实用价值的mnist rpc服务，重点记录我在调试整合tensorflow和opencv时遇到的问题；
准备模型
mnist的基础模型结构就使用tensorflow tutorial给的例子，卷积-池化-卷积-池化-全连接-dropout-softmax，然后走常规的优化训练，得到一个错误率2.0%的结果；
然后准备一个单张图片的输入，一个(1, 28, 28, 1)...]]></description><category></category></item><item><title><![CDATA[tensorflow学习笔记2：c++程序静态链接tensorflow库加载模型文件]]></title><link>https://blog.youkuaiyun.com/dongang5198/article/details/101571488</link><guid>https://blog.youkuaiyun.com/dongang5198/article/details/101571488</guid><author>dongang5198</author><pubDate>Wed, 06 Jun 2018 15:04:00 +0800</pubDate><description><![CDATA[首先需要搞定tensorflow c++库，搜了一遍没有找到现成的包，于是下载tensorflow的源码开始编译；
tensorflow的contrib中有一个makefile项目，极大的简化的接下来的工作；
按照tensorflow makefile的说明文档，开始做c++库的编译：

1. 下载依赖
在tensorflow的项目顶层运行：

tensorflow/co...]]></description><category></category></item><item><title><![CDATA[C/C++ strict-aliasing]]></title><link>https://blog.youkuaiyun.com/dongang5198/article/details/101571507</link><guid>https://blog.youkuaiyun.com/dongang5198/article/details/101571507</guid><author>dongang5198</author><pubDate>Tue, 29 May 2018 16:35:00 +0800</pubDate><description><![CDATA[最近发现了一个奇怪的编译参数-fno-strict-aliasing，好奇之下做了一点研究；

重点参考Understanding C/C++ Strict Aliasing；
所谓的aliasing就是多个变量指向同一块内存，变量之间互为别名；
strict-aliasing是一种编译器希望开发者遵守的规则：虽然C/C++变量可以随便赋值（强制类型转换），但也请你们收敛一点，...]]></description><category></category></item><item><title><![CDATA[信息论随笔3: 交叉熵与TF-IDF模型]]></title><link>https://blog.youkuaiyun.com/dongang5198/article/details/101571505</link><guid>https://blog.youkuaiyun.com/dongang5198/article/details/101571505</guid><author>dongang5198</author><pubDate>Fri, 25 May 2018 16:29:00 +0800</pubDate><description><![CDATA[接上文：信息论随笔2: 交叉熵、相对熵，及上上文：信息论随笔
在读《数学之美》的时候，相关性那一节对TF-IDF模型有这样一句描述：“其实 IDF 的概念就是一个特定条件下、关键词的概率分布的交叉熵（Kullback-Leibler Divergence)”；
当时尚不明白，等我看懂交叉熵与相对熵之后，再看TF-IDF，略有所获，本想与上一篇合写在一起的，但越写越多，于是单独成文；...]]></description><category></category></item><item><title><![CDATA[信息论随笔2: 交叉熵、相对熵]]></title><link>https://blog.youkuaiyun.com/dongang5198/article/details/101571508</link><guid>https://blog.youkuaiyun.com/dongang5198/article/details/101571508</guid><author>dongang5198</author><pubDate>Thu, 24 May 2018 17:15:00 +0800</pubDate><description><![CDATA[接上文：信息论随笔1

参考以下：
如何通俗的解释交叉熵与相对熵； https://www.zhihu.com/question/41252833/answer/108777563
https://blog.youkuaiyun.com/qq547276542/article/details/78370245

交叉熵
一个变量X，可能有多种取值，每个取值结果对应一个事件，对于一个...]]></description><category></category></item><item><title><![CDATA[matplotlib解决中文乱码]]></title><link>https://blog.youkuaiyun.com/dongang5198/article/details/101571506</link><guid>https://blog.youkuaiyun.com/dongang5198/article/details/101571506</guid><author>dongang5198</author><pubDate>Mon, 21 May 2018 10:30:00 +0800</pubDate><description><![CDATA[调试以前写的matplotlib相关脚本，中文呈方块样；重新解决一遍，感觉比以前的理解更进一步，故而记下一笔；

1. 首先要为matplotlib添加中文字体库；
系统字体库在/usr/share/fonts/，可以看一下配置文件/etc/fonts/fonts.conf
matplotlib字体库需要看python安装位置了，打开python，输入：

import m...]]></description><category></category></item><item><title><![CDATA[CentOS7 docker试水]]></title><link>https://blog.youkuaiyun.com/dongang5198/article/details/101571502</link><guid>https://blog.youkuaiyun.com/dongang5198/article/details/101571502</guid><author>dongang5198</author><pubDate>Fri, 27 Apr 2018 14:12:00 +0800</pubDate><description><![CDATA[CentOS 7.0，无外网直接访问权限，有一台代理服务器。
首先安装docker-ce，参考http://blog.51cto.com/aaronsa/2056882
除非特殊说明，以下操作都用root用户:

$ export http_proxy=http://xxxx

$ export https_proxy=http://xxxx

$ yum install...]]></description><category></category></item><item><title><![CDATA[将texlive带的字体安装进linux系统字体库]]></title><link>https://blog.youkuaiyun.com/dongang5198/article/details/101571504</link><guid>https://blog.youkuaiyun.com/dongang5198/article/details/101571504</guid><author>dongang5198</author><pubDate>Mon, 16 Apr 2018 12:38:00 +0800</pubDate><description><![CDATA[装机之后装系统，装完系统就装texlive，然后又遇一坑，编译以前的文档竟然找不到某字体；

kpathsea:make_tex: Invalid fontname `FontAwesome Regular', contains ' ' !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! fontspec error: "font-...]]></description><category></category></item><item><title><![CDATA[CentOS7解决firefox无法启用ibus中文输入的问题]]></title><link>https://blog.youkuaiyun.com/dongang5198/article/details/101571503</link><guid>https://blog.youkuaiyun.com/dongang5198/article/details/101571503</guid><author>dongang5198</author><pubDate>Sat, 14 Apr 2018 17:22:00 +0800</pubDate><description><![CDATA[最近换电脑，要换掉使用了6年的旧环境，开始折腾重装系统；
下了minimal版本的CentOS7.4，然后开始一点点装想用的东西，多少找到一点十年前折腾LFS的感觉；然后竟然被输入法拌住了半天，事后回想整个解决流程，觉得有必要记下来；
在gnome上安装、设置中文输入法，按标准的教程点一点菜单就可以了，然后也确实在界面上看到了输入法的存在，也可以切换输入法，但是gnome-termi...]]></description><category></category></item><item><title><![CDATA[拓朴排序]]></title><link>https://blog.youkuaiyun.com/dongang5198/article/details/101571501</link><guid>https://blog.youkuaiyun.com/dongang5198/article/details/101571501</guid><author>dongang5198</author><pubDate>Tue, 10 Apr 2018 17:41:00 +0800</pubDate><description><![CDATA[最近接触了一下拓朴排序，手痒写了下代码，给自己找了点麻烦，dfs特地没有用递归做；
关于拓朴排序的原理有很多人写得很好了，请参考以下文章：
https://blog.youkuaiyun.com/qinzhaokun/article/details/48541117
https://blog.youkuaiyun.com/yafeichang/article/details/53893120
https...]]></description><category></category></item><item><title><![CDATA[信息论随笔]]></title><link>https://blog.youkuaiyun.com/dongang5198/article/details/101571498</link><guid>https://blog.youkuaiyun.com/dongang5198/article/details/101571498</guid><author>dongang5198</author><pubDate>Wed, 14 Mar 2018 15:04:00 +0800</pubDate><description><![CDATA[近期补了一点信息论的知识，随笔记一下自己的理解；
参考以下文章：
《数学之美》第六章：信息的度量和作用
http://blog.sina.com.cn/s/blog_5fc770cd0100ia5k.html
http://blog.youkuaiyun.com/lk7688535/article/details/52529610

自信息量
一个事件e发生的自信息量
 \( ...]]></description><category></category></item><item><title><![CDATA[KD Tree算法]]></title><link>https://blog.youkuaiyun.com/dongang5198/article/details/101571486</link><guid>https://blog.youkuaiyun.com/dongang5198/article/details/101571486</guid><author>dongang5198</author><pubDate>Mon, 21 Nov 2016 17:33:00 +0800</pubDate><description><![CDATA[参考：http://blog.youkuaiyun.com/v_july_v/article/details/8203674

#!/user/bin/env python
# -*- coding:utf8 -*-

__author__ = 'zky@msn.cn'

import sys
import numpy
import heapq
import Queue

c...]]></description><category></category></item><item><title><![CDATA[[实践] ubuntu下编译安装ambari]]></title><link>https://blog.youkuaiyun.com/dongang5198/article/details/101571489</link><guid>https://blog.youkuaiyun.com/dongang5198/article/details/101571489</guid><author>dongang5198</author><pubDate>Fri, 29 Nov 2013 16:16:00 +0800</pubDate><description><![CDATA[ambari是一个Hadoop套件的管理工具，可以方便部署、管理及监控。最初开发时使用的就是RH系的Linux，只支持RHEL、CentOS5/6、OEL、SLES，暂不支持Ubuntu；可我的需求就是在ubuntu系统中使用，我认为在ambari完全使用开源软件堆积，想兼容Debian系的系统不会太难，而且看了一下文档，大概了解了编译时会生成rpm包，而ubuntu又是有办法解压rpm...]]></description><category></category></item><item><title><![CDATA[[工具] 分布式系统下批量创建用户及分发公钥打通ssh通道的脚本]]></title><link>https://blog.youkuaiyun.com/dongang5198/article/details/101571484</link><guid>https://blog.youkuaiyun.com/dongang5198/article/details/101571484</guid><author>dongang5198</author><pubDate>Fri, 29 Nov 2013 13:25:00 +0800</pubDate><description><![CDATA[在分布式系统下偶尔会有这样的需求，要增加一个服务时，需要在集群的所有节点上创建同一个用户，然后打通ssh通道，再分发软件包、配置、执行命令、启动服务...
这个问题的根源是如何集中配置和管理系统，专业运维应使用如puppet等工具。但有时图简单或其它原因，不愿走puppet，这里给自己记几个简单的脚本备忘（前题条件：已经打通root的ssh通道，或另一个有sudo权限的用户）：
批量...]]></description><category></category></item></channel></rss>