<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[]]></title><description><![CDATA[Everything should be made as simple as possible, but no simpler]]></description><link>https://blog.youkuaiyun.com/cnweike</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; cnweike]]></copyright><item><title><![CDATA[使用HDFS FileSystem实例时应该注意的问题]]></title><link>https://blog.youkuaiyun.com/cnweike/article/details/117111094</link><guid>https://blog.youkuaiyun.com/cnweike/article/details/117111094</guid><author>cnweike</author><pubDate>Fri, 21 May 2021 11:22:32 +0800</pubDate><description><![CDATA[概述

对于通过编程，使用API来对HDFS进行操作的场景，其中一个需要考虑的问题是如何管理FileSystem实例（确切地说是DistributedFileSystem实例），通过查询文档，发现它是线程安全的



但是这里的“线程安全”是指客户端的操作（创建文件夹、删除文件夹、创建文件...），但是FileSystem实例本身在不同线程间共享，却不是“安全”的。如果有两个线程使用同一个FileSystem实例进行操作，那么在线程任务中一定不能调用FileSystem实例的close方法，因为关闭之后，另]]></description><category></category></item><item><title><![CDATA[有了HTTP/2，Websocket还有市场吗？]]></title><link>https://blog.youkuaiyun.com/cnweike/article/details/116056371</link><guid>https://blog.youkuaiyun.com/cnweike/article/details/116056371</guid><author>cnweike</author><pubDate>Fri, 23 Apr 2021 15:01:38 +0800</pubDate><description><![CDATA[互联网所依赖的协议正——HTTP，正处于一个重大的转变之中。这个转变带来了大量的疑问和关切，关于HTTP/2，正面负面的评价都有。尽管HTTP/2带来了很多新的能力，但是它并不能完全取代现有的推送技术和流技术。



关于HTTP/2，第一个需要注意的点是，它并非HTTP的完全替代品。动词、状态码和多数的头和现在保持一致。HTTP/2旨在提高数据在网络上的传输效率。



先看一下它同HTTP/1.x的关键不同之处，以及其解决的相关问题：

HTTP/2是二进制协议，HTTP 1.x是文本协议。二进制协..]]></description><category></category></item><item><title><![CDATA[理解Celery的worker]]></title><link>https://blog.youkuaiyun.com/cnweike/article/details/105840936</link><guid>https://blog.youkuaiyun.com/cnweike/article/details/105840936</guid><author>cnweike</author><pubDate>Wed, 29 Apr 2020 20:21:20 +0800</pubDate><description><![CDATA[Celery是一个异步任务队列系统，利用它，可以将繁重的工作分配到多台服务器上执行，使水平扩展处理能力成为可能。worker是Celery的核心的执行模型，对其进行比较全面的理解，对于更加有信心地使用Celery会有很大的好处。

worker的类型

顾名思义，worker就是做具体工作的实体。为了便于理解，可以将worker同一台服务器对应（也就是在一台服务器上运行一个worker。当然，这里...]]></description><category></category></item><item><title><![CDATA[uWSGI订阅服务器]]></title><link>https://blog.youkuaiyun.com/cnweike/article/details/104050217</link><guid>https://blog.youkuaiyun.com/cnweike/article/details/104050217</guid><author>cnweike</author><pubDate>Mon, 20 Jan 2020 14:13:40 +0800</pubDate><description><![CDATA[uWSGI栈的一些组建需要一个键值映射系统。

比如，The uWSGI FastRouter需要知道某个请求要发到哪个服务器上。

在一个具有很多节点的网络中，手工维护这个配置会是地狱一般的体验。uWSGI实现了一个订阅系统，节点可以利用这个订阅系统向订阅服务器声明其存在，这样就会反过来填充订阅服务器的内部字典。


uwsgi --fastrouter :1717 --fastrouter-s...]]></description><category></category></item><item><title><![CDATA[Python中的上下文管理器]]></title><link>https://blog.youkuaiyun.com/cnweike/article/details/95206499</link><guid>https://blog.youkuaiyun.com/cnweike/article/details/95206499</guid><author>cnweike</author><pubDate>Tue, 09 Jul 2019 16:52:40 +0800</pubDate><description><![CDATA[Python中的上下文管理器，实际上就是实现了上下文管理协议的对象。在Python中打开文件的时候，我们需要确保文件被使用完毕之后，对其进行关闭操作——调用文件对象的close()方法。如果不使用上下文管理器，经典的处理方式就是将close()方法的调用放在一个finally语句中：


f = open("www.log")

try:
    print("do something with ...]]></description><category></category></item><item><title><![CDATA[Python中的迭代器]]></title><link>https://blog.youkuaiyun.com/cnweike/article/details/92798294</link><guid>https://blog.youkuaiyun.com/cnweike/article/details/92798294</guid><author>cnweike</author><pubDate>Tue, 18 Jun 2019 20:04:30 +0800</pubDate><description><![CDATA[以下是Python文档中对于迭代器类型的描述


Python有一个在容器上进行迭代的概念。其实现需要两个方法来支持；这让用户自己定义的类也可以支持迭代。序列类型都支持迭代方法。

容器对象需要提供一个方法来提供对于迭代的支持：

container.__iter__()：这个方法返回一个迭代器对象。这个对象必须支持后面所描述的迭代器协议。如果一个容器要支持不同类型的迭代，则可以提供额外的方法来专...]]></description><category></category></item><item><title><![CDATA[理解Python中的生成器]]></title><link>https://blog.youkuaiyun.com/cnweike/article/details/90247071</link><guid>https://blog.youkuaiyun.com/cnweike/article/details/90247071</guid><author>cnweike</author><pubDate>Wed, 15 May 2019 23:26:10 +0800</pubDate><description><![CDATA[Python生成器是什么？

先说一下生成器函数，抽象地说，生成器函数就是一个顺序执行过程的抽象。具体地说，它就是一种特殊的函数，这种特殊性源于这个函数中出现了一个yield关键字。解释器在发现函数中有yield关键字时，将这个函数标记为一个生成器函数，其执行的结果会返回一个生成器，而这个生成器是支持迭代器协议的。

创建一个生成器函数

生成器函数的创建是非常简单的：


In [1]: def...]]></description><category></category></item><item><title><![CDATA[语义网组件]]></title><link>https://blog.youkuaiyun.com/cnweike/article/details/81534985</link><guid>https://blog.youkuaiyun.com/cnweike/article/details/81534985</guid><author>cnweike</author><pubDate>Mon, 08 Oct 2018 14:16:53 +0800</pubDate><description><![CDATA[结构化数据处理依赖于对某个知识领域（感兴趣的领域、学科）内的概念、术语和关系进行描述的技术。知识表示和推理被用来在AI中以机器可读的形式表示信息的，计算机系统可以利用这些信息完成复杂的任务。分类学和受控词表是术语的结构化集合，可以将它们作为元数据元素值来使用。比如，一个事件词汇可以被用来以机器可读的形式来表述音乐会、演讲和节日，而一个组织词汇适用于产出关于一个学校、一个公司或一个俱乐部的机器可读的...]]></description><category></category></item><item><title><![CDATA[Python小技巧5：需要动态生成列表的时候，考虑使用生成器替代]]></title><link>https://blog.youkuaiyun.com/cnweike/article/details/80953741</link><guid>https://blog.youkuaiyun.com/cnweike/article/details/80953741</guid><author>cnweike</author><pubDate>Sat, 07 Jul 2018 19:02:08 +0800</pubDate><description><![CDATA[典型代码:def mygen():
    i = 0
    while i &amp;lt; 100:
        yield i
        i += 1


if __name__ == '__main__':
    gen = mygen()
    for item in gen:
        print(item)什么是生成器：生成器是一个包含yield表达式的函数，只要一个函...]]></description><category></category></item><item><title><![CDATA[Python中使用threading.Condition交替打印两个字符的程序]]></title><link>https://blog.youkuaiyun.com/cnweike/article/details/80939225</link><guid>https://blog.youkuaiyun.com/cnweike/article/details/80939225</guid><author>cnweike</author><pubDate>Sat, 07 Jul 2018 01:12:27 +0800</pubDate><description><![CDATA[这个程序涉及到两个线程的的协调问题，两个线程为了能够相互协调运行，必须持有一个共同的状态，通过这个状态来维护两个线程的执行，通过使用threading.Condition对象就能够完成两个线程之间的这种协调工作。

threading.Condition默认情况下会通过持有一个ReentrantLock来协调线程之间的工作，所谓可重入锁，是只一个可以由一个线程递归获取的锁，此锁对象会维护当前锁的所...]]></description><category></category></item><item><title><![CDATA[Hive应用性能优化]]></title><link>https://blog.youkuaiyun.com/cnweike/article/details/80894332</link><guid>https://blog.youkuaiyun.com/cnweike/article/details/80894332</guid><author>cnweike</author><pubDate>Tue, 03 Jul 2018 11:42:36 +0800</pubDate><description><![CDATA[1. 将表分区（Partitioned Table）通过将表划分为相互独立的分区，对应于HDFS上相互独立数据目录，在查询时通过指定分区列上的条件，将读取数据的范围限定在关心的数据上，而不需要读取全表数据，继而提升查询性能；通过CREATE TABLE语句实现。2. 分桶（Bucked Table）所谓分桶就是将表中的内容以某列为基准，对所指定的桶的个数N进行模运算，继而将数据划分成N份，对应于H...]]></description><category></category></item><item><title><![CDATA[实现一个非确定性下推自动机（NDPDA - None-Deterministic PushDown Automaton）]]></title><link>https://blog.youkuaiyun.com/cnweike/article/details/80229413</link><guid>https://blog.youkuaiyun.com/cnweike/article/details/80229413</guid><author>cnweike</author><pubDate>Mon, 07 May 2018 19:58:35 +0800</pubDate><description><![CDATA[一个非确定下推自动机，是一个在有限状态机的基础上，辅之以一个栈数据结构作为外部存储，而非确定性来自于DPDA每一步计算后，其机器配置的不确定性。一个应用DPDA的典型例子是确定一个字符串是否是回文字符串，类似于aba, abba, babbaabbab等。下面我们就使用Python语言来一步步来实现一个简单的对于DPDA的模拟。我们实现DPDA的第一步，首先要抽象出一个栈的数据结构，而为了保证每次...]]></description><category></category></item><item><title><![CDATA[uWSGI Preforking对比lazy-apps 和lazy]]></title><link>https://blog.youkuaiyun.com/cnweike/article/details/79611041</link><guid>https://blog.youkuaiyun.com/cnweike/article/details/79611041</guid><author>cnweike</author><pubDate>Mon, 19 Mar 2018 14:17:34 +0800</pubDate><description><![CDATA[这是uWSGI项目有争议的选项之一。默认情况下，uWSGI会在第一个启动的进程中加载整个应用，并在加载完毕之后，会将自己多次fork()。这是常见的Unix模式，这能够显著降低应用的内存使用量，允许使用一些有趣的技巧，同时对于某些语言来说，这也会给你带来一些令人头疼的问题。虽然它的名字，uWSGI，来自于一个Perl应用服务器（但不叫uWSGI，也没有开源），在Perl的世界中，preforkin...]]></description><category></category></item><item><title><![CDATA[映射类型（mapping type）从Elasticsearch中移除]]></title><link>https://blog.youkuaiyun.com/cnweike/article/details/79223542</link><guid>https://blog.youkuaiyun.com/cnweike/article/details/79223542</guid><author>cnweike</author><pubDate>Thu, 01 Feb 2018 00:38:02 +0800</pubDate><description><![CDATA[原文：https://www.elastic.co/guide/en/elasticsearch/reference/current/removal-of-types.html


注意：在Elasticsearch6.0.0或者或者更新版本中创建的索引只会包含一个映射类型（mappingtype）。在5.x中创建的具有多个映射类型的索引在Elasticsearch6.x中依然会正常工作。在]]></description><category></category></item><item><title><![CDATA[【备忘】：fetch API获取返回值的方式]]></title><link>https://blog.youkuaiyun.com/cnweike/article/details/74012249</link><guid>https://blog.youkuaiyun.com/cnweike/article/details/74012249</guid><author>cnweike</author><pubDate>Fri, 30 Jun 2017 21:32:58 +0800</pubDate><description><![CDATA[使用fetch API来做后端请求，相比较传统的Ajax方式，在写出的代码上更加容易理解，也更便于别人看懂。但是在使用的过程中，经常有同学不能顺利从传统的Ajax请求（如果使用jquery的话，就是$.ajax,$.post,$.get）转移到新的fetch方式，很多时候就是卡在了获取响应数据的环节上。


用fetch来获取数据，如果响应正常返回，我们首先看到的是一个response对象，]]></description><category></category></item><item><title><![CDATA[Nginx允许跨域访问的配置问题]]></title><link>https://blog.youkuaiyun.com/cnweike/article/details/73623061</link><guid>https://blog.youkuaiyun.com/cnweike/article/details/73623061</guid><author>cnweike</author><pubDate>Fri, 23 Jun 2017 16:01:13 +0800</pubDate><description><![CDATA[如今前后端分离的模式，越来越成为很多团队的选择，通过分离前后端的工作，是的双方更能关注于自己核心的工作领域，只需要通过相应的API接口进行交互。


前后端工作的分离带来的一个问题就是前后端在部署上分离的可能性，在部署上的分离又会触发浏览器安全机制——同源策略，从而导致不能访问非同域的资源。同样要解决跨域访问的问题，网上的解决方案也有很多，就是在跨域资源的响应中，加上允许跨域访问头信息即可。]]></description><category></category></item><item><title><![CDATA[Python：从subprocess运行的子进程中实时获取输出]]></title><link>https://blog.youkuaiyun.com/cnweike/article/details/73620250</link><guid>https://blog.youkuaiyun.com/cnweike/article/details/73620250</guid><author>cnweike</author><pubDate>Fri, 23 Jun 2017 12:25:14 +0800</pubDate><description><![CDATA[有些时候，我们需要将某些程序放到子进程中去运行，以达到整合系统的目的。在Python中，一个非常好的选择就是使用subprocess模块，本模块为开辟子进程去执行子程序提供了统一的接口，更加便于学习和使用。

 

同时，对于在子进程里的程序，我们希望能够实时获取其输出，以在主进程中打印相关信息，使我们能够了解当前子程序的执行进度。对此，subprocess模块也提供了相应的参数，能够将子程序的标...]]></description><category></category></item><item><title><![CDATA[通过Python3.5来学习几种不同的IO模型]]></title><link>https://blog.youkuaiyun.com/cnweike/article/details/53339256</link><guid>https://blog.youkuaiyun.com/cnweike/article/details/53339256</guid><author>cnweike</author><pubDate>Mon, 28 Nov 2016 23:04:08 +0800</pubDate><description><![CDATA[计算机的核心资源，基本上就是CPU和内存。我们下面的讨论可以假定CPU只有一个物理核心。


从目前的情况看，CPU很快，IO很慢，即使是物理内存也很慢，否则就不需要CPU设置多层的高速cache了。


CPU主要快在哪里？1、频率；2、指令执行效率，这里主要是硬件级别的指令分阶段并行优化。


所以要充分利用CPU的指令来完成我们的计算任务。对于一个物理CPU来说，每时每刻只]]></description><category></category></item><item><title><![CDATA[Python小技巧 4：利用字典的默认行为]]></title><link>https://blog.youkuaiyun.com/cnweike/article/details/53049059</link><guid>https://blog.youkuaiyun.com/cnweike/article/details/53049059</guid><author>cnweike</author><pubDate>Sun, 06 Nov 2016 00:01:17 +0800</pubDate><description><![CDATA[典型代码1：
from collections import defaultdict


if __name__ == '__main__':
	data = defaultdict(int)
	data[0] += 1
	print(data)
输出1:
defaultdict(, {0: 1})
典型代码2:
if __name__ == '__main__':
	data = {']]></description><category></category></item><item><title><![CDATA[Python小技巧 3：列表项的排序]]></title><link>https://blog.youkuaiyun.com/cnweike/article/details/52910900</link><guid>https://blog.youkuaiyun.com/cnweike/article/details/52910900</guid><author>cnweike</author><pubDate>Mon, 24 Oct 2016 13:53:18 +0800</pubDate><description><![CDATA[典型代码1：
data_list = [6, 9, 1, 3, 0, 10, 100, -100]
data_list.sort()
print(data_list)
输出1:
[-100, 0, 1, 3, 6, 9, 10, 100]
典型代码2:
data_list = [6, 9, 1, 3, 0, 10, 100, -100]
data_list_copy = sorted(d]]></description><category></category></item></channel></rss>