<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[snowleafzf的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/snowleafzf</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; snowleafzf]]></copyright><item><title><![CDATA[调度器优化笔记]]></title><link>https://blog.youkuaiyun.com/snowleafzf/article/details/93382785</link><guid>https://blog.youkuaiyun.com/snowleafzf/article/details/93382785</guid><author>snowleafzf</author><pubDate>Tue, 21 Dec 2021 16:14:39 +0800</pubDate><description><![CDATA[总体思想是将集群配置优化过程建模为马尔科夫过程，通过训练DRL代理来动态优化集群调度器配置。

目的是使作业等待时间最短，提高资源利用效率。

模型部分

经验部分：

使用的Prioritized DDQN中的思想，方法是使用sumtree，有价值的样本被选定的概率越大。



sumtree如下图所示



Dueling DDQN：

状态价值估计和优势函数估计是通过构建网络结构分离的，其学...]]></description><category></category></item><item><title><![CDATA[DDPG笔记（归纳总结）]]></title><link>https://blog.youkuaiyun.com/snowleafzf/article/details/85620822</link><guid>https://blog.youkuaiyun.com/snowleafzf/article/details/85620822</guid><author>snowleafzf</author><pubDate>Tue, 21 Dec 2021 16:12:27 +0800</pubDate><description><![CDATA[Deep Deterministic Policy Gradient：DDPG就是用了确定性策略在DPG基础上结合DQN的特点建议改进出来的算法

大体上理解：

https://www.jianshu.com/p/6fe18d0d8822

https://blog.youkuaiyun.com/qq_30615903/article/details/80776715

DQN可以应对高维输入，而对高维的动...]]></description><category></category></item><item><title><![CDATA[python笔记-编程优化NO3（阅读笔记-流畅的python）+【字节内推】]]></title><link>https://blog.youkuaiyun.com/snowleafzf/article/details/106675462</link><guid>https://blog.youkuaiyun.com/snowleafzf/article/details/106675462</guid><author>snowleafzf</author><pubDate>Thu, 30 Jul 2020 18:46:45 +0800</pubDate><description><![CDATA[1.闭包+修饰器

2.__repr__和__str__

3.拆包相关

4.字典相关



1.闭包+修饰器

闭包：一个函数包含了一个函数，并且返回了那个函数。在修饰器中用的很多。

修饰器：修饰器是一个函数,接受一个函数或方法作为其唯一的参数,并返回一个新函数或方法,其中整合了修饰后的函数或方法,并附带了一些额外的功能.


#闭包
def outer():
    x = 10

    def inner():   # 内部函数
        print(x)    # 外部函数的一个变量
.]]></description><category></category></item><item><title><![CDATA[python笔记-编程优化NO2（简化）]]></title><link>https://blog.youkuaiyun.com/snowleafzf/article/details/106482569</link><guid>https://blog.youkuaiyun.com/snowleafzf/article/details/106482569</guid><author>snowleafzf</author><pubDate>Wed, 10 Jun 2020 21:24:18 +0800</pubDate><description><![CDATA[1.f-string（3.6之后有，3.8有改动）

2.不定长度传参



1.f-string

f-string 格式化字符串以 f 开头，后面跟着字符串，字符串中的表达式用大括号 {} 包起来，它会将变量或表达式计算后的值替换进去


&gt;&gt;&gt; name = 'Runoob'
&gt;&gt;&gt; f'Hello {name}'  # 替换变量

&gt;&gt;&gt; f'{1+2}'         # 使用表达式
'3'

&gt;&gt;&gt; w = {'name.]]></description><category></category></item><item><title><![CDATA[python笔记-编程优化NO1（简化）]]></title><link>https://blog.youkuaiyun.com/snowleafzf/article/details/106481345</link><guid>https://blog.youkuaiyun.com/snowleafzf/article/details/106481345</guid><author>snowleafzf</author><pubDate>Mon, 01 Jun 2020 21:26:12 +0800</pubDate><description><![CDATA[1.with

2.异常（raise，assert）

3.lambda匿名函数

4.filter函数



1.with

python中的with语句使用于对资源进行访问的场合，保证不管处理过程中是否发生错误或者异常都会执行规定的__exit__（“清理”）操作，释放被访问的资源，比如有文件读写后自动关闭、线程中锁的自动获取和释放等。

eg：


with A() as X:
    with B() as Y:
        with C() as Z:
            with-bo.]]></description><category></category></item><item><title><![CDATA[面试题——常识题，Java，Mysql（逐步更新）]]></title><link>https://blog.youkuaiyun.com/snowleafzf/article/details/100553423</link><guid>https://blog.youkuaiyun.com/snowleafzf/article/details/100553423</guid><author>snowleafzf</author><pubDate>Thu, 05 Sep 2019 11:01:45 +0800</pubDate><description><![CDATA[常识+Java+mysql

常识

1.进程线程区别：

根本区别：进程是操作系统资源分配的基本单位，而线程是任务调度和执行的基本单位

在开销方面：每个进程都有独立的代码和数据空间（程序上下文），程序之间的切换会有较大的开销；线程可以看做轻量级的进程，同一类线程共享代码和数据空间，每个线程都有自己独立的运行栈和程序计数器（PC），线程之间切换的开销小。

所处环境：在操作系统中能同时运行多个进...]]></description><category></category></item><item><title><![CDATA[面试题&笔试归纳——个人笔记（常见问题，逐步更新）]]></title><link>https://blog.youkuaiyun.com/snowleafzf/article/details/87928793</link><guid>https://blog.youkuaiyun.com/snowleafzf/article/details/87928793</guid><author>snowleafzf</author><pubDate>Tue, 20 Aug 2019 11:02:23 +0800</pubDate><description><![CDATA[算法题：

出栈种类：卡特兰数，1，1，2，5，14，42.。。。



常识类：

虚拟内存：


虚拟内存隔离了各个进程的内存空间，虚拟内存可以防止应用程序直接访问物理地址。

SCAN调度(电梯调度)算法，优先满足扫描方向的请求。


Cookie是Web服务器发送给客户端的一小段信息，客户端请求时，可以读取该信息发送到服务器端



协议类：



GBN协议：帧0、1、2、3均已正...]]></description><category></category></item><item><title><![CDATA[Linux常用指令（持续补充）]]></title><link>https://blog.youkuaiyun.com/snowleafzf/article/details/97521925</link><guid>https://blog.youkuaiyun.com/snowleafzf/article/details/97521925</guid><author>snowleafzf</author><pubDate>Wed, 31 Jul 2019 14:43:09 +0800</pubDate><description><![CDATA[指令+快捷键

1.scp [-r] username@ip:/path/file /path :scp上传或者下载 从第一个复制到第二个

2. 查询语句

    top：查看资源使用情况（内存，cpu），htop类似小工具

        -d &lt;time&gt; 每隔time秒显示所有进程的资源占用情况

        -c每隔5秒...]]></description><category></category></item><item><title><![CDATA[一、LeetCode——求和问题]]></title><link>https://blog.youkuaiyun.com/snowleafzf/article/details/92089219</link><guid>https://blog.youkuaiyun.com/snowleafzf/article/details/92089219</guid><author>snowleafzf</author><pubDate>Wed, 19 Jun 2019 10:46:51 +0800</pubDate><description><![CDATA[求和问题笔记，后续会补充=-=

求和相关问题

最简单的两数求和==target问题


class Solution {
    public int[] twoSum(int[] nums, int target) {
        int length = nums.length;
        
        for(int i = 0; i &lt; length; i++){ ...]]></description><category></category></item><item><title><![CDATA[java学习笔记（五）——并行程序]]></title><link>https://blog.youkuaiyun.com/snowleafzf/article/details/90599671</link><guid>https://blog.youkuaiyun.com/snowleafzf/article/details/90599671</guid><author>snowleafzf</author><pubDate>Wed, 12 Jun 2019 15:58:44 +0800</pubDate><description><![CDATA[并行程序设计模式+并发数据结构+多线程常用知识（executor，中断等）

大量相互独立且同类的任务进行并发处理，会将程序的任务量分配到不同的任务中，这样才能真正获得性能的提升。——《java并发编程实践》

多线程访问同一个变量，没有正确的同步，有三个方法：

不使用跨线程共享变量
	使变量不可变
	任何访问状态变量的时候使用同步
线程安全

1.不要让this引用在构造期间逸出。如果在构造期...]]></description><category></category></item><item><title><![CDATA[java学习笔记（四）——深入理解JVM]]></title><link>https://blog.youkuaiyun.com/snowleafzf/article/details/90370764</link><guid>https://blog.youkuaiyun.com/snowleafzf/article/details/90370764</guid><author>snowleafzf</author><pubDate>Sat, 25 May 2019 17:27:28 +0800</pubDate><description><![CDATA[jvm运行内存划分+部分GC知识+锁



下图来自：https://blog.youkuaiyun.com/marvel__dead/article/details/69220153









在JDK1.7 字符串常量池被从方法区拿到了堆中, 这里没有提到运行时常量池,也就是说字符串常量池被单独拿到堆,运行时常量池剩下的东西还在方法区, 也就是hotspot中的永久代

在JDK1.8 hotsp...]]></description><category></category></item><item><title><![CDATA[java学习笔记（三）——设计优化]]></title><link>https://blog.youkuaiyun.com/snowleafzf/article/details/90258241</link><guid>https://blog.youkuaiyun.com/snowleafzf/article/details/90258241</guid><author>snowleafzf</author><pubDate>Sat, 25 May 2019 17:25:55 +0800</pubDate><description><![CDATA[主要内容是ehcache，字符串优化，核心数据结构（有concurrenthashmap）+部分代码优化方法

1.ehcache

首先buffer(缓冲区)与cache(缓存区)都是内存的一块区域
buffer是将多个待写入磁盘的数据在此区域缓冲一下然后在某时刻一次性写入到磁盘中,这样可以大大减少对于磁盘设备的IO操作.
cache是将磁盘中经常被访问的数据放入到缓存区,那么访问此类数据就不需...]]></description><category></category></item><item><title><![CDATA[java学习笔记（二）——设计模式（享元，观察）]]></title><link>https://blog.youkuaiyun.com/snowleafzf/article/details/90043304</link><guid>https://blog.youkuaiyun.com/snowleafzf/article/details/90043304</guid><author>snowleafzf</author><pubDate>Thu, 16 May 2019 10:21:06 +0800</pubDate><description><![CDATA[各个设计模式：https://www.runoob.com/design-pattern/decorator-pattern.html

1.享元模式

一般结合工厂模式一起使用，在结构里包含一个享元工厂。

享元模式是为了节约内存空间，提升程序性能（避免大量的new操作）；而单例模式则主要是出于共享状态的目的

单例模式：主要是在全局范围内提供唯一的对象访问接口(框架里面使用的特别多)享元模式：...]]></description><category></category></item><item><title><![CDATA[java学习笔记（一）——设计模式（单例，代理）]]></title><link>https://blog.youkuaiyun.com/snowleafzf/article/details/89678532</link><guid>https://blog.youkuaiyun.com/snowleafzf/article/details/89678532</guid><author>snowleafzf</author><pubDate>Thu, 09 May 2019 10:13:57 +0800</pubDate><description><![CDATA[https://www.runoob.com/design-pattern/design-pattern-intro.html所有设计模式

主要内容有单例模式和代理模式以及动态代理所涉及到的反射，泛型等。

1.单例模式

https://www.cnblogs.com/tangxiao1996/p/7899393.html

系统中一个类只产生一个实例：

可以节省创建对象所花费的时间，尤其...]]></description><category></category></item><item><title><![CDATA[三、Hadoop权威指南学习（YARN）]]></title><link>https://blog.youkuaiyun.com/snowleafzf/article/details/88221787</link><guid>https://blog.youkuaiyun.com/snowleafzf/article/details/88221787</guid><author>snowleafzf</author><pubDate>Mon, 01 Apr 2019 18:55:20 +0800</pubDate><description><![CDATA[部分基础以及yarn sls：https://mp.youkuaiyun.com/postedit/83991164

yarn应用可以在运行中的任意时刻提出资源申请。1.在最开始提出所有请求（spark）；2.为了满足不断变化的应用需要采取根伟动态的方式在需要更多资源时提出请求。

yarn应用的生命周期：

1.一个用户作业对应一个应用（MapReduce）

2.作业的每个工作流或每个用户对话对应一个应...]]></description><category></category></item><item><title><![CDATA[二、Hadoop权威指南学习（HDFS）]]></title><link>https://blog.youkuaiyun.com/snowleafzf/article/details/88104088</link><guid>https://blog.youkuaiyun.com/snowleafzf/article/details/88104088</guid><author>snowleafzf</author><pubDate>Tue, 05 Mar 2019 15:53:16 +0800</pubDate><description><![CDATA[Hadoop distributed filesystem：以流式数据访问模式来存储超大文件。一次写入、多次读取。

流式数据访问每次读取都将涉及到数据集的大部分数据甚至全部。（为了读取很大的文件）
	商用硬件
	低时间延迟 不适合在HDFS上运行，HDFS是为搞数据吞吐量应用优化的，这可能会以提高实践延迟为代价。HBase更适合低延迟访问需求。
	大量小文件 无法高效的存储大量小文件
	多...]]></description><category></category></item><item><title><![CDATA[一、Hadoop权威指南学习（理论，1-2章）]]></title><link>https://blog.youkuaiyun.com/snowleafzf/article/details/88076356</link><guid>https://blog.youkuaiyun.com/snowleafzf/article/details/88076356</guid><author>snowleafzf</author><pubDate>Mon, 04 Mar 2019 10:40:45 +0800</pubDate><description><![CDATA[第二步中，建立了一个临时文件夹hdfs://...JOB129330，在之后会删除

第三步中，将工程打包上传



一、MapReduce

来自：https://www.cnblogs.com/baalhuo/p/5762087.html

 MapReduce中的每个map任务可以细分4个阶段：record reader、mapper、combiner和partitioner。ma...]]></description><category></category></item><item><title><![CDATA[pytorch学习笔记（更新中）]]></title><link>https://blog.youkuaiyun.com/snowleafzf/article/details/86681756</link><guid>https://blog.youkuaiyun.com/snowleafzf/article/details/86681756</guid><author>snowleafzf</author><pubDate>Sun, 03 Mar 2019 19:52:32 +0800</pubDate><description><![CDATA[pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/notes/autograd/

https://ptorch.com/docs/8/

一、动态图

https://blog.youkuaiyun.com/qjk19940101/article/details/79557866

二、变量

tensor的建立：

随机创立tensor：htt...]]></description><category></category></item><item><title><![CDATA[python基础-环境（conda，git。。。）]]></title><link>https://blog.youkuaiyun.com/snowleafzf/article/details/85267831</link><guid>https://blog.youkuaiyun.com/snowleafzf/article/details/85267831</guid><author>snowleafzf</author><pubDate>Sun, 03 Mar 2019 19:50:39 +0800</pubDate><description><![CDATA[1.字符串相关
str = ‘0123456789’
print str[0:3] #截取第一位到第三位的字符
print str[:] #截取字符串的全部字符
print str[6:] #截取第七个字符到结尾
print str[:-3] #截取从头开始到倒数第三个字符之前
print str[2] #截取第三个字符
print str[-1] #截取倒数第一个字符
print str[::...]]></description><category></category></item><item><title><![CDATA[二、DRL系列-Dueling DDQN+Prioritized DDQN+A3C+distributional DQN（学习笔记）]]></title><link>https://blog.youkuaiyun.com/snowleafzf/article/details/86750677</link><guid>https://blog.youkuaiyun.com/snowleafzf/article/details/86750677</guid><author>snowleafzf</author><pubDate>Thu, 21 Feb 2019 20:14:58 +0800</pubDate><description><![CDATA[rainbow的所有模型：

https://blog.youkuaiyun.com/philthinker/article/details/81043882

rainbow论文中文简介：http://www.sohu.com/a/198378840_642762

rainbow Tensorflow代码：https://github.com/google/dopamine/blob/master/dop...]]></description><category></category></item></channel></rss>