<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[kathyaier的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/kathyaier</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; kathyaier]]></copyright><item><title><![CDATA[huggingface-BertModel/BertTokenizer]]></title><link>https://blog.youkuaiyun.com/kathyaier/article/details/124131941</link><guid>https://blog.youkuaiyun.com/kathyaier/article/details/124131941</guid><author>kathyaier</author><pubDate>Tue, 12 Apr 2022 20:03:05 +0800</pubDate><description><![CDATA[1. 模块导入


from transformers import BertTokenizer, BertModel

2. 定义模型


model = BertModel.from_pretrained("bert-base-uncased",output_hidden_states=True)

参数output_hidden_states=True，模型将输出每层encoder的句子隐层。

3. tokenizer


tokenizer = BertTokenizer.from_pretrai]]></description><category></category></item><item><title><![CDATA[云计算学习笔记7——分布式存储及计算]]></title><link>https://blog.youkuaiyun.com/kathyaier/article/details/121138098</link><guid>https://blog.youkuaiyun.com/kathyaier/article/details/121138098</guid><author>kathyaier</author><pubDate>Thu, 04 Nov 2021 12:22:56 +0800</pubDate><description><![CDATA[Hadoop生态系统

2005年，雅虎工程师，分布式计算系统Hadoop，后开源。采用MapReduce分布式计算框架，并根据GFS开发了HDFS分布式文件系统。

核心组件：

HDFS
	MapReduce
1. 分布式文件系统——GFS

1.1 GFS

超大规模分布式文件系统，即以文件系统的方式来组织海量数据。

代表工作：Goole的文件系统——GFS

GFS提供了海量非结构化信息的存储平台，提供数据的冗余备份，成千台服务器的自动负载均衡以及失效服务器检测等各种完备的分布式存储功能。
1.2]]></description><category></category></item><item><title><![CDATA[云计算学习笔记6——虚拟化技术]]></title><link>https://blog.youkuaiyun.com/kathyaier/article/details/121118355</link><guid>https://blog.youkuaiyun.com/kathyaier/article/details/121118355</guid><author>kathyaier</author><pubDate>Wed, 03 Nov 2021 16:13:16 +0800</pubDate><description><![CDATA[一、什么是虚拟化

理解1:把一台物理计算机虚拟成多台逻辑计算机，每个逻辑计算机里面可以运行不同的操作系统，相互不受影响，这样就可以充分利用硬件资源。
	理解2:一种资源管理（优化）技术，将计算机的各种物理资源（eg.CPU、内存等）予以抽象、转换，然后呈现出来的一个可供分割并任意组合为一个或多个（虚拟）计算机的配置环境。
	可以根据不同的对象类型进一步细分：
        1. 平台虚拟化：针对计算机和操作系统的虚拟化。

        2. 资源虚拟化：很对特定的系统...]]></description><category></category></item><item><title><![CDATA[云计算学习笔记5——集群资源调度策略]]></title><link>https://blog.youkuaiyun.com/kathyaier/article/details/121098309</link><guid>https://blog.youkuaiyun.com/kathyaier/article/details/121098309</guid><author>kathyaier</author><pubDate>Wed, 03 Nov 2021 09:52:50 +0800</pubDate><description><![CDATA[一、资源调度策略

多用户多作业的环境下，如何将集群资源在它们之间进行分配，需要特定的策略。

FIFO
	公平调度器
	能力调度器
	延迟调度策略
	主资源公平调度策略
1. FIFO

最简单的资源调度策略。
	提交的作业，按照提交时间先后顺序，或者优先级次序，将其放入线性队列相应位置，先进先出调度和分配资源。
	缺点：多用户场景下，新加入的作业容易出现长时间等待调度的现象。
2. 公平调度器

Facebook为Hadoop开发的多用户多作业调度器。
	用户的任务分配到多个资源池（pool）。
	每个]]></description><category></category></item><item><title><![CDATA[云计算学习笔记4——分布式集群资源管理]]></title><link>https://blog.youkuaiyun.com/kathyaier/article/details/121066081</link><guid>https://blog.youkuaiyun.com/kathyaier/article/details/121066081</guid><author>kathyaier</author><pubDate>Sun, 31 Oct 2021 18:00:23 +0800</pubDate><description><![CDATA[目录



1. 问题：集群资源如何管理？

2. 独立资源管理与调度系统的优势

3. 概念模型

4. 通用架构

4.1通用调度器

4.2 节点管理器

5. 设计一个合理的资源管理与调度系统需要考虑的问题

5.1 异质性

5.2 数据局部性（Data Locality）

5.3 抢占式和非抢占式

5.4 资源分配粒度

5.5 饿死和死锁

5.6 资源隔离方法

6. 三种资源管理和调度系统范型

6.1 集中式调度器

6.2 两级调度器 Two-Level Scheduler

..]]></description><category></category></item><item><title><![CDATA[云计算学习笔记3——分布式通信]]></title><link>https://blog.youkuaiyun.com/kathyaier/article/details/121051903</link><guid>https://blog.youkuaiyun.com/kathyaier/article/details/121051903</guid><author>kathyaier</author><pubDate>Sun, 31 Oct 2021 13:27:31 +0800</pubDate><description><![CDATA[分布式通信主要研究分布式系统中不同构件（子系统或者进程）之间的信息交换机制：

远程过程调用（RPC）
	消息队列
	多播通信
一、远程过程调用（RPC）

概念

许多分布式系统是在进程间显示地进行消息交换，RPC即可简化这一通信过程。

RPC允许调用位于网络中其他机器上的进程。

机器A上进程调用机器B上进程时，A上进程被挂起，B上被调用进程开始执行，调用方可以通过参数将信息传递给被调用方，然后通过B上的进程返回的结果得到所需的信息。

RPC就是要像调用本地的函数一样去调用远程函数。

RPC过程中]]></description><category></category></item><item><title><![CDATA[云计算学习笔记2——分布式计算]]></title><link>https://blog.youkuaiyun.com/kathyaier/article/details/121042609</link><guid>https://blog.youkuaiyun.com/kathyaier/article/details/121042609</guid><author>kathyaier</author><pubDate>Fri, 29 Oct 2021 21:21:20 +0800</pubDate><description><![CDATA[分布式系统：由若干通过网络互联的计算机组成的软硬件系统，且这些计算机互相配合以完成一个共同的目标。（项目）

分布式计算：在分布式系统上执行的计算。分布式计算是将一个大型计算任务分成很多部分分别交给其他计算机处理，并将所有的计算结果合并为原问题的解决方案。这里与并行计算不同的是，并行计算是使用多个处理器并执行单个计算。

分布式计算经典项目：寻找外星人：SETI@home

分布式计算的宽泛定义：凡事基于分布式计算原理的所有永远，……

分布式架构/分布式系统

服务端高并发分布式架构演进——淘宝为例

单]]></description><category></category></item><item><title><![CDATA[云计算学习笔记1——并行计算]]></title><link>https://blog.youkuaiyun.com/kathyaier/article/details/121000189</link><guid>https://blog.youkuaiyun.com/kathyaier/article/details/121000189</guid><author>kathyaier</author><pubDate>Wed, 27 Oct 2021 20:40:13 +0800</pubDate><description><![CDATA[一、并行计算概念

基本思想：用多个处理器来协同求解同一问题。

并行计算系统形式：含有多个处理器的超级计算机or以某种方式互连的若干台独立计算构成的集群。

二、Flynn分类法

概念：Michael.J.Flynn提出的根据指令流/数据流的多倍性特性对计算机系统进行分类的方法。

指令流：机器执行的指令序列
	数据流：由指令流调用的数据序列，包括输入数据和中间结果
4类：SISD，SIMD，MISD，MIMD

SISD 单指令流单数据流

传统的顺序执行的单处理器计算机



SIMD 单指令流多数]]></description><category></category></item></channel></rss>