weixin_36228538的博客

一、什么是ProtobufProtobuf是一个序列化工具，可以进行高效的序列化，可以将类/结构体(structured data)序列化成二进制。其实，Protobuf就是一个编译器，它将我们写好的.proto文件进行编译，得到目标语言的代码文件，文件中包括根据.proto文件生成的structured data，以及对这些structured data进行系列化和反序列化的函数。二、Python使用Protobuf三、Golang使用Protobuf使用步骤：下载Protobuf 编译器：

字面量字面量：直接在源代码里书写的‘值’，例如：整数字面量：10，34L浮点数字面量：3.14， 4.56F布尔型字面量：false, true字符串字面量：“hello world”字符字面量：‘A’, ‘\u0045’, ‘’’(转义）变量scala声明一个变量的基本语法：val 变量名：变量类型 = 初始值var 变量名：变量类型 = 初始值初始值可以是字...

Listscala> val strList = List("Hadoop", "Spark", "Flink")strList: List[String] = List(Hadoop, Spark, Flink)# head返回列表第一个元素的值scala> strList.headres45: String = Hadoop# tail返回列表除第一个元素以外的其他...

使用Python内置的open()函数，传入文件名和标示符，即可以打开一个文件进行读或者写，若文件以‘UTF-8’编码（默认），标示符采用’r’读，‘w’写，若文件是二进制文件（例如：图像，视频），采用’rb’读，‘wb‘写。 open函数返回打开的文件对象。注意：以'w'模式写入文件时，如果文件已存在，会直接覆盖（相当于删掉后新写入一个文件）。如果我们希望追加到文件末尾怎么办？可以传入'a'...

python函数可以定义下面几种参数：位置参数默认参数可变参数关键字参数可变关键字参数python中函数名其实就是指向一个函数对象的引用，完全可以把函数名赋给一个变量，相当于给这个函数起了一个“别名”：>>> a = abs # 变量a指向abs函数>>> a(-1) # 所以也可以通过a调用abs函数11 默认参数默认参数必须执行...

python中的变量是没有类型的，有类型的是“对象”，而不是变量变量没有类型，那么就意味着它可以随意指向任何对象。python中的变量相当于一个指针。可变对象：list dict set不可变对象：tuple string int float bool变量赋值当将一个变量a赋值给另一个变量b时，无论变量a指向的是可变对象还是不可变对象，变量b指向变量a指向的对象。例：>&gt...

MPI = Message Passing Interface是一组由学术界和工业界联合发展的、面向主流并行计算机的、标准化和可移植的消息传递接口标准。定义了若干核心库函数的语法和涵义;独立于编程语言，支持 C/C++、Fortran 语言的绑定;独立于平台，学术界和厂商发展了若干高效、可靠的实现版;支撑和推动了高性能计算软硬件生态的发展。MPI的一个主要的实现版本：MPICH。...

概念节点 (node):指一台完整的主机，可以认为是服务器的别名。例 如:管理节点，计算节点，GPU 节点。集群 (cluster)：一组节点 (node) 经过局域网互联形成的计算机群。 节点之间相互通信有比较低的延迟。作业调度系统–SLURM本质目标:在用户程序互不影响的条件下让各个程序按照指定的规则运行。用户只需要提交任务，不需要实时盯着屏幕看，非常适合批处理或离线任务。SLUR...

HadoopHadoop是一个实现了MapReduce和GFS技术的开源平台。Hadoop 1.x项目包含了许多子项目，最主要的两个子项目是HDFS和MapReduce,HDFS（Hadoop分布式文件系统）是一个可以存储极大数据集的文件系统，建立在通过向外拓展方式构建的主机集群上。MapReduce是一个数据处理范式，应用于任意规模的大数据集。MapReduce任务直接在存储所需数据的HD...