weixin_41045344的博客

序列化与压缩 1. 序列化的基本概念 2. 数据压缩的原理 3. 序列化与压缩 a. 序列化的意义： i. 编写程序写文件A，另一个程序读取文件A ii. 进程通信时传输的数据 1) 基本数据类型实例：int，long，double等数值 2) 用户自定义类的实例：对象 iii. 如何完成进程间的对象传送？ 1) a) C c = new C(x,x,x...

进程通信 1. 进程与线程的区别 a. 线程是进程的一个实体，是CPU调度和分派的基本单位 b. 进程在执行过程中拥有独立的内存单元，而多个线程共享内存 c. 线程不能够独立执行，必须依赖进程 2. 进程间的通信方式 a. 进程之间需要交换数据 b. 进程各自有不同的用户地址空间 i. 同一台机器 ii. 不同机器 c. 通过操作系统内核 d. 方式：信号，信号量，消息队...

大纲 分布式系统 1. 分布式系统应用 a. 科学计算：CPU是瓶颈 b. 数据密集：数据IO是计算过程的瓶颈 c. 智能家居 d. 事务处理 e. 传感网络：扫车牌是否能进门？ 2. 纵向扩展： scalue-up （提高单台机器的处理能力） a. 异步通信： 成批传输数据 i. 将check form 从服务器端转移到客户端，可以减轻服务器端的压力，进而可以提高单台机器的处理...

Flink 之Kmeans kmeans.java ‘’’ package flink5; import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStreamReader; import j...

流计算概述 一、 流计算应用需求 静态数据（支持决策分析而构建的数据仓库系统） 可以利用数据挖掘和OLAP.OLTP(transaction) 数据存储和管理，除了用数据仓库做，还可以用hdfs， hive就是基于hdfs的数据仓库 挖掘引擎除了用数据仓库，还可以用hadoop,spark 计算开始之前，数据已经存在了 流数据 特征：大量、快速、时变的流形式 数据量大，但是不十...

Caused by: while parsing a block mapping in ‘reader’, line 18, column 2: storm.zookeeper.serve #解决方案 注意 storm.zookeeper.servers: nimbus.seeds: […] 前都需要一个空格，有且仅有一个空格。并且在seeds:空格[] 也需要一个空格，有且...

import java.util.Arrays; import java.util.Iterator; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark....

spark 实现K-means算法 package kmeans; import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import java.io.I...

启动 ./bin/spark-shell --master yarn-client 出错 报错信息 Warning: Master yarn-client is deprecated since 2.0. Please use master "yarn" with specified deploy mode instead. 2018-11-13 08:30:59 WARN NativeCode...