qq_41324009的博客

storm是实现大数据的实时流计算的工具。流式计算：使用流计算，数据实时产生，实时传输，实时计算，实时显示。代表技术：flume 实时获取数据。Kafka/metag实时数据存储，storm/J storm实时数据计算，redis实时结果缓存，mysql持久化存储。storm搭建体系结构storm主要由主节点：nimbus 和从节点supervisor 构成，需要架构...

DataStream API Tutorial一.Setting up a Maven Project(首先在虚拟机上要先装好maven并配置好setting文件和环境变量)mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId=flink-quic...

Setting up a Project: Basic Dependencies<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.8.0</version>...

一。概观每个spark应用程序都包含一个驱动程序，通过main函数在集群上执行各种并行操作。1.Spark提供的是主要抽象是RDD，他是跨群集结点分区的元素的集合，可以并行操作（宽依赖）。RDD是通过从Hadoop文件系统（或其他Hadoop支持的文件系统）中的文件或驱动程序中的现有Scala集合开始并对其进行转换而创建的。用户还可以要求Spark在内存中保留RDD，允许它在并行操作中有效...