csdnwindnorth的博客

Flink集群搭建 Flink可以选择的部署方式有： Local、Standalone（资源利用率低）、Yarn、Mesos、Docker、Kubernetes、AWS。 Standalone模式安装 软件要求 Java 1.8.x或更高版本 ssh（必须运行sshd才能使用管理远程组件的Flink脚本） 集群部署规划 节点名称 master worker zookeeper ...

MemCached缓存技术 什么是MemCached Memcache是一套开源,高性能的分布式的内存对象缓存系统，目前被许多网站使用以提升网站的访问速度，尤其对于一些大型的、需要频繁访问数据库的网站访问速度提升效果十分显著 。 Memcache将所有数据存储在内存中，并在内存里维护一个统一的巨大的Hash表，它能存储任意类型的数据，包括图像、视频、文件以及数据库检索的结果等。简单的说就是将数据调...

Kafka是什么 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最初是由LinkedIn公司开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通...

概述 什么是搜索 百度：我们比如说想找寻任何的信息的时候，就会上百度去搜索一下，比如说找一部自己喜欢的电影，或者说找一本喜欢的书，或者找一条感兴趣的新闻（提到搜索的第一印象）。 百度 != 搜索 1）互联网的搜索：电商网站，招聘网站，新闻网站，各种app 2）IT系统的搜索：OA软件，办公自动化软件，会议管理，日程管理，项目管理。 搜索，就是在任何场景下，找寻你想要的信息，这个时候，会输入一段你要...

减少批数据的执行时间 在Spark中有几个优化可以减少批处理的时间： ①　数据接收的并行水平 通过网络(如kafka，flume，socket等)接收数据需要这些数据反序列化并被保存到Spark中。如果数据接收成为系统的瓶颈，就要考虑并行地接收数据。注意，每个输入DStream创建一个receiver（运行在worker机器上）接收单个数据流。创建多个输入DStream并配置它们可以从源中接收不同...

SparkSQL性能优化 在内存中缓存数据 性能调优主要是将数据放入内存中操作。通过spark.cacheTable(“tableName”)或者dataFrame.cache()。使用spark.uncacheTable(“tableName”)来从内存中去除table Demo案例 从Oracle数据库中读取数据，生成DataFrame val oracleDF = spark.read.f...

先通过scp -r将zookeeper发送到其他两台虚拟机 重命名zoo_sample.cfg 为 zoo.cfg 同步环境变量 source一下profile 修改dtaDir 配置cluster server ID 也就是 my ID。 bigdata111 是主机名 2888是zookeeper内部通讯的端口号 3888是zookeeper选举投票的端口号 配置myid 直接...

HBaes介绍 HBase简介 HBase是一个分布式的、面向列的开源数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。 大：上亿行、百万列 面向列：面向列（簇）的存储和权限控制，列（簇）独立检索 稀疏：对于为空(null)的列，并不占用存储空间，因此，表的设计的非常的稀疏 HBase的角色 HMaster 功能： (1) 监控RegionServ...