Enzo的探索之路

安装zookeeper(以两个节点为例master、slave)1.解压zookeeper安装包tar -zxvf zookeeper-3.4.12.tgz2.配置（先在一台节点上配置）2.1添加一个zoo.cfg配置文件cd $ZOOKEEPER/confmv zoo_sample.cfg zoo.cfg2.2修改配置文件（zoo.cfg）dataDir=/home/hado...

sparkStreaming接收kafka数据的方式有两种：1.利用Receiver接收数据；2.直接从kafka读取数据（Direct 方式）保证数据不丢失（1）Receiver方式为确保零数据丢失，必须在Spark Streaming中另外启用预写日志（Write Ahead Logs）。这将同步保存所有收到的Kafka数据到分布式文件系统（例如HDFS）上，以便在发生故障时可以恢复所...

spark streaming流式处理kafka中的数据，首先是把数据接收过来，然后转换为spark streaming中的数据结构Dstream。接收数据的方式有两种：1.利用Receiver接收数据；2.直接从kafka读取数据。基于Receiver的方式（旧方法）流程：此方法使用Receiver接收数据。Receiver是使用Kafka高阶API接口实现的。与所有接收器一样，从Kafk...

docker安装文档：https://docs.docker.com/docker-for-mac/#check-versionshttp://www.runoob.com/docker/macos-docker-install.htmldocker打包步骤(pipenv shell虚拟环境下python项目打包)：项目最终结构：docker_test├── Dockerfile├─...

生产者和消费者问题是线程模型中的经典问题：生产者和消费者在同一时间段内共用同一个存储空间，生产者往存储空间中添加产品，消费者从存储空间中取走产品，当存储空间为空时，消费者阻塞，当存储空间满时，生产者阻塞。通过平衡生产者的生产能力和消费者的消费能力来提升整个系统的运行效率，这是生产者消费者模型最重要的作用 。/** * 生产者消费者模型 * 通过wait、notify实现 * 缓冲区满和为...