weixin_43866709的博客

在日常生产环境中，如果想要做数据采集基本上都要用到flume，现在就记录一下flume在整个项目中的架构。先简单说一下这个项目，从微信小程序中记录用户数据，项目后台程序使用springBoot编写，部署在服务器上，使用Nginx实现负载均衡，然后要计算实时指标和离线指标。Nginx服务器中产生的数据直接写入到kafka集群中，用于sparkStreaming进行实时指标的计算，这时Nginx服...

一.为什么使用KafkaChannel？在使用flume对接Kafka时，我们往往使用TailFileSource–>MemoryChannel–>KafkaSink的这种方式，然后将数据输送到Kafka集群中。如图所示：但是这种方式有弊端：1.TailFileSource只能监听一个文件2.MemoryChannel数据会有堆积，内存可能溢出（而FileChannel又比较...

使用flume实时采集Nginx产生的log数据时，如果机器宕机了，数据就会丢失，而且会重复读取数据，那么避免这种情况的发生，我们就要自定义一个可以记录偏移量的Source。这里使用TailFileSource，一次监听一个文件。代码如下：（根据execSource源码编写）package cn.edu360.flume.source;import org.apache.commons...

首先服务器或者虚拟机上要有zookeeper和Kafka0.10集群。详细安装步骤可以参考博客：zookeeper安装：https://blog.youkuaiyun.com/weixin_43866709/article/details/88416431Kafka0.10安装：https://blog.youkuaiyun.com/weixin_43866709/article/details/89241045N...

Nginx安装详细步骤请看我的上一篇博客。修改nginx的配置文件，让nginx实现负载均衡功能：sudo vi /usr/local/nginx/conf/nginx.conf将配置文件修改为：#user nobody;worker_processes 1;#error_log logs/error.log;#error_log logs/error.log noti...

1.下载Nginx源码包：下载地址：http://nginx.org/en/download.html2.上传nginx安装包，并使用root用户登录虚拟机3.解压nginxtar -zxvf nginx-1.12.2.tar.gz -C /usr/local/src/4.进入到nginx的源码目录cd /usr/local/src/nginx-1.12.2/5.预编译./co...

springBoot制作web后台对接共享单车小程序：https://download.youkuaiyun.com/my

mongdb一个NoSQL数据库，里面存储的是BSON（Binary Serialized Document Format，支持集群，高可用、可扩展。mongdb中的一些概念（和MySQL的一些区别）MongoDBMySQLdatabasedatabasecollectiontablejson二维表不支持SQLSQL_id主键安装...

首先我们要制作一个微信小程序。该微信小程序要有定位，添加单车，扫码解锁单车，支付等功能。1.首先要去微信公众平台注册一个账号https://mp.weixin.qq.com/2.登录账号，完善信息（这里不再详细讲解），下载微信开发者工具3.使用微信开发者工具创建一个小程序项目这里只记录一下我写的代码（由于我并非擅长js，所以代码比较low，），详细的开发API再微信公众平台的小程序开发...

学习spark已经有一段时间了，做了一个共享单车的项目，现在记录一下。首先说一下这个项目的一个整体流程：首先要有一个供用户使用的微信小程序，然后还有一个后台管理系统，用于记录用户的行为数据，后台将用户的行为数据保存到mongodb中，然后使用spark对数据进行分析，生成报表系统。整体流程图：web系统架构图：然后这个项目所用到的技术：1.微信小程序–供用户使用2.sparin...