文武傲群雄，彳亍定江山

功能介绍（python模拟产生日志，flume采集日志文件更新【一分钟一更新】，作为kafka的生产者连接存入topic，idea编写kafka消费者消费数据，消费的同时存储至hbase）步骤1.编写python日志产生程序generatorLog.py2.定时调用py执行日志产生定时运行程序crontab -e*/1 * * * * /home/hadoop/project/s...

这个问题，在线上集群环境一般不容易出现，因为相关的日志文件参数都已经配置好了，而且经受住时间的的验证了。作为新手，我在本地配置了一个单机kafka，用得是kafka自带的zookeeper服务。kafka安装很简单如下：1).下载kafka:wget http://apache.fayea.com/kafka/0.10.1.0/kafka_2.10-0.10.1.0.tgz2) 解压：...

一、 Kafka StreamsKafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大，易于使用的库。用于在Kafka上构建高可分布式、拓展性，容错的应用程序。1.1 Kafka Streams特点1）功能强大高扩展性，弹性，容错2）轻量级无需专门的集群一个库，而不是框架3）完全集成100%的Kafka 0.10.0版本兼容易于集成到现有的应...

第一步:修改虚拟机相关配置，打开2181 9092的端口，并关闭防火墙防火墙（root）systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动systemctl status firewalld.service #查看firewall的状态打开相关端口（...

为什么使用消息队列 其实就是问问你消息队列都有哪些使用场景，然后你项目里具体是什么场景，说说你在这个场景里用消息队列是什么？ 面试官问你这个问题，期望的一个回答是说，你们公司有个什么业务场景，这个业务场景有个什么技术挑战，如果不用 MQ 可能会很麻烦，但是你现在用了 MQ 之后带给了你很多的好处。 先说一下消息队列常见的使用场景吧，其实场景有很多，但是比较核心的有 3 个：解...

　　引言 　　网络计算带领软件产业进入了一个新的时代，商机无限，但同时挑战也无限。以电子商务为代表的技术潮流正将大到企业计算、小到个人数字代理的各种应用，在世界范围内联结起来，软件制造业正面临着一些新的课题，如复杂的分布环境、灵活的应用模式、广泛的包容性等，传统的软件设计思想已远远不够。 　　在这一背景下，构件技...

什么是网关？为什么需要使用网关？如图所示，在不使用网关的情况下，我们的服务是直接暴露给服务调用方。当调用方增多，势必需要添加定制化访问权限、校验等逻辑。当添加API网关后，在第三方调用端和服务提供方之间就创建了一面墙，这面墙直接与调用方通信进行权限控制。本文所实现的网关源码抄袭了---Oh,不对，是...

情景引入小白：起床起床起床起床。。。。快起床~我：怎么了又，大惊小怪，吓到我了。小白：我有事有事想找你，十万火急呢~~我：你能有什么事？反正我不信。。那你说说看~~小白：就是我有两个小表弟，叫大白和二白，他们现在每天睡觉之前都要分别和我聊天，让我给他们讲故事，如果不讲他们就不睡觉。但是，如果一个个的跟他们轮流来说的话，我就需要每天说两遍，而且我还要找准他们的时间点，这个有时候我有...