weixin_45732673的博客

原创 Druid flink kafka

Druid实际应用 配合flink 接收处理kafka数据

原创 导购按键欧式机动

原创 2021-06-29

转载 kafka

先预告一下 Kafka 系列文章，大家敬请期待哦： 以讲解性能作为 Kafka 之旅的开篇之作，让我们一起来深入了解 Kafka “快”的内部秘密。你不仅可以学习到 Kafka 性能优化的各种手段，也可以提炼出各种性能优化的方法论，这些方法论也可以应用到我们自己的项目之中，助力我们写出高性能的项目。 关公战秦琼 “ 65: Redis 和 Kafka 完全是不同作用的中间件，有比较性吗？ ” 是的，所以此文讲的不是《分布式缓存的选型》，也不是《分布式中间件对比》。我们聚焦于这两个不同领域的项目对

原创 lua如何将用户ip转为地理位置信息

有三种方法： 第1种:使用淘宝或者其他ip转换地址，可以转换， 准确，但是请求频率限制了。 第2种:使用lua读取本地文件ip库，这种需要使用二叉树算法读取文件，获取位置。 速度会有些慢，对服务器压力大，准确。 第3中: 使用第三方ip转换库 ip2region 的git地址 https://gitee.com/lionsoul/ip2region/ ip2region 这个库暂时不兼容nginx-lua版本的解析，但是可以单独使用lu

原创 Druid0.10.1介绍 Druid0.10.1单机版 Druid0.10.1 集群版搭建

1.druid介绍 Druid的母公司MetaMarket在2011年以前也是Hadoop的拥趸者，但是在高并发环境下，Hadoop并不能对数据可用性以及查询性能给出产品级别的保证，使得MetaMarket必须去寻找新的解决方案，当尝试使用了各种关系型数据库以及NoSQL产品后，他们觉得这些已有的工具都不能解决他们的“痛点”，所以决定在2011年开始研发自己的“轮子”Druid，他们将Druid定义为“开源、分布式、面向列式存储的实时分析数据存储系统”， druid是针对时间序列数据提供低延迟的数据写入以及

原创 Structured Streaming 初次练手

** Structured Streaming ** 本章目标 Structured Streaming 是 Spark Streaming 的进化版, 如果了解了 Spark 的各方面的进化过程, 有助于理解 Structured Streaming 的使命和作用 本章过程 Spark 的 API 进化过程 Spark 的序列化进化过程 Spark Streaming 和 Structured Streaming 1.1. Spark 编程模型的进化过程 ...

原创 java爬虫之webmagic初次练手（爬取知乎数据）

webmagic初次学习 爬取知乎数据 爬虫知多少，小公司刚起步的公司做成的软件需要大量的数据来维持，这就需要专业的爬虫工程师来搞点数据了，个人是干大数据的，会java和scala，当然也了解过pychon，说是爬虫都是拿pychon来搞，当然这是对强大的java的一种蔑视，java可以说是程序界上的元老的，啥都可以搞。今天就来介绍一个简单又实用的爬虫架构，webmagic！！！,爬虫个人觉得只要研究透网站的规则，什么语言都是可以来搞这个网站的数据，今天以爬取知乎网页内容为例 来搞他 简单介绍 web

原创 `Kafka设置密码策略`*

Kafka设置密码策略 密码策略介绍 密码策略是操作系统针对系统安全提供的一种安全机制，就好像linux操作系统不提供超级用户登录一样，密码策略包括：密码最小长度、密码使用期限、历史密码、密码复杂度等，在企业里面都是要求对操作系统进行密码策略进行配置的，而且要求密码复杂度。企业中做等级保护测评2级以上都是要求有密码策略的，之前我有过一次做等保测评师的经历，在企业里面几乎没有任何一个企业在使用这个密码策略，很郁闷不知道是工程师们不知道还是什么原因，在这里我就为大家简单介绍一下kafka如何设置密码策略 ##