蜜獾互联网

数据存储架构的演进：从数据仓库、数据集市到湖仓一体 摘要： 随着大数据技术的发展，数据存储架构经历了从传统数据仓库到数据集市、数据湖的演进过程。数据仓库适合结构化数据的集中存储分析，数据集市是部门级的数据子集，而数据湖则能容纳非结构化数据。为解决数据仓库和数据湖各自局限性，新兴的湖仓一体（Data Lakehouse）架构应运而生。它融合两者的优势，在低成本存储基础上实现数据管理功能，支持结构化与非结构化数据的统一处理，同时满足灵活性和成长性需求。湖仓一体打破了数据孤岛，让数据在湖与仓之间自由流动，成为新一

摘要 本文介绍了Hive SQL执行计划（explain）的使用方法及其应用场景。执行计划是优化SQL性能的关键工具，通过explain命令可以分析查询的底层逻辑，帮助定位性能瓶颈和数据倾斜问题。 主要内容包括： explain基本用法：展示查询的Stage依赖关系和详细执行计划，解析Map/Reduce阶段的Operator Tree（如表扫描、分组聚合、Join操作等）。 实际应用案例： 验证Join是否过滤NULL值； 分析Group By是否触发排序； 比较SQL执行效率； 定位数据倾斜代码段。 扩

摘要：代理模式是一种结构型设计模式，通过代理对象间接访问真实对象，在不修改原对象的基础上实现功能增强。文中以司机与代驾为例，展示了代理模式的三个核心角色：抽象主题（Driver）、真实主题（CommonDriver）和代理主题（ProxyDriver）。这种模式的关键优势在于能够在不改变原有业务逻辑的前提下，通过代理对象进行扩展功能（如日志记录、权限控制等），类似于为武器添加不同属性的"附魔"效果。代理模式适用于需要控制对象访问或增强对象功能的场景。

本文介绍了分布式锁的原理与实现方案。分布式锁的核心在于协调分布式环境下的共享资源访问，具备互斥性、一致性和可重入性等特性，同时面临锁租期和性能等挑战。主流实现方案包括基于数据库（如MySQL的记录锁和乐观锁）、基于缓存（如Redis）以及基于分布式协调服务（如ZooKeeper）。文中详细阐述了MySQL实现分布式锁的具体方法，包括通过唯一索引实现互斥的记录锁，以及通过版本控制实现冲突检测的乐观锁机制，并分析了各种方案的优缺点。

摘要：本文介绍了在电商、金融等领域实现实时对账的技术方案。通过Flink实时处理订单和交易两条数据流，检测支付成功但未到账的异常交易。方案采用状态编程、定时器和双流连接等技术，将正常交易输出到主流，异常交易分流到侧输出流报警。核心流程包括：从Socket模拟数据源读取事件、提取事件时间、过滤无效数据、按订单ID分组连接，并通过自定义CoProcessFunction实现交易匹配逻辑。该方案能够有效保障资金交易安全，及时发现支付异常情况。

本文针对Flink SQL作业追数缓慢问题进行分析与优化。作业主要涉及分组聚合操作，从upsert-kafka表读取数据写入HBase。通过分析作业瓶颈，提出三个优化方案：1)启用local/global聚合减少网络传输，但效果有限；2)增加并行度提升吞吐，缩短50%处理时间；3)针对大状态问题调整RocksDB参数，包括block缓存大小等，最终将作业处理时间从半天缩短至1-2小时。优化关键在于准确识别瓶颈（如本例中的状态存储性能），针对性调整配置参数，才能显著提升处理效率。

摘要：Elasticsearch提供了三种解决深度分页的方案：1）scroll API适用于离线批量数据处理，通过scroll_id顺序获取数据，但无法并行处理；2）sliced scroll允许切片并行处理，提升效率；3）search after基于动态指针实现高性能分页，支持并发但无法随机跳页。scroll适合数据迁移等后台任务，search after更适用于实时查询场景，需指定唯一排序字段作为翻页依据。各方案针对不同场景优化，解决了传统from/size分页的内存限制问题。

CAP理论是分布式系统的核心概念，指出系统无法同时满足一致性(C)、可用性(A)和分区容错性(P)。在网络分区(P必须保证)的情况下，只能在C和A之间二选一。文章通过Java代码演示了CP和AP两种选择：CP保证强一致性但可能牺牲可用性，AP保证高可用性但可能数据不一致。该理论揭示了分布式系统设计的根本限制，开发者需根据业务需求权衡选择。

Kibana: 可以对 Elasticsearch 进行可视化，还可以在 Elastic Stack 中进行导航，这样便可以进行各种操作了，从跟踪查询负载，到理解请求如何流经您的整个应用，都能轻松完成。Logstash: 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。一般用在日志的搜集、分析、过滤，支持大量的数据获取方式。进行下载相应的产品版本，点击“Download”后选择需要的方式包进行下载，本文以linux 二进制方式进行部署。

为什么要做这个测试二级索引是关系型数据库相较于NoSQL数据库的一个关键差异。二级索引必须是强一致的，因此索引的写入需要与主键的写入放在一个事务当中，事务的性能是二级索引性能的基础。目前市面上的分布式数据库中，从使用体验的角度看主流有几种形态：1.以TiDB、CockroachDB等为代表的纯透明的用法。从表现上来看，该种类型的数据库所有表都是分布式表，并且不需要指定分区键，其核心逻辑是使用分布式事务来维护全局索引，并使用全局索引完全替代单机数据库中的二级索引。

先说什么是 IAM、EIAM 和 CIAMIAM：Identity and Access Managetment，身份和访问管理，或者简称身份管理。其实回顾过去二十年，当我们讨论 IAM 时，其实大多数人想到的都是针对企业内部员工、合作伙伴、临时人员等提供统一身份认证和权限管理能力的内部产品（Enterprise Identity & Access Management 或 EIAM）。然而，这是缺乏想象力的，不能因为 EIAM 传统而简单，就只谈论、只研发 EIAM。随着软件的边界拓展

转自:安装和使用memcached安装和使用memcached标签： memcached 2016-01-06 19:27 292人阅读 评论(0)收藏举报本文章已收录于：分类： 云计算（61） 作者同类文章X如何将 memcached 融入到您的环境中？在开始安装和

一.正向代理帮助内网访问外网用的#从内到外.客户端A 访问不到服务端F 需要做一个代理服务器D 来访问F应用场景 1.一个公司局域网的人 都有公司内网 192.178.xx.xx 和192.188.xxx.xxx 不同部门或不同ip段 想要访问外网如百度 就需链接一个可以访问外网的机器做代理去访问百度获取数据返回信息.二.反向代理当访问百度的时候 客户访问www.baidu.com nginx会...

1.安装tomcat可只本地安装一个tomcat  另一个用远程的    配置 好默认直接访问单节点:8080 是可以的 2.安装nginx 上篇已讲     测试nginx 安装成功 http://localhost 出现nginx主页面即可 3.配置nginx负载均衡    #user nobody;worker_processes 1;#error_log logs/error....

user nobody;#启动进程,通常设置成和cpu的数量相等worker_processes 1; #全局错误日志及PID文件#error_log logs/error.log;#error_log logs/error.log notice;#error_log logs/error.log info; #pid logs/nginx.pid; ...

负载均衡方案 软件级 负载均衡 nginx lvs 开源硬件级负载均衡F5 很少见 没有经验nginx和lvs的选型PS-1LVS的负载能力强，因为其工作方式逻辑非常简单，仅进行请求分发，而且工作在网络的第4层，没有流量，所以其效率不需要有过多的忧虑。LVS基本能支持所有应用，因为工作在第4层，所以LVS可以对几乎所有应用进行负载均衡，包括Web、数据库等。注意：LVS并不能完全判别节点故...

高可用方案+heartbeat与keepalived1.nginx-(tomcat1,tomcat2)当nginx挂掉之后 一切都无法进行方案 热备 nginx_master nginx_slave(backup)+(heartbeat与orkeepalived)2.heartbeat与keepalived选型Keepalived使用的vrrp协议方式，虚拟路由冗余协议 (Virtual Rout...

一、Bridged（桥接模式）什么是桥接模式？桥接模式就是将主机网卡与虚拟机虚拟的网卡利用虚拟网桥进行通信。在桥接的作用下，类似于把物理主机虚拟为一个交换机，所有桥接设置的虚拟机连接到这个交换机的一个接口上，物理主机也同样插在这个交换机当中，所以所有桥接下的网卡与网卡都是交换模式的，相互可以访问而不干扰。在桥接模式下，虚拟机ip地址需要与主机在同一个网段，如果需要联网，则网关与DNS需要与主机...

一.RBAC简介基于角色的访问控制RBAC的权限管理，基于角色的访问控制（Role-Based Access Control），在RBAC中，权限与角色相关联，用户通过成为适当角色的成员而得到这些角色的权限。最后的结果就是不同的用户登录系统会看到不同的功能，也就是菜单。二.简单结构图...

一、前言在计算机领域，当单机性能达到瓶颈时，有两种方式可以解决性能问题，一是堆硬件，进一步提升配置，二是分布式，水平扩展。当然，两者都是一样的烧钱。今天聊聊我所理解的分布式系统的架构思路。二、分布式系统的两种方式平时接触到的分布式系统有很多种，比如分布式文件系统，分布式数据库，分布式WebService，分布式计算等等，面向的情景不同，但分布式的思路是否是一样的呢?1.简单的例子

我们在用缓存的时候，不管是Redis或者Memcached，基本上会通用遇到以下三个问题：缓存穿透缓存并发缓存失效一、缓存穿透注：上面三个图会有什么问题呢？我们在项目中使用缓存通常都是先检查缓存中是否存在，如果存在直接返回缓存内容，如果不存在就直接查询数据库然后再缓存查询结果返回。这个时候如果我们查询的某一个数据在缓存中一直不存在，就会造成每一次请求都查询DB，这样

对于数据流量过大的网络中，往往单一设备无法承担，需要多台设备进行数据分流，而负载均衡器就是用来将数据分流到多台设备的一个转发器。目前有许多不同的负载均衡技术用以满足不同的应用需求，如软/硬件负载均衡、本地/全局负载均衡、更高网络层负载均衡，以及链路聚合技术。我们使用的是软负载均衡器Nginx,而农行用的是F5硬负载均衡器，这里就简单介绍下这两种技术：a.软件负载均衡解决方案

Redis——安全设置&主从复制2015-07-31 17:09 450人阅读 评论(4)收藏举报本文章已收录于：Redis知识库 分类： 【Redis】（5） 作者同类文章X版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[-]一    安全设

Redis——五种数据类型2015-07-31 16:54 342人阅读 评论(4)收藏举报本文章已收录于：分类： 【Redis】（5） 作者同类文章X版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[-]一    strings二    lists栈队

Redis——简介2015-07-31 16:38 420人阅读 评论(4)收藏举报本文章已收录于：分类： 【Redis】（5） 作者同类文章X版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[-]一       NoSql简介二    Redis介绍三

四层和七层负载均衡的区别2016-07-15 23:41 42人阅读 评论(0)收藏举报本文章已收录于：分类： 负载均衡原理（2） 作者同类文章X（一）　　简单理解四层和七层负载均衡:　　① 所谓四层就是基于IP+端口的负载均衡；七层就是基于URL等应用层信息的负载均衡；

Memcached 及 Redis 架构分析和比较标签： memcachedredis2015-08-16 16:47 507人阅读 评论(0)收藏举报本文章已收录于：分类： 云计算（61） 作者同类文章X作者：刘旭晖 Raymond 转载请注明出处Email：c

haproxy+keepalived实现高可用负载均衡标签： 负载均衡haproxykeepalivedlvs2015-06-12 16:56 461人阅读 评论(0)收藏举报本文章已收录于：分类： 云计算（61） 作者同类文章X目录(?)[-]keepalived理

百万级访问网站前期的技术准备标签： 服务器性能优化2015-08-07 18:24 896人阅读 评论(0)收藏举报本文章已收录于：分类： 云计算（61） 作者同类文章X开了自己域名的博客，第一篇就得来个重磅一点的才对得起这4美金的域名。作为一个技术从业者十年，逛了十年发现有

//1.当在springxml中引用dubbo标签时会报错windows-->preferrence-->xml->xmlcatalog-->add->catalog entry -->file system,选择模版文件后，修改key值为“http://code.alibabatech.com/schema/dubbo/dubbo.xsd”

//搭建zookeeper 1.可以放到在linux下 可以在windows下 解压到指定的目录如个人:F:\zookeeper2.复制下conf下 复制下zoo_simple.cfg 文件把复制的修改成zoo.cfg 内容如下 一定以不要出现中文 会报错的3.修改完成后进入windows dos命令回车一下内容说明注册中心配置正常

//1.主从复制架构图解 摘自网上一位博友的图片//2.客户端分片//3.twemproxy架构//4.Redis 3.0 P2P模式 的集群//更多资料最全的Redis集群方案介绍http://mt.sohu.com/20160601/n452401108.shtmlhttp://blog.youkuaiyun.com/u0112048

转自:http://blog.youkuaiyun.com/u014756827/article/details/52117432Redis-sentinel哨兵模式集群方案配置2016-08-04 11:11 437人阅读 评论(0)收藏举报本文章已收录于：分类： 【redis】（38） 作者同类文章X

//1.zookeeper配置文件中不要出现中文会报错 //2.分布式开发对象一定要序列化//摘抄如下在面向对象程序语言中做分布式计算的时候，经常需要将对象在不同的主机之间传输，我这次在实现分布式计算的时候，需要将一个计算对象从中央服务器Server分发给所有的客户端client。通过网络TCP，建立Socket，传输一个对象，就需要将对象转换成一段字节流，也就叫做

//1.将dubbo-admin放到tomcat下自行解压 修改dubbo.properties文件结构如下为了避免冲突 如用到多个tomcat时 修改端口号即可 8080    其他8081...2..3..4等//从命名下war包的名称不带版本号放到tomcat下解压出来的就不带版本号了//启动tomcat访问这个项目 我个人用的是8081 单独的一个tomca

//创建工程名 cnse-customer-user导入jar包 //工程结构//spring 文件配置<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.

//1.创建服务提供者工程名 cnse-provider-user //2.导入jar包和创建工程包名//配置spring的xml文件<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p=