数据请求的流程及用到的服务介绍

最新推荐文章于 2023-06-06 10:15:23 发布

原创最新推荐文章于 2023-06-06 10:15:23 发布 · 399 阅读

0 ·

CC 4.0 BY-SA版权

linux高级应用专栏收录该内容

17 篇文章

订阅专栏

本文深入探讨了分布式系统的架构设计，包括客户端请求处理流程、CDN的工作原理及其缓存策略、不同Web服务器的特点对比，以及Hadoop和OpenStack等关键技术的作用与应用场景。

请求数据
client(客户端) -> cdn（内容分发网络）缓存客户端的请求数据->HA（高可用性）+F5（硬件负载均衡）/ LVS（linux虚拟服务器,4层负载，基于tcp/ip进行分流）->haproxy(7层模型)/nginx（可以处理高并发的事件）->web(apache/nginx)-> app(php/jsp) ->
DB(mysql(oracle)/redis内存型数据库，只放置热点数据)

cdn清理缓存数据的情况
1.缓存数据达到上限
2.与server端进行对比，进行数据更新
3.遵守LRU（最少最近）原则

apache与nginx的不同
最核心的区别在于apache是同步多进程模型，一个连接对应一个进程；nginx是异步的，多个连接（万级别）可以对应一个进程
nginx相对于apache的优点：轻量级，同样起web 服务，比apache 占用更少的内存及资源，抗并发，nginx 处理请求是异步非阻塞的，而apache 则是阻塞型的，在高并发下nginx 能保持低资源低消耗高性能
apache 相对于nginx 的优点： rewrite ，比nginx 的rewrite 强大，模块超多，基本想到的都可以找到少bug

固态硬盘与机械硬盘的区别
还是因为固态硬盘对数据的读写速度比机械硬盘要快。一般情况下，机械硬盘读写速度只有160MB/s，而固态硬盘则可以达到500+MB/s的速度。
固态硬盘并不是没有缺点的。它最大的缺点就是容量小、价格高。在某宝的标价上，容量为1T的固态硬盘价格都在1000+以上，而同样容量的机械硬盘则在300左右

监控：zabbix/nagios/cacti

微服务架构：docker/k8s/swarm（重要）

hadoop
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

openstack
OpenStack是一个由NASA（美国国家航空航天局）和Rackspace合作研发并发起的，以Apache许可证授权的自由软件和开放源代码项目。
OpenStack是一个开源的云计算管理平台项目，由几个主要的组件组合起来完成具体工作。OpenStack支持几乎所有类型的云环境，项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenStack通过各种互补的服务提供了基础设施即服务（IaaS）的解决方案，每个服务提供API以进行集成。

git
Git(读音为/gɪt/。)是一个开源的分布式版本控制系统，可以有效、高速地处理从很小到非常大的项目版本管理。 [1] Git 是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。

elk
ELK 不是一款软件，而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件，通常配合使用，而且又先后归于 Elastic.co 公司名下，所以被简称为 ELK Stack。根据 Google Trend 的信息显示，ELK Stack 已经成为目前最流行的集中式日志解决方案。

Elasticsearch：分布式搜索和分析引擎，具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建，能对大容量的数据进行接近实时的存储、搜索和分析操作。通常被用作某些应用的基础搜索引擎，使其具有复杂的搜索功能；
Logstash：数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置；
Kibana：数据分析和可视化平台。通常与 Elasticsearch 配合使用，对其中数据进行搜索、分析和以统计图表的方式展示；
Filebeat：ELK 协议栈的新成员，一个轻量级开源日志文件数据搜集器，基于 Logstash-Forwarder 源代码开发，是对它的替代。在需要采集日志数据的 server 上安装 Filebeat，并指定日志目录或日志文件后，Filebeat 就能读取数据，迅速发送到 Logstash 进行解析，亦或直接发送到 Elasticsearch 进行集中式存储和分析。