大数据与SDN

原创已于 2025-01-28 00:43:34 修改 · 1k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#网络 #笔记

于 2025-01-26 23:45:33 首次发布

大数据

大数据指的是在传统数据处理应用软件不足以处理的复杂的数据集。大数据也可以定义为来自各种来源的大量非结构化或结构化数据，是互联网体系中，包括软件、硬件、基础设施、数据等因素中最重要的，也是最需要注意保密性的。现今社会中，任何事物的基本信息几乎都可以使用数据来进行表示，如：物流信息、计算机系统信息、车辆定位信息、气象信息、购物信息、个人身份信息等，而这些数据可以为人们的生活带来极大的便利。如：对消费者提供产品或服务的企业可以利用大数据进行精准营销；企业可以依托大数据分析进行改制转型等。

大数据的特征：

容量：数据的大小决定所考虑的数据的价值和潜在的信息。
种类：数据类型的多样性。
速度：指获得数据的速度。
可变性：妨碍了处理和有效地管理数据的过程。
真实性：数据的质量。
复杂性：数据量巨大，来源多渠道。
价值：合理运用大数据，以低成本创造高价值

云计算

云计算是指通过大规模的分布式计算，将大量计算资源，存储资源，网络资源，应用软件等集合起来，采用虚拟化技术将这些资源池化，组成资源共享池。

云计算部署方案

公有云：第三方提供商为用户提供的能够使用的云。
私有云：为一个客户单独使用而构建的，因而提供对数据、安全性和服务质量的最有效控制。
专属云：向客户提供定制化的综合解决方案。(提供私有云不具备的定制化功能)
混合云：两种或两种以上的云计算部署模式的混合体，如公有云和私有云混合。

云计算的服务类型

基础设施服务IaaS(Infrastructure as a Service)：将IT基础设施作为服务通过网络对外提供，如虚拟机、存储、网络操作系统。
平台服务PaaS(Platform as a Service)：平台运营商提供所需的服务，包括针对该平台的技术支持服务，和针对该平台而进行的应用系统开发、优化等服务。(PaaS云中包含完整的开发和部署环境)
软件服务SaaS(Software as a Service)：通过互联网提供按需软件付费应用程序，云计算提供商托管和管理应用软件应用程序，并允许用户连接到应用并通过全球互联网互访应用程序。

云计算的核心技术

虚拟化技术：利用虚拟化技术，将服务器，存储，网络资源组成一个逻辑的资源池。
数据存储技术：海量数据和结构化数据的存储。
任务和资源管理技术：将云计算平台的众多服务器组织整合的工具。

SDN

软件定义网络，摆脱硬件对网络架构的限制，可以像升级、安装软件一样对网络进行修改，便于更多的APP（应用程序）能够快速部署到网络上。通过将网络设备的 控制层面与数据转发分离开来，从而实现了网络流量的灵活控制，使网络作为管道变得更加智能，为核心网络及应用的创新提供了良好的平台。SDN的控制平面使用的典型协议为 OpenFlow（支持多厂商的，可以完成控制层面与转发层面协调工作的作用）；SDN的管理平面使用的典型协议为 netconf协议（网络配置协议，支持多厂商，多网络设备编程接口）。
控制层面：路由协议等；
管理层面：SNMP(简单网络管理协议)
转发层面：底层ASIC芯片

SDN的三个主要特征

转控分离：网元的控制平面在控制器上，负责协议计算，产生流表(__OpenFlow__协议中的概念)；而转发平面只在网络设备上。
集中控制：设备网元通过控制器集中管理和下发流表，这样就不需要对设备进行逐一操作，只需要对控制器进行配置即可。
开放接口：第三方应用只需要通过控制器提供的开放接口，通过编程方式定义
一个新的网络功能，然后在控制器上运行即可。

SDN的南北接口

北向接口：应用层和控制层通信的接口，应用层通过开放的API与控制器对接。
南向接口：控制层和数据层通信的接口，控制器通过OpenFlow等协议下发流表。
注意：OpenFlow流表包括：IP地址，MAC地址，端口，VLAN等等参数，相当于普通IP网络的数据流在SDN的OpenFlow中需要以表项的形式存在。

SDN网络部署方式

Underlay的网络：所有的转发行为都由控制器通过OpenFlow协议或定制的BGP协议将转发表下发给转发器，转发器仅仅执行动作，没有单独的控制面。
Overlay的网络：Overlay是使用网络虚拟化在物理基础设施之上建立连接的逻辑网络。实现技术一般有VXLAN、NVGRE、GRE、OTV、OMP、mVPN。

SDN的优势

减少成本：采用集中化和自动化的网络管理方式，通过提高服务器利用率和改进虚拟化，用户可以减少不必要的支出。此外，SDN通过启用多任务来减少网络操作，从而消除了对昂贵硬件的需求。
安全性：通过一个控制器，为整个网络提供安全性。该控制器确保在网络中实施正确的安全策略和信息。SDN配备了单一的管理系统，一个中心实体控制安全性和功能。
中心化管理：允许对整个网络进行集中管理，消除了传统系统在基础设施管理方面的障碍，即使需要单独管理系统，SDN也能够实现集中化管理。
可扩展性：提供高度可扩展的网络基础设施，可以快速变更网络的规模和配置，适应多厂商的开放式架构。