GraphX里面的路由表概念-学习笔记

最新推荐文章于 2024-07-31 09:34:10 发布
原创 最新推荐文章于 2024-07-31 09:34:10 发布 · 675 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种基于图计算的数据处理流程，包括创建路由表、生成分区对象vertexPartitions及ShippableVertexPartition等步骤。重点讲解了如何通过EdgeRDD转换为RoutingTableMessage，并最终形成VertexRDDImpl对象。

1.创建路由表:根据EdgeRDD，将每个分区用map函数转换为RoutingTableMessage的一条消息：

消息tuple的结构为：<vid, Int>

vid代表点ID,  int 前0~30位表示边分区的ID，后面31~32表示是否为src/destId


2.根据路由表生成分区对象vertexPartitions。在新分区中，map分区中的每条数据，从RoutingTableMessage解出数据：vid, edge pid, isSrcId/isDstId。这个三个数据项重新封装到三个数据结构中:pid2vid,srcFlags,dstFlags


3.生成ShippableVertexPartition：上面routingTables, 重新封装路由表里的数据结构为：ShippableVertexPartition


4.创建VertexRDDImpl对象new VertexRDDImpl(vertexPartitions)



 
飞火流云
关注
大数据技术之_19_Spark学习_05_Spark GraphX 应用解析 + Spark GraphX 概述、解析 + 计算模式 + Pregel API + 图算法参考代码 + PageRank
黑泽君
04-30 1231
大数据技术之_19_Spark学习_05_Spark GraphX 应用解析 + Spark GraphX 概述、解析 + 计算模式 + Pregel API + 图算法参考代码 + PageRank
kali视频学习笔记
cj1064789374的博客
08-29 3491
kali学习笔记
路由表学习笔记
weixin_34007879的博客
02-18 302
  路由子系统的核心是转发信息库(Forwarding Information Base,FIB),即路由表。路由表是用来存储这样一些信息的：一是用以确定输入数据是应该上传给本机的上层协议还是继续转发的信息；二是假设须要转发，为转发数据报提供所须要信息；三是输出数据报应该从哪个详细的网络设备输出的信息 路由表项的维护以及查找涉及下面文件： include/net/ip_fib....
动态路由与静态路由
weixin_34314962的博客
11-27 400
动态路由： 动态路由器上的路由表项是通过相互连接的路由器之间交换彼此信息，然后按照一定的算法优化出来的，而这些路由信息是在一定时间间隙里不断更新，以适应不断变化的网络，以随时获得最优的寻路效果。为了实现IP分组的高效寻路，IETF制定了多种寻路协议。其中用于自治系统（AS:Autonomous System）内部网关协议有开放式最短路径优先（OSPF:Open Shorte...
【网络协议】精讲路由表概念！图解超赞超详细！！！
生活需要深度
07-31 5697
在发送 IP 包时，首先要确定 IP 包首部中的目标地址，再从路由控制表中找到与该地址具有相同网络地址的记录，根据该记录将 IP 包转发给相应的下一个路由器。源主机知道目的主机的IP地址，源主机将F的地址与自己的子网掩码相与，看是否等于自己的网络地址，如果不相同就说明两者不在同一个网络。再根据IP数据报的目的地址查找匹配的条目，找到则转发给条目中指示的下一条，找不到丢弃该数据报。那这种情况下就需要路由器进行转发，所以要提前给网络中的主机设置默认网关，源主机会根据默认网关将数据报发送到路由器的对应接口。
一起学习路由器
DTY9999的博客
03-15 1025
共同学习路由器的基本常识及其配置方法
什么是路由表
studyvcmfc的专栏
04-17 2532
https://baike.baidu.com/item/%E8%B7%AF%E7%94%B1%E8%A1%A8/2707408?fr=aladdin
Java数据结构与算法精讲：40个经典案例学习笔记
![Java数据结构与算法精讲：40个经典案例学习笔记]... # 摘要 本文系统性地介绍了Java数据结构与算法的相关知识，从基础数据结构到高级概念以及实际应用进行了全面阐述。首先，概述了Java中数据结构与算法的基本概念...
DALSA学习笔记：故障排查篇：快速定位问题的方法与工具，让故障无所遁形
[DALSA学习笔记：故障排查篇：快速定位问题的方法与工具，让故障无所遁形](https://www.qualitymag.com/ext/resources/Issues/2019/March/VS/products/VS0319-products-p3-Teledyne_Dalsa.jpg?1551903184) ...
【学习笔记】大数据技术原理与应用（MOOC视频、厦门大学林子雨）
weixin_30437847的博客
08-13 4360
1 大数据概述大数据特性：4v volume velocity variety value 即大量化、快速化、多样化、价值密度低 数据量大：大数据摩尔定律 快速化：从数据的生成到消耗，时间窗口小，可用于生成决策的时间非常少；1秒定律，这和传统的数据挖掘技术有着本质区别（谷歌的dremel可以在1秒内调动上千台服务器处理PB级数据） 价值密度低，商业价值高大数据影响： 对科学研究影响：出现科...
leidenalg:用于Python中igraph的各种质量函数的莱顿算法的实现
04-29
莱德纳尔格 该软件包在C++实现了Leiden算法，并将其公开给python 。 它依靠(python-)igraph来起作用。 除了实现的相对灵活性外，它还可以很好地扩展，并且可以在数百万个节点的图形上运行（只要它们可以容纳在内存中即可）。 核心功能是find_partition ，它使用Leiden算法查找最佳分区，它是Louvain算法对于许多不同方法的扩展。 当前实现的方法是（1）模块化 ，（2）使用配置无效模型和Erdös-Rényi无效模型Reichardt和Bornholdt模型，（3）恒定Potts模型（CPM） ， （4）重要性 ，最后（5）惊奇 。 另外，它支持多路复用分区优化，允许在例如负面链接或多个时间片上进行社区检测。 有可能仅部分优化分区，以使某些社区分配保持固定 。 它还为二分图上的社区检测提供了一些支持。 有关更多信息，请参见。 安装 简而言之： pi
网工必备知识-读懂路由表中的参数
yuyeconglong的博客
09-04 2621
认识路由表中的各项参数
[论文阅读]Spatio-Temporal Graph Routing for Skeleton-Based Action Recognition
BENULL的博客
08-21 1803
Spatio-Temporal Graph Routing for Skeleton-Based Action Recognition paper: https://www.aaai.org/ojs/index.php/AAAI/article/view/4875/4748 基于骨架的动作识别时空图路由方法 摘要 ​ 基于骨架的人体动作识别由于其表征的有效性，受到了相当多的研究关注，并具有广泛的实际应用。 在这一领域，现有的许多方法通常依赖于固定的骨架结构物理连通进行识别，这不能很好地捕捉到骨架关节之间
SDN应用路由算法实现工具之Networkx
Howie66的博客
05-19 2721
转载自：https://www.sdnlab.com/14047.htmlSDN(Software Defined Networking)是一种新型的网络架构，通过集中式的控制平面管理数据层面的转发等操作。网络的连通性是最基础的需求，为保证网络连通，控制器需应用相应的图论算法，计算出转发路径，完成数据转发。在开发SDN应用时，为完成基础的路径计算，时常需要开发者独立编写网络算法，不仅麻烦，性能和代...
GraphX简介及GraphFrames测试
ssyshenn的博客
07-21 9556
目录 概观 架构 存储 图的构造 GraphFrames 安装 测试 参考 概观 GraphX是Spark中用于图和图计算的组件，GraphX通过扩展Spark RDD引入了一个新的图抽象数据结构，一个将有效信息放入顶点和边的有向多重图。如同Spark的每一个模块一样，它们都有一个基于RDD的便于自己计算的抽象数据结构（如SQL的DataFrame，Str...
SparkGraphX 基础解析（五）
大数据知识梳理
01-04 667
SparkGraphX 基础解析
Spark GraphX原理介绍
热门推荐
tanglizhe1105的博客
02-25 1万+
背景现实应用中，数据内部可能存在较高的关联度，如图模型应用。在对这样的数据进行处理时，并行计算框架就会面临较大的挑战，会引入大量的数据连接（join）和聚合（aggregation）操作，带来大量的计算和数据迁移，严重消耗集群资源，因此对此类算法的优化就显得极为重要。 互联网上网页权值计算的PageRank算法是一个典型的图模型问题，它依据网页之间的链接指向关系来判断网页的重要性，指向一个网页的链
Spark GraphX图计算框架原理概述
不清不慎的博客
08-24 1万+
言之易而为之难，学习大数据之图计算，就是从“浊”中找出“静”的规律，达到“清”的境界；从“安”中找出“生”的状态。 概述 GraphX是Spark中用于图和图计算的组件，GraphX通过扩展Spark RDD引入了一个新的图抽象数据结构，一个将有效信息放入顶点和边的有向多重图。如同Spark的每一个模块一样，它们都有一个基于RDD的便于自己计算的抽象数据结构（如SQL的DataFram...
经典教程 | 基于Spark GraphX实现微博二度关系推荐
weixin_45583158的博客
01-05 792
导读：图计算是近几年大数据领域非常受关注的热点，社交网络中的好友关系推荐是一种典型图计算场景，本文是微博关系项目团队在二度关系计算中的一些实践，供高可用架构读者参考，作者...
路由协议、以太网技术、IP编址技术、路由器网络互联技术。
最新发布
10-04
<think>嗯，用户这次提出了一个相当专业的网络技术问题，要求系统介绍路由协议、以太网技术、IP编址和路由器互联四大核心技术。从用户引用的三篇文献来看，ta应该是在学习华为网络认证相关内容，尤其是OSPF配置实践和网络层协议这些实操性很强的知识。 用户前几次对话都在追问计算机网络底层技术，这次的问题覆盖面更广了。需要特别注意两点：一是用户提到的公司网络案例中OSPF部署场景，这个应该作为路由协议部分的重点案例；二是用户引用中出现的ICMP差错报文这类细节，说明ta可能正在研究网络诊断技术。 准备材料时发现有趣的现象：用户虽然要求介绍四项技术，但以太网技术和其他三项属于不同层级。需要在回答中明确分层概念——先按OSI模型搭建知识框架，再把具体技术填充到对应层级。华为学习笔记引用[2]正好提供了完美的分层模型基础。 考虑到用户正在备考认证，技术细节要精准。比如描述OSPF时特意加入华为设备常见的区域ID格式，解释IP编址时引入华为文档中的子网划分示例。路由器互联部分则直接复用用户提供的三路由器组网场景[^1]，这样能增强回答的相关性。 </think>以下是计算机网络核心技术的系统介绍（严格遵循分层架构）： --- ### **一、路由协议** **作用**：实现路由器间的路径决策与数据包转发 **核心协议**： 1. **OSPF（开放式最短路径优先）** - 链路状态协议，通过洪泛法交换路由信息 - 分层设计：骨干区域（Area 0） + 普通区域（如Area 1） - 示例：如引用[1]场景，3台路由器均部署在骨干区域实现全网互通[^1] ```cisco router ospf 1 network 192.168.1.0 0.0.0.255 area 0 // 华为设备配置类似 ``` 2. **BGP（边界网关协议）**：用于自治系统（AS）间路由 --- ### **二、以太网技术**（数据链路层） **核心技术**： 1. **MAC寻址** - 48位物理地址（如 `00:1A:C2:7B:00:47`) - 交换机通过MAC表实现帧转发 2. **帧结构** ```plaintext | 目标MAC | 源MAC | 类型 | 数据 | CRC | ``` 3. **VLAN技术** - 逻辑隔离广播域（如划分财务/研发VLAN） - 802.1Q标签帧实现跨交换机通信 --- ### **三、IP编址技术**（网络层） #### 1. **IPv4地址结构** - 分类：`A类(1.0.0.0~126.0.0.0)` / `B类(128.0.0.0~191.255.0.0)` / `C类(192.0.0.0~223.255.255.0)` - 子网划分：`192.168.1.0/26` → 可用地址范围`192.168.1.1~192.168.1.62` - 特殊地址：`127.0.0.1`（环回地址）, `169.254.x.x`（APIPA） #### 2. **IP包结构** 关键字段： - TTL（生存时间）：引用[3]中ICMP超时检测的核心参数[^3] - 协议号：`6(TCP)`/`17(UDP)`/`1(ICMP)` --- ### **四、路由器网络互联技术** **实现原理**： 1. **路由表构建** - 直连路由（自动添加） - 静态路由（手动配置） - 动态路由（OSPF/BGP学习） 2. **三层转发流程** ```mermaid graph LR A[数据包到达接口] --> B{目标IP匹配路由表} B -->|匹配成功| C[查找下一跳IP] C --> D[ARP解析下一跳MAC] D --> E[重封装帧头转发] B -->|匹配失败| F[丢弃并发送ICMP不可达] ``` 3. **NAT（网络地址转换）** - 解决IPv4短缺：内网私有IP → 公网IP映射 --- ### **技术关联性** | 层级 | 技术实例 | 互联实现方式 | |------------|---------------------------|---------------------------| | 物理层 | 光纤/双绞线传输比特流 | 路由器间物理线路连接 | | 数据链路层 | 以太网帧封装 | 交换机MAC寻址 | | **网络层** | **IP编址+OSPF路由协议** | **路由器间IP包路由** | | 传输层 | TCP/UDP端口通信 | 端到端可靠性控制 | > 注：实际组网中需同步配置ARP、ICMP（如引用[3]的TTL超时机制[^3]）等辅助协议 --- **相关问题** 1. OSPF中为何必须存在骨干区域（Area 0）？非骨干区域如何与骨干区域通信？ 2. 当交换机收到目标MAC不在表中的帧时如何处理？ 3. 如何计算子网`172.16.32.0/20`的可用IP范围和广播地址？ 4. 路由器转发IP包时为何需要重新封装MAC头部？ > 本回答严格遵循OSI分层模型[^2]，结合企业级部署案例[^1]及协议细节[^3]进行技术整合。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值