新手入门:了解网络应用与网络协议

英飞凌TC3xx SWAP机制深度解析:从内存映射到SOTA实战 本文深度解析英飞凌TC3xx的SWAP机制,从内存映射原理到SOTA实战应用。通过硬件级双Bank切换实现汽车ECU远程升级与自动回滚,详细讲解UCB配置、Flash地址映射及避坑指南,帮助开发者高效实现稳定可靠的固件更新方案。 阅读详情
           
网络应用(network application)是计算机网络之所以存在的理由。要是我们设想不出任何有用的网络应用,那就没有必要设计支持它们的网络协议了。不过,过去30年内已有不少人设计出大量精妙的网络应用。这些应用既包括从20世纪80年代流行起来的基于文本的经典应用,例如远程计算机访问、电子邮件、文件传送、新闻组、聊天等;也包括近些年来所谓的多媒体应用,例如Web、因特网电话、视频会议、音频/视频点播等。
尽管网络应用品种繁多是有许多彼此交错的部件,其软件却几乎总处于核心地位。网络应用的软件分布于两个或以上的端系统(即主机)。例如,Web应用包括彼此通信的两部分软件:运行在用户的主机(PC机、MAC机、工作站等)中的浏览器软件,以及运行在Web服务器上的Web服务器软件。Telnet应用同样由分别运行于本地主机和远程主机中的两部分软件构成。至于多方视频会议,参与会议的每台主机上都运行着一部分软件。
  用操作系统的行话来说,彼此通信的实际上不是软件部件(即程序)本身,而是进程。我们可以把进程看成是在端系统中运行着的程序。运行在同一个端系统上的进程彼此间通过使用进程间通信手段通信。进程间通信的具体规则由端系统的操作系统决定。本文不关心同一台主机内的进程间通信,而关心运行在不同主机(操作系统也可能不一样)的进程间的通信。运行在不同端系统上的进程通过网络交换消息彼此通信。发送进程创建消息并将之传入网络;接收进程收取这些消息,并可能发送消息作为响应,如下图所示。每个网络应用都有各自的应用层协议,它定义在进程间交流的消息的格式和顺序,以及在送出或收到消息时采取的行动。
应用层是我们着手研究协议的好地方。我们已经熟悉依赖于协议的许多应用。这将给我们一种似曾相识的感觉,知道协议的目的所在,有助于我们了解以后学习传输层协议、网络层协议和数据链路层协议时会碰到的许多同样的问题。
应用层协议
  把网络应用和应用层协议区分开来相当重要。应用层协议仅仅是网络应用的一部分,让我们看几个例子。Web是一个允许用户从Web服务器按要求取得“文档”的网络应用,web应用由许多部件构成,包括—个文档格式的标准(即超文本标记语言HTML)、Web浏览器软件、Web服务器软件(例如Apache、IIS服务器)、一个应用层协议。Web的应用层协议是超文本传送协议(HTTP),它定义如何在浏览器和web服务器之间传递消息。因此HTTP仅仅是Web应用的一部分。另一个例于是电子邮件应用。电子邮件应用同样由许多部件构成,包括安置用户信箱的邮件服务器、让用户阅读和创建电子邮件消息的邮件阅读器、一个定义电子邮件消息结构的标推、一组定义如何在服务器之间以及服务器和阅读器之间传递电子邮件消息并解释其特定部分(例如信头)的应用层协议。电于邮件应用的首要应用层协议是简单邮件传输协议(SMTP)。因此SMTP也仅仅是电子邮件应用的一部分。
  我们已经指出,应用层协议定义运行在不同端系统上的应用程序进程如何彼此传递消息。具体地说,一个应用层协议定义:
  ●所传递消息的类型,例如请求消息和响应消息。
  ●各种消息类型的语法,也就是消息中的各个字段以及它们如何定界。
  ●各个字段的语义,也就是各个字段中的信息的含义。
  ●确定一个进程何时以及如何发出消息或响应所收到消息的规则。
  有些应用层协议是在RFC文档中详细说明的,也就是说它们处于可免费获取的公众域。例如,HTTP就可以作为RFC获取。浏览器软件开发者只要遵循该RFC中定义的规则,其浏览器就可以从同样遵循这些规则的任何web服务器取得Web页面。然而,其他许多应用层协议却是专属的,有意不放在公众域中。例如,许多现有的因特网电话产品使用专属的应用层协议。
  客户和服务器
  一个网络应用协议通常拥有客户端(client side)和服务器端(server side)这两个对等的“端”或实体,它们分别对应运行客户程序的客户进程(简称客户)和运行服务器程序的服务器进程(简称服务器),如图2所示。处于一个端系统中的客户端与处于另一个端系统中的服务器端彼此通信。例如,web浏览器实现的是HTTP客户端,web服务器实现的是HTTP服务器端。在电子邮件应用中,发送邮件消息的邮件服务器扮演SMIP的客户端角色,接收邮件消息的邮件服务器扮演SMTP的服务器端角色。
   对于许多应用来说,它们的客户端和服务器端可以同时实现在单台主机上。就以主机A和主机B之间的一个Telnet会话为例。如果这个Telnet会话是由主机A发起的(即主机A上有一个用户登录到了主机B),那么主机A运行的是该应用的客户端,主机B运行的是该应用的服务器端。相反,如果这个Telnet会话是由主机B发起的,那么主机B运行的是该应用的客户端。用于在两台主机之间传送文件的FTP提供了另外一个例子。两台主机之间一旦启动一个FTP会话,其中任何一台主机就可以在该会话结束之前向另一台主机传达文件。尽管如此,我们还是按照几乎所有网络应用的惯常情况,把发起会话的主机标为客户。另外,单台主机实际上可能同时作为某个给定应用的客户主机和服务器主机。例如,邮件服务器主机同时运行着SMlP客户端(用于发送邮件)和服务器端(用于接收邮件)。
    进程间跨网络的通信
  一个网络应用涉及两台不同主机中跨网络彼此通信的两个进程(当然,组播网络应用有可能涉及两台以上主机间的通信)。这两个进程通过经由各自的套接字(socket)发送和接收消息彼此通信。我们可以把套接字看作相应进程上的“门”:进程把消息发送到网络或从网络接收消息都得经过自身的套接字。当一个进程想给另一台主机中的另一个进程发送消息时,它就把该消息推出自家的门。该进程认定在这扇门的另一侧有一个传输设施会把这个消息传输到目的进程的门口。
  图3展示了通过因特网彼此通信的两个进程间的套接字通信(本图假设底层的传输协议是TCP,不过UDP也可以同样使用)。可见套接字是单台主机内应用层和传输层之间的接口。套接字也用于指代应用程序和网络之间的应用程序接口(application program interface,简称API),因为它又是用于构造因特网中的网络应用程序的编程接口。应用程序开发人员可以完全控制套接字的应用层一侧,对于套接字的传输层一侧却几乎无能为力。对于传输层一侧他们只能控制:(1)传输协议的选择;(2)诸如最大缓冲区大小和最大片段大小等有限几个传输层参数的调整。一旦选定某个可用的传输协议,就使用由该协议提供的传输层服务来构造应用程序。
   进程寻址
  要让一台主机中的进程给另一台主机中的进程发送消息,发送进程必须能够识别接收进程。用于标识接收进程的信息有两个:(1)接收主机的主机名或主机地址,(2)在接收主机内部识别接收进程的标识符。
  让我们先考虑主机地址。在因特网应用中,接收主机是用其IP地址(1P addresse)标识的。现在,我们知道IP地址是惟一标识每个端系统的一个32位二进制数值(更准确地说,IP地址惟一地标识将各台主机连接到因特网的网络接口),既然连接到公共因特网的任何端系统的IP地址必须全球惟一,IP地址的分配就必须仔细管理。ATM网络的寻址标准则不同于因特网。ITU—T已规定,在公共ATM网络中使用称为E.164地址(ITU1997)的类似电话号码的地址。
  除了知道接收进程所在端系统的地址外,发送进程还得指定可让接收端系统把所传送消息定向到接收进程的信息。因特网中用于此目的的是接收进程的端口号(port number)。流行的应用层协议已被赋予特定的端口号。例如,使用HTTP协议的web服务器进程是以端口号80标识的,使用SMTP协议的邮件服务器是以端门号25标识的。RFC 1700列出了所有因特网标准协议众所周知的端口号。在开发新的网络应用程序时,必须赋予它一个新的端口号。
  用户代理
  再开始继续研究应用层协议之前,讨论一下用户代理(user agent)的概念也许有所裨益。用户代理是一个位于用户和网络应用之间的接口。例如,Web应用的用户代理是诸如Netscape Navigator和微软Internet Explore这样的浏览器。浏览器使得用严可以观看web页面、进行web冲浪、提供表单输入、与JAVA小应用程序交互,等等。浏览器还实现了HTTP协议的客户端。因此启动后的浏览器除给用户提供一个接口外,其进程还同时在经由一个套接字发送接收消息。另一个例子是关于电子邮件应用的。电子邮件应用的用户代理是“邮件阅读器”,它使得用户可以编写和阅读邮件消息。许多公司提供可运行在PC机、MAC机和工作站上的图形用户界面的邮件阅读器(例如Eudora,Netscape Messenger,Microsoft outlook)。运行在PC机上的邮件阅读器还实现了多个应用层协议的客户端,典型的有用于发送邮件的SMTP协议的客户端.以及用于检索邮件的某个邮件检索协议(例如POP3或IMAP)的客户端。
    应用所需的服务
  我们知道套接字是应用进程和传输协议之间的接口。发送端的应用进程通过这扇门送出消息。在门的另一侧,传输协议负责把这些消息跨网络传送到接收进程的门口。包括因特网在内的许多网络体系结构提供不止一个传输协议。在开发应用程序时,必须选择一个可用的传输协议。如何进行选择呢?最可能的情形是,先研究一下由可用的传输协议提供的服务,再选出其服务与应用程序的需求最为匹配的协议。
  这种情形类似于在两个城市之间旅行时选择乘火车还是乘飞机。你只能选择其中一种运输方式,而每种方式提供的服务是不同的(例如火车提供市区载客服务.飞机提供更短的运输时间)。
  网络应用可能要求传输协议提供什么样的服务呢?我们可以把网络应用的服务需求按以下3个尺度粗略地进行划分:可靠性、带宽、实时性。
  可靠性
  有些应用要求完全可靠地传送数据,也就是说不能有数据丢失,例如电子邮件、文件传送、远程主机访问、Web文档传送、财务应用等。丢失文件数据或财务交易数据的灾难性后果是可想而知的。另有一些丢失容忍应用(lose-tolerant application)可以容忍一定数量的数据丢失,例如实时音频/视频或仓储音频/视频等多媒体应用。在丢失容忍的多媒体应用中,数据的丢失可能会在播放出的音频/视频中引入短时脉冲干扰,不过不是至关紧要的损伤。数据丢失对于应用质量的影响以及实际可容忍的分组丢失量强烈依赖于应用本身及所用的编码方案。
  带宽
  有些应用必须以特定的持续速率传送数据才会有效。例如,如果某个因特网电话应用32Kbps的速率编码语音,那么它必须能够以同样的速率把数据发送到网络,再由网络递送到接收应用。如果得不到这个数量的带宽,应用就得以一个较低的速率编码,还得获取足以维持这个编码速率的带宽,否则只能放弃,因为对于这样的带宽敏感应用(bandwidth-sensitive application)来说,仅仅得到所需带宽的一半是没有用的。许多当前的多媒体应用对带宽敏感,不过将来的多媒体应用可能用上自适应编码技术,能够以与当前的可用带宽相匹配的速率编码。带宽敏感应用需要一个给定数量的带宽,而与之相对的是,弹性应用(elastic application)却可以根据临时可用量随多随少地使用带宽。电子邮件、文件传送、远程访问、web传送等都是弹性应用。当然带宽肯定越高越好。
  实时性
  诸如因特网电话、虚拟环境、远程电话会议、多方游戏等交互式实时应用要求数据的递送满足严格的定时限制,以此保证有效。这些应用中有许多要求端到端的延迟在数百毫秒或以下的数量级。例如,因特网电话中的长延迟往往导致交谈中不自然的停顿:在多方游戏或虚拟交互环境中,从采取行动到看见来自环境的响应之间的长延迟(譬如说在某个端到端连接结束时才看到来自另一个玩家的响应)将使得应用感觉起来不大现实。对于非实时应用来说,低延迟总比高延迟可取,不过它们不会对端到端延迟施加任何严格的限制。
  下表汇总了一些流行的和新兴的因特网应用的可靠性、带宽和实时性需求。这仅仅是一些较为流行的因特网应用的若干关键需求的概要。我们的目的并不是提供网络应用需求的一个完整分类,而是简单地标识出可由此将网络应用需求归类的几个最重要的轴。
    因特网(更一般地说,TCP网络)给应用程序提供两个传输协议:用户数据报协议(UserDatagram Protocol,UDP)和传输控制协议(Transaction Control Protocol,TCP)。当开发人员创建一个新的因特网应用时,他必须选择UDP或TCP这两个协议之一用于该应用。这两个协议给应用提供不同的服务模型。
   由因特网传输协议提供的服务
  TCP服务
  TCP服务模型包括面向连接的服务和可靠的数据传输服务。调用TCP作为其传输协议的应用同时取得这两种服务。
  面向连接的服务指的是客户端和服务器端的TCP在开始传输应用层消息之前,先交换传输层控制信息。这个所谓的握手过程警示客户和服务器,以便它们为来自对方的分组冲击做好准备。握手阶段结束之后,我们说这两个进程的套接字之间存在一个TCP连接(TCP connection)。这是一个全双工的连接,也就是说客户和服务器这两个进程可以同时通过该连接向对方发送消息。完成消息的发送后,应用进程必须告知TCP拆除这个连接。称这种服务为“面向连接”服务而不是“连接”服务(或者说“虚电路”服务)的理由在于,它两端的进程是以非常松散的方式连接的。
  可靠的传输服务指的是彼此通信的进程可以依赖TCP无错地顺序递送所有数据。当其中任何一个应用进程把一个字节流传入套接字时,它可以指望TCP把同样的字节流递送到对方的套接字,中间不会有字节的丢失或重复。
  TCP还包含一个拥塞控制机制,它是因特网的一种公益服务,其目的不在于让彼此通信的进程直接受益。TCP拥塞控制机制在网络变得拥塞时抑制发送进程(可以是客户,也可以是服务器)。确切地说,TCP拥塞控制试图把每个TCP连接限定在它所公平共享的网络带宽内。对于有最小带宽需求限制的实时音频和视频应用来说,抑制传输率会有很坏的后果。此外,实时应用可容忍数据丢失,不需要完全可靠的传输服务。由于这些原因,实时应用程序的开发人员通常设计成在UDP而不是TCP上运行他们的应用。
  概述完TCP提供的服务后,我们说一下TCP没有提供的服务。首先,TCP不保证最小传输率。具体地说,TCP不允许发送进程以想要的任意速率发送;相反,发送速率受到TCP拥塞控制的调节,发送进程有可能被迫以一个较低的平均速率发送。其次,TCP不提供任何延迟保证。具体地说,发送进程把数据传入自己的TCP套接字之后,这个数据将最终到达其接收套接字,然而就该数据花多长时间到达那儿来说,TCP绝对不作保证。花几十秒甚至几分钟等待TCP从web服务器往Web浏览器递送一个消息(例如,其中含有一个HTML文件)也非罕见。总之,TCP保证递送全部数据,但对递送速率和所经历的延迟不加保证。
  UDP服务
  UDP是一个不提供非必要服务的轻量级传输协议,具有一个最简约的服务模型。UDP是无连接的,因此两个进程彼此通信之前没有握手过程。UDP提供不可靠的数据传输服务,也就是说当一个进程往自己的UDP套接字发出一个消息时,UDP不能保证这个消息会最终到达接收套接字。另外,就确实到达接收套接字的消息而言,它们的到达顺序也可能与发送顺序不一致。
  UDP不包含拥塞控制机制,因此发送进程能够以任意速率往UDP套接字倾注数据。尽管不能保证所有的数据都到达接收套接字,但是仍会有相当比例的数据到达。实时应用程序的开发人员往往选择在UDP上运行他们的应用。与TCP类似,UTP也不提供任何延迟保证。
  下表指出了一些流行的因特网应用所用的传输协议。我们看到,电子邮件、远程终端访问、web和文件传送都使用TCP。这些应用选择TCP的主要原因在于TCP提供可靠的数据传输服务,能够保证所有数据最终到达其目的地。我们还看到,因特网电话一般运行在UDP之上。一个因特网电话应用的两端都得以某个最小速率跨网络发送数据:与TCP相比,UDP更可能满足这个要求。另外,因特网电话应用可容忍数据丢失,因此并不需要由TCP提供的可靠数据传输服务。
我们已经指出,TCP和UDP都不提供定时保证,这是不是意味着时间敏感的应用不能运行在当今的因特网上呢?其答案显然是否定的——时间敏感的应用已在因特网上存在好多年了。这些应用往往工作得相当出色,因为它们已被设计成能够尽最大程度地对付这种缺乏保证的服务。尽管如此,当延迟过大时(这在公共因特网中是常事),最聪明的设计也有其局限。总之,当今的因特网通常能够为时间敏感的应用提供满意的服务,但不能提供任何定时或带宽上的保证。
  本文准备介绍的网络应用
  因特网上,公众域和专属的应用层出不穷。我们不想百科全书式地罗列一大堆因特网应用,于是选了少数几个既重要且流行的应用集中讨论。我们将具体地讨论4个流行的应用:Web、文件传送、电子邮件、目录服务。我们首先讨论web,其原因不仅在于web是一个极其流行的应用,还在于它的应用层协议(即HTTP)相对简单,可用于阐明网络协议的许多关键因素。接下来讨论文件传送,因为其协议与HTTP恰好形成对照,使得我们可以强调一些额外因素。我们还讨论电子邮件,它是因特网中第一个高度流行的应用。应该看到,现代的电子邮件使用不止一个应用层协议。Web、文件传送和电于邮件有共同的服务需求:需要可靠的传输服务,没有特别的定时需求,能接受弹性带宽服务。TCP提供的服务完全满足这3个应用。域名系统(Domain Name System,DN5)是我们讨论的第4个应用,它为因特网提供目录服务。多数用户不会直接与DNS打交道;相反,他们通过其他应用(包括即将讨论的那3个应用)间接求助于DNS。DNS精妙地展示了可以怎样在因特网中实现分布式数据库。这4个即将讨论的应用对时间都不大敏感。
   
 
 
 


Trackback: http://tb.blog.youkuaiyun.com/TrackBack.aspx?PostId=1460272


《手把手教你修复过期K8s集群证书:记一次K8s集群起死回生实录》 今天本想打开半年前部署的K8s测试集群跑个Demo,结果`kubectl`直接报错`certificate has expired`!作为一名云原生老司机,我决定把这次'抢救'过程记录下来,手把手带大家解决这个运维常见问题。 阅读详情

相关推荐

长短期记忆网络(Long Short-Term Memory networks, LSTM)

如何简单的理解LSTM——其实没有那么复杂:

weixin_39910711的博客 2万+

【学习笔记】网络层、传输层、应用层协议

简单协议

yy2293816909的博客 1267

阿里云习题多选部分459道

比如: UserA的用户在杭州有一台经典网络的ECS云服务器InstanceA (内网IP: A.A.A),InstanceA所属的默认安全组为GroupA, UserB的用户在杭州有一台经 典网络的ECS云服务器InstanceB(内网IP:B.B.B),InstanceB所属的默认安全组为GroupB。43.创建阿里云的云服务器ECS实例之前,需要对ECS实例的配置进行选型,阿里云为用户提供了推荐的配置组合方案来满足大部分用户的需求,这些推荐配置只是作为开始使用云服务器ECS实例的参考。

2501_91384465的博客 1313

网络层与应用协议

网络层与应用协议网络层概述广播与广播域概述ARP协议的介绍 网络层概述 网络层负责定义数据通过网络流动所经过的路径,其功能可以总结为以下几点:1.定义了基于IP协议的逻辑地址 2.选择数据通过网络的最佳路径 3.连接不同的媒介类型 IP数据包头的格式: 版本(vesion); 该字段包含的是P的版本号, 4bi1. 目前P的版本为4 (即P4).该版本形成于20世纪80年代早期,现在无论是在局域网还是在广域网中,使用的都是P4.目前Pv4所面临的最大问题是P地址空间不足,即将使用的Pv6是P的下一个版本,

kaminao的博客 1597

昇腾AI处理器Ascend C编程:从C/C++基础到高性能算子开发实战

异构计算是提升AI算力效率的核心技术,通过在CPU之外引入专用处理器(如GPU、NPU)协同工作,实现大规模并行计算。其原理在于将计算密集型任务卸载到专用硬件,利用其高并行架构加速处理。技术价值在于突破传统CPU的算力瓶颈,为深度学习训练与推理提供强大动力,广泛应用于模型部署、科学计算和高性能计算场景。本文聚焦昇腾AI处理器的原生编程语言Ascend C,它基于C/C++标准扩展,通过显式内存管理和任务并行模型,充分发挥达芬奇架构中Cube与Vector单元的性能。针对CANN算子开发,文章详解了从环境搭建

weixin_34411563的博客 369

Android开发工程师面试问题与参考答案

这是一份Android开发工程师职位面试指南,主要针对自研OS开发岗位。岗位要求3年以上独立开发经验,熟悉Android平台UI设计、四大组件和Java基础。面试问题覆盖五大核心领域:基础知识、开发经验、技术深度、问题解决和性能优化。文章提供了典型面试问题及专业参考答案,帮助应聘者准备关键技术点,如多线程处理、HashMap与ConcurrentHashMap区别、Handler机制等。同时建议应聘者结合项目经验展示优化能力,并注意公司提供完善的薪酬福利和团队文化。

郑伟强dev的专栏 896

计算机网络之应用层

计算机网络中的应用层详解。针对HTTP、DNS等应用层协议进行了最详细的解释

真滴不可理喻的博客 1136

UE4动作游戏实例RPG Action解析二:GAS系统播放武器绑定的技能,以及GE效果

官方实例激活技能通过装备系统数据激活,我先用武器数据资产直接激活官方实例蒙太奇播放是自定义的AbilityTask,我先用更简单的方法实现效果1.1.1 插件启用AbilitySystem1.1.2 PlayerCharacter绑定技能组件AbilitySystemComponent 1.1.3 技能初始化,AbilitySystemComponent->GiveAbility 把上节获取到的默认武器绑定的技能GameAbility 添加到ASC组件 1.2、创建一个GameplayAbili

yuchenwuhen的专栏 1283

协议的概念

从应用的角度出发,协议可理解为“规则”,是数据传输和数据解释的规则。数据的发送方和接收方要严格遵照这些规则(这些规则肯定是之前就定好的)。 例如:第一次发送文件名,第二次传输文件大小,第三次发送文件内容 ,这是FTP 协议的雏形。 如果双方不遵照这个规则,就会出现数据混乱。 TCP 协议注重数据的传输。 HTTP 协议着重于数据的解释。 典型协议: 应用层 :常见的协议有 HTTP 协议,FTP 协议。 传输层 :常见协议有 TCP/UDP 协议。 网络层 :常见协议有 IP 协议、ICMP 协议、IGMP

weixin_42374938的博客 453

Linux内核进程管理子系统有什么第五十一回 —— 进程主结构详解(47)

Linux内核进程管理子系统有什么第五十一回 —— 进程主结构详解(47)

phmatthaus的专栏 1386

【连接器专题】 EIA-364 系列标准的完整列表

EIA-364 系列标准在电子工业中具有重要的地位,为电子连接器和互连系统的测试和验证提供了统一的、可操作的流程和方法,有助于提高电子产品的质量和可靠性,促进了电子工业的发展

一点硬件 2663

新手入门:了解网络应用与网络协议5

新手入门:了解网络应用与网络协议5 Posted on 2007-04-26 10:55 szw104 阅读(8) 评论(0)  编辑 收藏 引用 网摘 所属分类: Web原理 <!--<rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"xmlns:dc="http://purl.org/dc/ele

得失不过二分意,去留只随一寸缘.青山作画千秋墨,绿水为琴万古弦. 656

Monorepo与pnpm:前端项目管理的完美搭档

pnpm又称 performant npm,翻译过来就是高性能的npm。Monorepo是一种项目开发与管理的策略模式,它代表"单一代码仓库"(Monolithic Repository)。在Monorepo模式中,所有相关的项目和组件都被存储在一个统一的代码仓库中,而不是分散在多个独立的代码仓库中,这些项目之间还可能会有依赖关系。

m0_68271787的博客 2562

新手入门:了解网络应用与网络协议1

新手入门:了解网络应用与网络协议1 Posted on 2007-04-26 10:54 szw104 阅读(4) 评论(0)  编辑 收藏 引用 网摘 所属分类: Web原理 <!--<rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"xmlns:dc="http://purl.org/dc/ele

得失不过二分意,去留只随一寸缘.青山作画千秋墨,绿水为琴万古弦. 608

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

新手入门:了解网络应用与网络协议2

新手入门:了解网络应用与网络协议2 Posted on 2007-04-26 10:53 szw104 阅读(2) 评论(0)  编辑 收藏 引用 网摘 所属分类: Web原理 <!--<rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"xmlns:dc="http://purl.org/dc/ele

得失不过二分意,去留只随一寸缘.青山作画千秋墨,绿水为琴万古弦. 689

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

上一篇: 网管软件发展趋势:智能性、高效性、业务性
下一篇: 网管系统主流技术及其应用
techweb
博客等级 码龄19年 226粉丝 3842原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值