【音视频第1天】常见的术语含义等

1. QoS和QoE的区别

Quality of Service（QoS）和Quality of Experience（QoE）是音视频通话中常用的两个概念。
**QoS是指网络提供服务的质量。**它是一种网络管理技术，用于确保网络中的数据传输符合预定的标准。QoS技术通过优先处理重要的数据包，降低网络拥塞，减少丢包和延迟，提高网络性能。
**QoE是指用户在使用某种服务时的主观感受。**它是评估用户对服务质量的一种方法，通常被用来描述用户感知的视觉、音频和交互体验。QoE不仅仅关注网络服务的技术指标，还包括用户对服务的期望、需求和满意度等因素。
两者之间的联系在于QoS是QoE的基础，只有网络提供良好的服务质量，才能让用户获得良好的体验。但是QoS并不能完全代表用户的体验，QoE更多地关注用户的主观感受。
衡量QoS的指标包括：带宽、丢包率、延迟、抖动等。衡量QoE的指标则比较复杂，包括视觉质量、音频质量、交互质量、响应时间等。
在音视频通话中，为了提高用户体验，需要同时优化QoS和QoE。可以通过技术手段来优化网络服务质量，比如增加带宽、降低丢包率、减少延迟等。同时，也可以通过提高视频和音频质量、改善用户界面等方式来提高用户体验。

2. 在webRTC中由浅入深讲一下什么是ARQ和Nack，相应的原理，以及解决的问题，优势劣势，还存在的问题

在WebRTC中，ARQ（Automatic Repeat Request）和Nack（Negative Acknowledge）也被用于数据传输过程中检测和纠正错误。
WebRTC中的ARQ和Nack工作原理与传统的ARQ和Nack相同：发送方发送数据包，接收方收到并检验数据包，若数据包出现错误，则向发送方发送Nack请求重传该数据包。发送方收到Nack后，会重新发送该数据包，直到接收方接收到正确的数据包为止。
ARQ和Nack解决的问题也是数据传输过程中的错误。在WebRTC中，数据传输过程中数据包可能会出现错误，比如数据包被丢失、数据包内容损坏等。ARQ和Nack可以检测到这些错误，并通过重传数据包的方式进行纠正，保证数据的完整性和正确性。
WebRTC中ARQ和Nack的优势和劣势与传统的ARQ和Nack相同。优势是可以有效地纠正数据传输过程中的错误，保证数据的完整性和正确性。同时，ARQ和Nack还可以在网络拥塞的情况下，通过减少发送数据包的速率，降低网络负载，从而保证数据传输的稳定性。劣势是会增加数据传输的延迟和带宽占用。当数据包出现错误时，需要重新发送该数据包，这会增加数据传输的延迟和带宽占用。同时，在网络拥塞的情况下，ARQ和Nack会降低发送数据包的速率，从而降低数据传输的效率。
WebRTC中ARQ和Nack仍然存在一些问题。首先，当数据包的丢失率较高时，ARQ和Nack会增加数据传输的延迟和带宽占用。其次，ARQ和Nack无法避免数据包的重复发送，这会浪费网络资源。最后，ARQ和Nack只能检测到数据包的错误，无法纠正数据包的内容错误，比如数据包中的数据格式错误等。为了解决这些问题，WebRTC还使用了其他的技术，比如FEC（Forward Error Correction）和纠错编码等。

3. 在WebRTC中Nack是如何检测到数据传输过程中数据包可能会出现错误，比如数据包被丢失、数据包内容损坏等？

在WebRTC中，Nack（Negative Acknowledge）可以通过以下两种方式检测到数据传输过程中数据包可能会出现错误，比如数据包被丢失、数据包内容损坏等：

1. 通过RTP序列号检测数据包是否丢失
   WebRTC中每个RTP数据包都有一个唯一的序列号，接收方可以通过检查序列号来判断是否有数据包丢失。如果接收方发现某个序列号对应的数据包没有收到，就会向发送方发送Nack请求重传该数据包。这种方式可以有效地检测到数据包的丢失情况。
2. 通过计算数据包的校验和检测数据包内容是否损坏
   WebRTC中每个数据包都包含一个校验和，接收方可以通过计算校验和来检测数据包内容是否损坏。如果接收方发现校验和不匹配，就说明数据包内容出现了错误，就会向发送方发送Nack请求重传该数据包。这种方式可以有效地检测到数据包内容的错误情况。
   通过以上两种方式，Nack可以检测到数据传输过程中数据包可能会出现错误，比如数据包被丢失、数据包内容损坏等。当检测到这些错误时，接收方会向发送方发送Nack请求重传该数据包，从而保证数据的完整性和正确性。

4. 在webRTC中由浅入深讲一下什么是FEC，相应的原理，以及解决的问题，优势劣势，还存在的问题

在WebRTC中，FEC（Forward Error Correction）也被用于数据传输过程中检测和纠正错误，它通过在数据包中添加冗余信息来提高数据的可靠性。
FEC的原理是在发送方对数据包进行编码，添加一些冗余信息，然后将编码后的数据包发送给接收方。接收方在收到数据包后，可以通过解码冗余信息来纠正数据包中的错误。具体来说，FEC可以通过添加冗余数据包或者添加冗余编码符号来实现纠错。当发生数据包丢失或者数据包内容错误时，接收方可以利用冗余信息来恢复丢失的数据包或者修复错误的数据包。
FEC解决的问题是数据传输过程中的错误。在WebRTC中，数据传输过程中数据包可能会出现错误，比如数据包被丢失、数据包内容损坏等。FEC通过添加冗余信息来提高数据的可靠性，从而可以有效地检测和纠正这些错误，保证数据的完整性和正确性。
FEC的优势是可以提高数据传输的可靠性，尤其是在网络质量较差的情况下。相较于ARQ和Nack，FEC可以在接收方还未检测到数据包错误时，通过添加冗余信息提前纠正错误，从而减少数据传输的延迟和带宽占用。同时，FEC还可以在网络拥塞的情况下，通过减少发送冗余数据包的速率，降低网络负载，从而保证数据传输的稳定性。劣势是需要额外的带宽来传输冗余信息，从而增加了数据传输的带宽占用。
FEC还存在一些问题。首先，FEC的效果与冗余信息的添加方式和参数设置有关，需要根据网络状况进行调整，比较难以优化。其次，FEC无法避免数据包的重复发送，这会浪费网络资源。最后，FEC只能检测到数据包的错误，无法纠正数据包的内容错误，比如数据包中的数据格式错误等。为了解决这些问题，WebRTC还使用了其他的技术，比如ARQ和Nack以及纠错编码等。

5.FEC如何增加冗余信息，依据是什么，如何进行纠错，如何利用冗余信息来恢复丢失的数据包或者修复错误的数据包

FEC可以通过添加冗余数据包或者添加冗余编码符号来增加冗余信息。具体添加冗余信息的方法有两种：

1. 添加冗余数据包
   在发送方添加冗余数据包时，可以将原始数据包和冗余数据包一起发送给接收方。如果接收方收到原始数据包，则不需要使用冗余数据包。如果接收方丢失了原始数据包，则可以使用冗余数据包来恢复丢失的数据包。添加冗余数据包的方法可以通过FEC的Reed-Solomon编码实现。
2. 添加冗余编码符号
   在发送方添加冗余编码符号时，可以对原始数据包进行编码，生成一些冗余编码符号，然后将原始数据包和冗余编码符号一起发送给接收方。如果接收方收到所有原始数据包，则不需要使用冗余编码符号。如果接收方丢失了某个原始数据包，则可以通过解码冗余编码符号来恢复丢失的数据包。添加冗余编码符号的方法可以通过FEC的LDPC（Low-density Parity-check）编码实现。
   FEC添加冗余信息的依据是根据数据包的重要性和网络状态来确定。具体来说，FEC可以根据数据包的重要性和网络状况来动态调整添加冗余信息的方式和参数，以达到最优的纠错效果和带宽利用率。
   FEC利用冗余信息来恢复丢失的数据包或者修复错误的数据包的方法有两种：
3. 恢复丢失的数据包
   如果接收方丢失了某个数据包，则可以通过解码冗余信息来恢复丢失的数据包。具体来说，接收方可以使用已经收到的数据包和冗余信息来解码，从而恢复丢失的数据包。这种方式可以在不需要重传数据包的情况下恢复丢失的数据包，减少数据传输的延迟和带宽占用。
4. 修复错误的数据包
   如果接收方收到了错误的数据包，则可以通过解码冗余信息来修复错误的数据包。具体来说，接收方可以使用已经收到的数据包和冗余信息来解码，从而修复错误的数据包。这种方式可以在不需要重传数据包的情况下修复错误的数据包，减少数据传输的延迟和带宽占用。
   FEC的纠错方法是通过解码冗余信息来实现的。具体来说，接收方可以使用已经收到的数据包和冗余信息来解码，从而恢复丢失的数据包或者修复错误的数据包。解码的过程可以通过FEC的Reed-Solomon编码或者LDPC编码实现。

6. 详细说说FEC的Reed-Solomon编码和FEC的LDPC（Low-density Parity-check）编码

（这里还是糊里糊涂等）
FEC的Reed-Solomon编码是一种基于多项式的纠错码，可以通过添加冗余数据包来增加冗余信息。具体来说，编码器将原始数据包看作多项式的系数，并将多项式扩展为一个更高次数的多项式，然后计算该多项式在一个有限域上的值，得到冗余数据包。接收方可以使用已经收到的数据包和冗余数据包来解码，从而恢复丢失的数据包。Reed-Solomon编码具有良好的纠错能力和高效的编解码算法，可以广泛应用于视频、音频等实时数据传输领域。
FEC的LDPC编码（Low-density Parity-check）是一种基于矩阵的纠错码，可以通过添加冗余编码符号来增加冗余信息。具体来说，编码器将原始数据包看作矩阵的一行或一列，并将矩阵扩展为一个更大的矩阵，然后计算该矩阵的校验和，得到冗余编码符号。接收方可以使用已经收到的数据包和冗余编码符号来解码，从而恢复丢失的数据包。LDPC编码具有良好的纠错能力和较低的编解码复杂度，可以广泛应用于数据传输领域。
Reed-Solomon编码和LDPC编码都是一种前向纠错（Forward Error Correction，FEC）技术，可以在不需要进行反馈的情况下对数据包进行纠错。它们的区别在于，Reed-Solomon编码适用于数据包丢失较多的情况，而LDPC编码适用于数据包错误较多的情况。此外，Reed-Solomon编码需要添加冗余数据包，而LDPC编码需要添加冗余编码符号。
总之，FEC的Reed-Solomon编码和FEC的LDPC编码都是常见的纠错码技术，可以在不需要进行反馈的情况下对数据包进行纠错，提高数据传输的可靠性。选择哪种编码方式，需要根据具体的传输场景和要求来决定。
Nack是需要反馈的。

7.WebRTC 利用 UlpFEC 进行数据保护，冗余系数由链路上的丢包率决定。这里面UlpFEC是什么？冗余系数有什么作用，链路上的丢包率怎么求

UlpFEC是WebRTC中使用的一种前向纠错技术，它是一种基于ULP（UDP-based Data Transfer Protocol）协议的前向纠错技术。它可以在传输数据时添加一些冗余数据，以便在接收方收到部分数据丢失的情况下，通过冗余数据进行修复。
UlpFEC的冗余系数是指添加的冗余数据包的数量，它的大小决定了FEC的纠错能力。通常，冗余系数越高，纠错能力越强，但是传输延迟也会相应增加。
链路上的丢包率是指数据在传输过程中由于网络原因丢失的比例。在WebRTC中，通过监测链路上的丢包率来动态调整FEC的冗余系数。如果链路上的丢包率很低，那么可以选择较低的冗余系数，以减少传输延迟。如果链路上的丢包率较高，那么需要选择较高的冗余系数，以提高数据传输的可靠性。链路上的丢包率可以通过计算发送方与接收方之间的数据包丢失比例来求得。

8. 在webRTC中由浅入深讲一下什么是Jitter Buffer，相应的原理，以及解决的问题，优势劣势，还存在的问题

Jitter Buffer是WebRTC中用于抵消网络延迟和抖动的技术。在WebRTC中，由于网络的不稳定性，接收方可能会在接收数据时遇到网络延迟和抖动，导致数据包的到达时间不稳定。为了解决这个问题，WebRTC使用Jitter Buffer来缓存一定数量的数据包，以平滑延迟和抖动对数据的影响。
Jitter Buffer的原理是，将接收到的数据包存储在缓冲区中，并根据数据包的时间戳进行排序。如果某个数据包到达的时间比预期时间早，则将其立即交付给应用程序。否则，将其存储在缓冲区中，等到与其时间戳相同的后续数据包到达后，再将其交付给应用程序。这样可以抵消网络延迟和抖动对数据的影响，保证数据在接收方的播放中保持平滑。
Jitter Buffer的优势在于可以有效地减少网络延迟和抖动对数据的影响，提高数据的播放质量。它可以根据不同的网络条件动态调整缓冲区的大小，以适应不同的网络环境。缺点在于，Jitter Buffer会增加数据的延迟，可能会影响实时性。同时，由于网络环境的复杂性，Jitter Buffer可能会面临一些问题，如缓冲区溢出、数据包丢失等。
总之，Jitter Buffer是WebRTC中解决网络延迟和抖动的重要技术之一，它可以通过缓存数据包来抵消网络延迟和抖动对数据的影响，提高数据的播放质量。但是，需要注意Jitter Buffer可能会增加数据的延迟，同时可能会面临一些问题，需要在实践中进行优化和解决。

9. 如果某个数据包到达的时间比预期时间早，则将其立即交付给应用程序。否则，将其存储在缓冲区中，等到与其时间戳相同的后续数据包到达后，再将其交付给应用程序。这样可以抵消网络延迟和抖动对数据的影响，保证数据在接收方的播放中保持平滑。为啥？

jitteBuffer的设计是为了解决网络中的抖动问题，即网络延迟的不稳定性。当某个数据包到达的时间比预期时间早，说明网络延迟较低，此时将其立即交付给应用程序可以使应用程序更快地处理数据，提高交互效率。同时，将数据包立即交付给应用程序也可以避免jitteBuffer内缓存的数据过多，从而减少延迟和数据包丢失的可能性。因此，jitteBuffer将早到的数据包立即交付给应用程序是为了最大化网络资源的利用和提高用户体验。

jitteBufferr如果某个数据包到达的时间比预期时间晚,则将其存储在缓冲区中等与其时间戳相同的后续数据包到达后再将其交付到应用程序是为什么

当某个数据包到达的时间比预期时间晚，说明网络延迟较高，此时将其立即交付给应用程序可能会导致应用程序无法及时处理数据，从而影响交互效率。而将其存储在缓冲区中等待后续数据包到达后再交付给应用程序，可以等待网络延迟恢复正常后再进行处理，避免了数据包交付的不稳定性和数据包丢失的可能性，同时也可以提高应用程序的处理效率。另外，根据jitteBuffer的设计，其还可以通过对缓冲区内数据包的排序和调整，来降低网络延迟的不稳定性，从而提高数据的交付效率和用户体验。因此，将数据包存