本文将讲述WebRTC中RTP、SRTP、RTCP协议。本文内容来自于超越RFC3550 － RTP/RTCP协议族分析
##一、前言 RF3550定义了实时传输协议RTP和它的控制协议RTCP。RTP协议是Internet上针对实时流媒体传输的基础协议，该协议详细说明在互联网上传输音视频的标准数据包格式。RTP本身只保证实时数据的传输，并不能提供可靠传输、流量控制和拥塞控制等服务质量保证，这需要RTCP协议提供这些服务。
RTCP协议负责流媒体的传输质量保证，提供流量控制和拥塞控制等服务。在RTP会话期间，各参与者周期性彼此发送RTCP报文。报文中包含各参与者数据发送和接收等统计信息，参与者可以据此动态控制流媒体传输质量。RTP和RTCP配合使用，通过有效反馈使使流媒体传输效率最佳化。
IETF的RFC3550定义了RTP/RTCP协议的基本内容，包括报文格式、传输规则等。除此之外，IETF还定义一系列扩展协议，包括RTP扩展，RTCP报文类型扩展，等等。本文对这些协议进行初步归纳总结，在分析RFC3550的基础上，�重点分析RTP系列协议，并以报文类型为主线分析RTCP系列协议。
本文将介绍WebRTC中的SDP协议，实际上SDP协议并不属于WebRTC专有协议。
ICE信息的描述格式通常采用标准的SDP,其全称为Session Description Protocol,即会话描述协议。SDP只是一种信息格式的描述标准,不属于传输协议,但是可以被其他传输协议用来交换必要的信息,如会话通知协议（SAP）、会话初始协议（SIP）、实时流协议（RTSP）、MIME 扩展协议的电子邮件以及超文本传输协议（HTTP）等。SDP协议是基于文本的协议，协议的可扩展性比较强，其具有广泛的应用范围。SDP 不支持会话内容或媒体编码的协商，所以在流媒体中只用来描述媒体信息。媒体协商这一块要用RTSP来实现。
流媒体协议sdp信息，附带在describe报文中有rtsp服务端发出，主要目的，告之会话的存在和给出参与该会话所必须的信息，sdp会话完全是文本形式，采用UTF-8编码的ISO 10646字符集。
图1-SDP协议例子 
图2-SDP协议例子续 
sdp描叙符包括：
关于 WebRTC 的源码下载和 Demo 的编译运行，WebRTC 的官方文档已经有非常详细的说明。以 Linux 为例，过程大概是这样的：
准备目录
|
1
2
|
$ mkdir webrtc
$ cd webrtc
|
下载代码
|
1
2
|
$ fetch --nohooks webrtc
$ gclient sync
|
安装依赖。
编译运行。
安装依赖和编译运行具体可以参考 WebRTC 的官方文档。
Windows：
国外下载：https://storage.googleapis.com/chrome-infra/depot_tools.zip
下载完把压缩包解压，然后把解压目录加入PATH环境变量
Linux（Android）/Mac（IOS）：
安装git
国外：git clone https://chromium.googlesource.com/chromium/tools/depot_tools.git
国内：git clone https://source.codeaurora.org/quic/lc/chromium/tools/depot_tools
把depot_tools目录加入
PATH：export PATH=`pwd`/depot_tools:"$PATH"大家好，我是来自百家云的陈聪，今天我将为大家带来与Licode的WebRTC全球分布式架构相关的技术分享。之所以想为大家介绍这个架构，是因为我在使用WebRTC开源服务器时发现WebRTC并没有提供类似于分布式或集群的整体解决方案，希望百家云在此领域的探索能为大家带来有价值的帮助。
1. SFU
1.1 SFU简介
本文分享了声网Agora 首席音频工匠高泽华在 RTC 2018 实时互联网大会上，以《SOLO X™：兼容 WebRTC 标准的抗丢包语音编码器》为题的演讲。主要介绍了声网推出的抗丢包语音编码器 Agora SOLO™ 的算法特点，以及第二代编解码器 Agora SOLO X™ 的新特性与测试效果。以下为演讲实录。
去年，我们在 RTC 大会上分享了自主研发的抗丢包编解码方案 Agora SOLO™ ，主要是面向抗丢包网络，解决实时通信传输 last mile 的问题。
有时，大家对丢包问题会有一些误解。很多人认为随着 4G 的普及和 5G 的建设，是不是丢包问题变得不重要了？我认为并不是这样，因为在现有网络条件下，不论是 server 到 server，还是 sever 到 last mile 都存在着大量的丢包问题。
我们谈到丢包就涉及到丢包的概念，到底什么叫做丢包？其实任何没有按时到达的包都是丢包。如果把一个包的延时拉到足够大，一般来说，我们可以通过无数次重传来解决丢包问题。如果这个包没有在规定的时间到达，都算丢包。而且，丢包也不一定是网络原因导致，有时候是由于系统的调度等原因造成。
举个例子。通常，Android 系统上播放线程、解码线程和收包线程都可以不是一个线程。Android 并不是特别实时的操作系统。一旦系统比较忙的时候，就容易产生收包线程和解码线程的冲突，导致丢包产生。而这种丢包是由于系统产生的。甚至在解码时，解码器完成解码后交给播放器播放，其中的 buffer 也会导致卡顿。
丢包也与带宽限制相关。如果带宽足够大，可以通过无数次重传来实现抗丢包效果。但如果带宽很有限，就不能完全依靠无限制的重传来实现抗丢包效果。
比如说，曾经联通做过这样的事情，流量包月，但每个月的带宽只能在 128kbps，满足你对网页和音视频的基本需求。在这种服务下，如果你开一些高性能或者大码率的信源通讯的时候就会产生带宽拥塞，带宽拥塞首先导致延时增加，下一步就会产生丢包。所以，实际上带宽和丢包也相关。
由于我们声网在全球布网，非洲、东南亚、中东和印度的网络状况与中国的网络状况相差还比较远。即使在中国的网络环境下，上海和偏远地区的网络状况也是不一样的。所以，并不是以后上了 5G 就不存在丢包问题了，相反，我认为随着网络的差异化会导致丢包的问题变得越来越普遍。
本文整理自声网数据平台首席架构师何丰在 RTC 2018 实时互联网大会的演讲内容。他的演讲内容主要包括，如何以数据来衡量实时通信质量，质量透明化背后的数据挑战，以及声网面向开发者免费推出的通信质量诊断分析产品“水晶球”（Agora Analytics）的应用与技术难点。以下为演讲实录。
我们是提供实时音视频服务的。我们希望让开发者们使用实时通信服务，就像使用水、电一样方便。用户的设备接入了我们的云服务后，就可以直接与全球其它国家和地区的用户进行实时的语音或视频互动。
在声网的实时通信云服务上，已经有很多种应用，比如直播与社交，像参加本次大会的 MeetMe 就是美国目前最大的约会社交平台；再比如教育，有很多教育类产品为国内学生与海外老师搭建了实时互动的教学平台；再比如游戏，此前游戏比较流行一起打怪升级，现在很多手游已经集成实时通信的功能，开始变得社交化。在前不久，我们已经开始为小天才儿童手表提供了实时语音、视频的服务，实际上也是 RTC 技术应用于 IoT 领域的一个典型案例。
一、为什么开发者需要实时通信服务的质量监控与质量透明？
本文是Janus 项目作者 Lorenzo Miniero撰写的， 2019 年 10 月 25 日他将来到北京 RTC 2019 大会，在「WebRTC Workshop」工作坊中分享WebRTC 服务端开发及 Janus 开发的技巧，并与听众小范围深入交流，名额有限，现在即可报名：2019.rtcexpo.org/（申请限时免费票，还可获得 Workshop 代金券~）
本文摘要：抓取WebRTC流量看起来相对简单，大多数情况下确实是这样：你只需要在其中一人的机器上安装类似tcpdump或wireshark的抓包工具，然后查看产生的文件，大多数情况会是.pcap或.pcapng文件。这些活动对于诊断连接问题或其它与WebRTC相关的问题很有用：实际上，wireshark可以自动检测出STUN，DTLS之类的标准协议，这些是WebRTC PeerConnections所关注的。
抓取WebRTC流量的唯一问题就是，媒体内容会被加密。当检查了STUN连接或DTLS握手之后，这不是一个问题，但是当你想要查看RTP或RTCP包的时候，这将会成为一个问题，它将会被加密成SRTP和SRTCP。实际上,尽管SRTP标题没有被加密，你可以任何形式抓取流量，但是SRTP负载不是，意味着你不能查看它的内容。
大多数情况下你不需要查看内容。正如期待的那样，你依然可以查看加密RTP包的标题，也就是最常被用到的信息。不管怎样，对于RTCP并不能这样说：实际上，一条RTCP信息可能实际上包含不止一个包，并且不存在一个共享的标题。除此之外，查看RTP负载可能会有效。
这意味着抓取加密流量是可行的，但是为了诊断目的抓取无加密数据效果可能更好。不幸的是，无其它帮助下这是不可能的：实际上，WebRTC情况下浏览器经常发送加密数据，即使有一些允许你抓取无加密数据进行测试，但是你还是需要依靠其它工具来获取媒体流，才能进行这项工作。
TensorFlow是目前最流行的机器学习框架之一。TensorFlow的一大优势是，它的很多库都有人积极进行维护和更新。而我最喜欢的其中一个库就是TensorFlow对象检测API。Tensorflow对象检测API可以对一张图形上的多个对象进行分类，并提供它们的具体位置。该API在将近1000个对象类上进行了预先训练，可提供各种经过预先训练的模型，让你可以在速度与准确性之间权衡取舍。
有这些模型的指引固然很好，但所有这些模型都要使用图像才能发挥作用，而这些图像则需要你自行添加到一个文件夹中。我其实很想将其与实时的WebRTC流配合到一起，通过网络实现实时的计算机视觉。由于未能找到这方面的任何例子或指南，我决定写这篇博文来介绍具体的实现方法。对于使用RTC的人，可以将本文作为一篇快速指南加以参考，了解如何使用TensorFlow来处理WebRTC流。对于使用TensorFlow的人士，则可以将本文作为一份快速简介，了解如何向自己的项目中添加WebRTC。使用WebRTC的人需要对Python比较熟悉。而使用TensorFlow的人则需要熟悉网络交互和一些JavaScript。
本文不适合作为WebRTC或TensorFlow的入门指南使用。如需这样的指南，应参考TensorFlow入门指南、WebRTC入门指南等，网上的相关介绍与指南数不胜数。
