基于mediasoup的多方通话研究（一）
2021-05-20 23:42:06Mediasoup库的架构（C++部分）
2021-05-20 23:38:26目标帧率丢帧-2
2021-05-19 07:17:42目标码率丢帧-1
2021-05-19 07:17:07走读Webrtc 中的视频JitterBuffer(一)
2021-05-19 07:15:35基本概念
在实时流媒体系统中，jitterbuffer是在解码端，起到如下几个作用:
- 对rtp包进行排序
- 对rtp包进行去重
- 去抖动
对于1，2点比较简单。核心的是去抖动，去抖动实现的目标就是使视频能平滑播放，不因为抖动忽快忽慢。
简单的视频jitterbuffer可以只针对rtp包进行处理，只对rtp进行排序，去重。并不处理视频帧。如下图
这种简单的实现并不关心视频帧是否有错，是否可以解码。视频帧间是否可以持续解码。(针对视频帧内的RTP包，如果经过排序和去重，可以认为是可解码的)。这些全部放在解码模块去做。
当然这种形式的Jitterbuffer无法处理抖动。因为对视频帧而言，抖动的处理是针对帧间的，而不是RTP包间的。把它叫做rtp buffer应该更合适些。
webrtc中的视频jitterbuffer
webrtc中的jitterBuffer也是QOS机制中的核心，它会估算抖动，丢包，决定是否通过Nack来重传。这里我先忽略与QOS相关的一些逻辑，先看看jitterBuffer中的一些核心的基础功能。
webrtc中的jitterBuffer是基于视频帧实现，在RTP的接收端存入jitterbuffer的是rtp包，在解码端取出的是视频帧。
走读webrtc 中的视频JitterBuffer(二)
2021-05-19 07:14:53WebRTC视频JitterBuffer详解
2021-05-19 07:12:59- 1 WebRTC版本
- 2 概要
- 3 JitterBuffer结构和基本流程
- 4 帧完整性 - PacketBuffer
- 4.1 包缓存
- 4.2 帧的开始和结束
- 4.3 插入RTP数据包 - PacketBuffer::InsertPacket
- 4.4 处理RTP填充包 - PacketBuffer::PaddingReceived
- 4.5 丢包检测 - PacketBuffer::UpdateMissingPackets
- 4.6 连续包检测 - PacketBuffer::PotentialNewFrame
- 4.7 帧完整性检测 - PacketBuffer::FindFrames
- 4.8 总结
- 5 查找参考帧 - RtpFrameReferenceFinder
- 5.1 图像ID - PID
- 5.2 设置参考帧 - RtpFrameReferenceFinder::ManageFramePidOrSeqNum
- 5.3 处理填充包 - RtpFrameReferenceFinder::PaddingReceived
- 5.3 更新填充包状态 - RtpFrameReferenceFinder::UpdateLastPictureIdWithPadding
- 5.4 处理缓存的包 - RtpFrameReferenceFinder::RetryStashedFrames
- 5.5 总结
- 6 有序输出 - FrameBuffer
- 6.1 插入帧 - FrameBuffer::InsertFrame
- 6.2 更新参考帧信息 - FrameBuffer::UpdateFrameInfoWithIncomingFrame
- 6.3 取解码帧 - FrameBuffer::NextFrame
- 6.4 状态传播 - FrameBuffer::PropagateContinuity/FrameBuffer::PropagateDecodability
- 6.6 总结
- 7 抖动与延迟
- 8 总结
Webrtc AGC 算法原理介绍（三）
2021-05-19 02:22:34本系列介绍Webrtc的agc算法。webrtc的agc算法对各种情况作了较为详尽的考虑，而且使用了的定点数的方法来实现，因此内容比较多。尽量在这几篇文章中描述清楚。
一、WebRtcAgc_AddMic
WebRtcAgc_AddMic用在自适应模拟模式下（kAdaptiveAnalog），其流程如下：
Webrtc AGC 算法原理介绍（二）
2021-05-19 02:20:48一、AGC的三个流程
函数 调用 功能
ProcessRenderAudio 远端输出前 调用AGC的WebRtcAgc_AddFarend
AnalyzeCaptureAudio 近端高通滤波器后 根据模式，可变模拟（kAdaptiveAnalog）调用WebRtcAgc_AddMic，可变模拟（kAdaptiveDigital）调用WebRtcAgc_VirtualMic
ProcessCaptureAudio 近端VAD后输出前 调用AGC的WebRtcAgc_Process
这三个流程是AGC的主要接口。下面将会对这些三个流程进行详细的介绍。
Webrtc AGC 算法原理介绍（一）
2021-05-19 02:19:57本系列介绍Webrtc的agc算法。webrtc的agc算法对各种情况作了较为详尽的考虑，而且使用了的定点数的方法来实现，因此内容比较多。尽量再这几篇文章中描述清楚。
一、AGC模块的结构与简介
较新的webrtc已经把原来的agc模块移动到了一个叫做legacy的文件夹。这个回头再写文章详细介绍。我还是从旧的agc算法开始讲起。Webrtc 的AGC算法的结构如下
｜–\include |–gain_control.h
agc—｜–analog_agc.c
｜–analog_agc.h
｜–digital_agc.c
｜–digital_agc.h