第3部分——浏览器端
开始之前，请先在项目的根目录位置创建一个static目录。我们将从这里提供HTML和JavaScript。
现在，我们首先使用WebRTC的getUserMedia抓取一个本地摄像头Feed。从这里，我们需要将该Feed的快照发送到刚刚创建的对象检测Web API，获取结果，然后使用canvas实时地在视频上显示这些结果。
HTML
我们先创建local.html文件：
教你如何结合WebRTC与TensorFlow实现图像检测（下篇）
2019-11-28 10:06:49教你如何结合WebRTC与TensorFlow实现图像检测（上篇）
2019-11-28 10:05:22TensorFlow是目前最流行的机器学习框架之一。TensorFlow的一大优势是，它的很多库都有人积极进行维护和更新。而我最喜欢的其中一个库就是TensorFlow对象检测API。Tensorflow对象检测API可以对一张图形上的多个对象进行分类，并提供它们的具体位置。该API在将近1000个对象类上进行了预先训练，可提供各种经过预先训练的模型，让你可以在速度与准确性之间权衡取舍。
有这些模型的指引固然很好，但所有这些模型都要使用图像才能发挥作用，而这些图像则需要你自行添加到一个文件夹中。我其实很想将其与实时的WebRTC流配合到一起，通过网络实现实时的计算机视觉。由于未能找到这方面的任何例子或指南，我决定写这篇博文来介绍具体的实现方法。对于使用RTC的人，可以将本文作为一篇快速指南加以参考，了解如何使用TensorFlow来处理WebRTC流。对于使用TensorFlow的人士，则可以将本文作为一份快速简介，了解如何向自己的项目中添加WebRTC。使用WebRTC的人需要对Python比较熟悉。而使用TensorFlow的人则需要熟悉网络交互和一些JavaScript。
本文不适合作为WebRTC或TensorFlow的入门指南使用。如需这样的指南，应参考TensorFlow入门指南、WebRTC入门指南等，网上的相关介绍与指南数不胜数。
超分辨率在移动实时音视频的应用实践
2019-11-28 10:02:40近年来，超分辨率（简称超分）在图像增强、去噪、细节恢复、图像放大方面展现出广阔的应用前景，成为计算机视觉领域的研究热点，受到学术界和工业界的关注和重视，业界也纷纷举办超分竞赛，比如优酷的视频超分竞赛、声网的图像超分竞赛和深圳市政府举办的AI+4K HDR竞赛，旨在吸引更多的人参与超分算法的研究和促进超分算法的落地。因为超分算法的大规模应用落地还存在一些亟需解决的问题。
移动端实时超分的难点
目前，移动端实时音视频应用目前存在的一个痛点问题是传输的视频分辨偏低，而终端显示屏的分辨率高，存在分辨率不匹配的问题。实时传输的视频分辨率普遍偏低，是由于受到传输带宽的限制和实时性的要求。低分辨率视频不能有效的展现图像细节，因而带来的用户体验有限。为了解决传输视频与终端显示屏分辨率不匹配的问题，通常的做法是将低分辨率视频进行放大。
传统最常用的放大方法是插值法，如bicubic、nearest、bilinear等，优点是速度快，但缺点也很明显，即图像放大后，图像存在模糊、细节丢失的现象。
WebRTC TURN协议初识及turnserver实践
2019-11-28 09:59:04
WebRTC源码中turnserver的使用方法
2019-11-28 09:58:03WebRTC的源码中自带了一个turnserver，编译之后，会在out/Default下生成一个turnserver文件，可以充当STUN和TURN server。用法如下：
./turnserver int_addr ext_addr realm auth_file- 1
int_addr指的是面对turnclient，接收turnclient数据的ip和端口，形式是host:port，例如192.168.1.12:3478。
ext_addr是公共IP（可能是公网IP，内网使用则可能是相对于NAT的公共IP），例如192.168.1.12。
realm是类似example.com之类的。
WebRTC学习资料大全
2019-11-28 09:57:26WebRTC 介绍
官网在这里：https://webrtc.org/。然后这里有一个官方的Getting Started：https://webrtc.org/start/。
Google关于WebRTC的幻灯片：
然后是WebRTC的SPEC：
WebRTC项目源码地址：https://chromium.googlesource.com/external/webrtc。
Native开发文档：https://webrtc.org/native-code/development/。
JS端的API文档：http://w3c.github.io/webrtc-pc/。
维基百科对WebRTC的介绍：https://en.wikipedia.org/wiki/WebRTC。
WebRTC工作组：https://www.w3.org/2011/04/webrtc/。
Ubuntu 14.04下编译WebRTC
2019-11-28 09:56:29强制WebRTC使用转发(relay)模式
2019-11-28 09:55:25假如你在企业内使用WebRTC，可能会遇到UDP端口被封的情况，这个时候可以强制WebRTC使用TCP转发模式。
要使用TCP转发，得配合一个 turn server，开源的 coturn 实现了 TCP 转发，我在“Ubuntu Server 14.04下配置coturn for WebRTC”一文中介绍了如何安装配置，可以参考。
配置了 coturn 后，在 Chrome 内建立 PeerConnection 对象时，做个配置，就可以实现转发了，类似下面：
实际中的WebRTC：STUN，TURN以及信令（五）
2019-11-28 09:54:10NAT给设备提供了一个IP地址以使用专用局域网，但是这个地址不能在外部使用。由于没有公用地址，WebRTC对等端就无法进行通信。而WebRTC使用 STUN来解决这个问题。
STUN服务器位于公共网络上，并且有一个简单的任务：检查传入请求的IP地址（来自运行在NAT后面的应用程序），并将该地址作为响应发送回去。换句话说，应用程序使用 STUN服务器从公共角度发现其IP:端口。这个过程使得WebRTC对等端为自己活得一个可公开访问的地址，然后通过信令机制将其传递给另一个对等端以建立直接链接。（实际上不同NAT工作方式都有所不同，可能有多个NAT层，但是原理是一样的）。
因为 STUN服务器不需要做太多的工作或者记特别多的东西，所以相对低规格的 STUN服务器就可以处理大量的请求。
根据webrtcstats.com的统计（2013年），大多数WebRTC通话都成功地使用 STUN进行连接，有86%。尽管对于防火墙之后的对等端之间的呼叫以及复杂的NAT配置，成功通话量会更少一些。
WebRTC实战： STUN, TURN, Signaling
2019-11-28 09:52:10原文：WebRTC in the real world: STUN, TURN and signaling By Sam Dutton
WebRTC 实现了网页点对点交流。
但是…
WebRTC 仍然需要服务器来:
- 交换客户端元数据协调通讯，即信令(Signaling)。
- 应对NATs(Network Address Translators) 和防火墙。
本文将向你展示如何建立一个信令服务器，并使用STUN和TURN服务器来处理实际应用中出现的一些怪异的连接问题。也将解释WebRTC应用是如何处理多方通讯并与类似VoIP、PSTN的服务互动的。
如果你没有了解过WebRTC，我强烈建议你在看这篇文章之前先看看这篇文章 Getting Started With WebRTC