WebRTC开发者社区为开发者提供最新最全的WebRTC资料
目录
  • 首页
  • WebRTC概念与基础
  • WebRTC项目与应用
  • WebRTC教程资料
  • WebRTC开发资源
  • WebRTC源码分析
  • WebRTC服务端开发
  • WebRTC网络与通信
  • WebRTC编码与解码
  • WebRTC问题与缺陷
  • WebRTC-Androd端开发
  • WebRTC-RFC文档
  • WebRTC音频处理
  • WebRTC-Mediasoup
  • FFMpeg音视频处理
  • H264编解码基础
  • openCV相关

利用WebRTC和TensorFlow通过网络实现计算机视觉3

2019-11-23 00:55:51

原标题:Computer Vision on the Web with WebRTC and TensorFlow

前文连接:利用WebRTC和TensorFlow通过网络实现计算机视觉1;利用WebRTC和TensorFlow通过网络实现计算机视觉2

 

第3部分——浏览器端

开始之前,请先在项目的根目录位置创建一个static目录。我们将从这里提供HTML和JavaScript。

现在,我们首先使用WebRTC的getUserMedia抓取一个本地摄像头Feed。从这里,我们需要将该Feed的快照发送到刚刚创建的对象检测Web API,获取结果,然后使用画布实时地在视频上显示这些结果。

HTML

我们先创建local.html文件:

cv31

 

More...

利用WebRTC和TensorFlow通过网络实现计算机视觉2

2019-11-23 00:55:22

 

第1部分——确保Tensorflow正常工作

为确保TensorFlow对象检测API正常工作,我们首先从用于演示对象检测的官方版Jupyter Notebook经调整后的版本着手。我将此文件保存为object_detection_tutorial.py。

如果您剪切并粘贴该notebook的每个部分,得到的结果应如下所示:

More...

基于网页的语音命令识别

2019-11-23 00:54:37

原标题:Web-based voice command recognitions

上一次我们将音频buffer转成了图像,这一次,我们将采取这些图像,并使用deeplearn.js训练一个神经网络。结果是一个浏览器上的demo,你可以说出“yes”或者“no”的指令,然后像这样实时的显示出识别结果:

recognition1

虽然它离完美还差的很远,但却是在网上进行各种音频识别的一个很好的起点。现在让我们深入了解一下这是如何工作的。

快速入门:培训和测试一个指令识别器

下面是如何训练yes/no分类器的方法:

1. 跳转到模型训练页。这会花一点时间来下载训练数据(yes/no)。

2. 点击训练按钮,你会看到一个显示训练进度的图表。一旦你准备好了(会花一点时间,具体时间长短取决于你的硬件),停止训练,并且点击保存权重(文件)按钮。这会下载一个JSON文件。

recognition2

 

More...

使用WebRTC创建一个网络摄像头通信App

2019-11-23 00:53:24

 WebRTC是一个协议,允许人们使用JavaScript在两点之间创建实时通讯。

我们可以用这个结构使两个或更多浏览器之间实现直接交流,而不需要中心服务器。

服务器只需要在连接的时候被使用,因此每个客户端知道如何连接彼此。

我们可以使用这个特性创建什么类型的App呢?例如,直接网络摄像头连接。点对点通话,文件共享,还有更多。

本教程我会介绍一个当你第一次使用的时候,会发出惊呼的App:一个网络摄像头通信App.

我们不会使用原始WebRTC API,然而,我们需要注意很多细节。这就是library的作用,它们做出了很好的抽象,人们可以集中精力创建App而不是将精力花费的底层API上。

其中一个library是PeerJS,它使得实时通信变得非常简单。简单来说就是WebRTC,它的抽象使得结果获取更快,之后你可以学习内部是如何运作的。

建议:当你建立一个App时候使用Bit分享到一个可重复利用的集合中,并且在你所有的项目中同步它们!不妨试一下,可以加快你的工作速度。

 

More...

WebRTC SFU中发送数据包丢失反馈

2019-11-23 00:51:49

WebRTC SFU的职责之一是接收和发送RTCP数据包。RTCP数据包包括关于音频和视频流的不同类型的反馈,并且最重要的RTCP数据包是接收器报告(RR).

RR数据包从媒体流接收器发送到该媒体流的发送者。在SFU的情况下,RR由SFU产生,并发送到媒体流发送器,并且还从每个流接收器发送到SFU。(如图1)。

RR数据包内发送的反馈包括用于计算网络引入的往返时间延迟,抖动和信息丢失。

More...

多方WebRTC选择3:SFU

2019-11-23 00:50:32

part301

多方WebRTC选择3的方案是SFU,它表示选择转发单元。SFU背后的想法与MCU相同。它在中间有一台媒体服务器,所有peers向它发送流,唯一不同的是,它不会做繁重的处理,服务器将其引到其它peers,这样它们可以进行任何所需的处理。

这样服务器不需要能支持那么繁重的处理运算,你可以利用MCU提供的好处,同时避免Mesh hassles和MCU的高代价。

SFU的结构如下图所示:

 

More...

哪种TURN服务器正在被使用?

2019-11-23 00:48:19

原标题:What kind of TURN server is being used?

TURN作为WebRTC基础设施的重要一员,它负责帮助NAT穿透。但是使用它们有多频繁呢?以及使用情况可以告诉我们什么关于WebRTC开销的内容呢?

turn1

两星期以前,我的朋友Gustavo Garcia在推特上问有多少WebRTC通话是通过TURN传递的。因为我喜欢钻研数据,所以我回答了他,但是要想在140个字之内说明白很困难。所以我想要在这篇博文中回答以下几个问题:

# 失败率是多少?

# 通过TURN服务器传递的通话占比有多少?

# UDP,TCP和TLS TURN变体的相对占比是多少?

 

More...

为什么你的WebRTC产品需要TURN服务器

2019-11-23 00:46:47

端到端通信的一个主要问题是,在许多情况下,这些端点并不在公共互联网中,而是位于网络(和端口)地址转换器(NAT)后面的专用地址空间中。随着互联网从DARPA项目发展成为全球范围的网络,很快就会明白IPv4的232地址空间早晚会用尽。

在20世纪90年代,开发了多种策略来延迟IPv4地址耗尽的时间,其中之一就是NAT的设计。NAT将端点的真实IP地址隐藏于世界其他地方,这使得端点之间建立端到端直接连接变得困难。这就是协助框架—包括STUN和TURN(或使用中继NAT穿越)—派上用场的地方。

平均约有30%的P2P会议有一个端点通过TURN服务器连接。如果没有TURN中继服务器的帮助,这些用户将无法进行通信。因此,开发者需要知道TURN服务器是什么,以及为什么它对WebRTC通话的重要性。

ICE和STUN

turn2

More...

YouTube是如何使用WebRTC的

2019-11-23 00:45:51

我周二登录了一次YouTube,注意到右上角有一个新的摄像头图标,并写着“Go Live(New)”,所以我点了一下它试试看会发生什么。事实证明,你现在可以直接从浏览器进行直播。这听起来真的很像WebRC,所以我加载了chrome://webrtc-internals来查看,并确定它就是WebRTC。我们总是对大规模部署很好奇,所以我立即请WebRTC逆向工程大师Philipp “Fippo” Hancke进行更深入的调查。本文剩下的部分就是他对此的分析。— 编辑:chad hart

youtube1

 

More...

WebRTC的NAT及防火墙简介(下)

2019-11-23 00:44:28

NAT和点对点通讯:有何问题?

虽然客户端或服务器能够通过NAT /防火墙顺利连接,但这样的操作会对点对点通信造成严重破坏。点对点通信通常由端点应用程序打开,或用主机操作系统上的特定IP端口侦听。之后该端口可以与准备交换数据的另一台主机发信号或进行通信。应用程序中,点对点IP端口发出的指令通常用服务器或其他对等体发现机制来完成,与实际的点对点数据有所区分。示例如下:

 

More...

last
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
next
  • 分类目录

    • WebRTC概念与基础 (252)
    • WebRTC项目与应用 (33)
    • WebRTC教程资料 (38)
    • WebRTC开发资源 (13)
    • WebRTC源码分析 (19)
    • WebRTC服务端开发 (27)
    • WebRTC网络与通信 (43)
    • WebRTC编码与解码 (15)
    • WebRTC问题与缺陷 (2)
    • WebRTC-Androd端开发 (2)
    • WebRTC-RFC文档 (1)
    • WebRTC音频处理 (6)
    • WebRTC-Mediasoup (2)
    • FFMpeg音视频处理 (3)
    • H264编解码基础 (10)
    • openCV相关 (1)
  • 最新文章

    • TensorFlow 中的通信机制 ——Rendezvous(二)gRPC 传输
    • 详解|SRT编码器中Rendezvous模式详解
    • 完整SIP/SDP媒体协商概论-ICE初始offer发送详解
    • 完整SIP/SDP媒体协商概论-ICE初始offer发送详解
    • WebRTC - ICE 过程简述
    • Webrtc delay-base-bwe代码分析(2): InterArrival模块
    • 从janus中学习webrtc的ice简单交换过程
    • WebRTC PeerConnection 建立连接过程介绍
    • P2P技术详解(三):P2P技术之STUN、TURN、ICE详解(转载)
    • WebRTC ICE 状态与提名处理
    • licode服务端总结
    • libnice调用流程分析
    • libnice调用流程分析
    • licode 学习总结
    • Licode—基于webrtc的SFU/MCU实现
    • ncnn_example
    • opencv-rtsp运动检测
    • WebRTC 基于GCC的拥塞控制(上)
    • WebRTC 基于GCC的拥塞控制(下)
    • LearningWebRTC: 拥塞控制LearningWebRTC: 拥塞控制
    • WebRTC入门(三)---- 目录结构
    • WebRTC之带宽控制部分学习(1) ------基本demo的介绍
    • webrtc视频流程
    • webrtc nack实现原理
    • webrtc QOS方法一(NACK实现)
    • webrtc源码之nack&&rtx详解
    • webrtc的rtp重传代码分析
    • webrtc QOS方法一(NACK实现)
    • WebRTC基于TransportCC和Trendline Filter的发送端码率估计(Sendside-BWE)
    • WebRTC中丢包重传NACK实现分析
  • 链接

    • WebRTC官网
    • xSky 实验室
    • 树莓派技术圈
    • 声网 Agora
    • WebRTC中文网
    • web性能权威指南
    • WebRTC官网
    • webrtc在线源码
    • webrtc在线源码
    • webrtc
    • webrtc示例
    • LiveVideoStack
    • 雷霄骅(leixiaohua1020)的专栏
  • 开源项目


Powered By xblog Copyright 0xsky.com All Rights Reserved.

Copyright WebRTC.ren All Rights Reserved.