WebRTC开发者社区为开发者提供最新最全的WebRTC资料
目录
  • 首页
  • WebRTC概念与基础
  • WebRTC项目与应用
  • WebRTC教程资料
  • WebRTC开发资源
  • WebRTC源码分析
  • WebRTC服务端开发
  • WebRTC网络与通信
  • WebRTC编码与解码
  • WebRTC问题与缺陷
  • WebRTC-Androd端开发
  • WebRTC-RFC文档

基于网页的语音命令识别

2019-11-23 00:54:37

原标题:Web-based voice command recognitions

上一次我们将音频buffer转成了图像,这一次,我们将采取这些图像,并使用deeplearn.js训练一个神经网络。结果是一个浏览器上的demo,你可以说出“yes”或者“no”的指令,然后像这样实时的显示出识别结果:

recognition1

虽然它离完美还差的很远,但却是在网上进行各种音频识别的一个很好的起点。现在让我们深入了解一下这是如何工作的。

快速入门:培训和测试一个指令识别器

下面是如何训练yes/no分类器的方法:

1. 跳转到模型训练页。这会花一点时间来下载训练数据(yes/no)。

2. 点击训练按钮,你会看到一个显示训练进度的图表。一旦你准备好了(会花一点时间,具体时间长短取决于你的硬件),停止训练,并且点击保存权重(文件)按钮。这会下载一个JSON文件。

recognition2

 

More...

使用WebRTC创建一个网络摄像头通信App

2019-11-23 00:53:24

 WebRTC是一个协议,允许人们使用JavaScript在两点之间创建实时通讯。

我们可以用这个结构使两个或更多浏览器之间实现直接交流,而不需要中心服务器。

服务器只需要在连接的时候被使用,因此每个客户端知道如何连接彼此。

我们可以使用这个特性创建什么类型的App呢?例如,直接网络摄像头连接。点对点通话,文件共享,还有更多。

本教程我会介绍一个当你第一次使用的时候,会发出惊呼的App:一个网络摄像头通信App.

我们不会使用原始WebRTC API,然而,我们需要注意很多细节。这就是library的作用,它们做出了很好的抽象,人们可以集中精力创建App而不是将精力花费的底层API上。

其中一个library是PeerJS,它使得实时通信变得非常简单。简单来说就是WebRTC,它的抽象使得结果获取更快,之后你可以学习内部是如何运作的。

建议:当你建立一个App时候使用Bit分享到一个可重复利用的集合中,并且在你所有的项目中同步它们!不妨试一下,可以加快你的工作速度。

 

More...

WebRTC SFU中发送数据包丢失反馈

2019-11-23 00:51:49

WebRTC SFU的职责之一是接收和发送RTCP数据包。RTCP数据包包括关于音频和视频流的不同类型的反馈,并且最重要的RTCP数据包是接收器报告(RR).

RR数据包从媒体流接收器发送到该媒体流的发送者。在SFU的情况下,RR由SFU产生,并发送到媒体流发送器,并且还从每个流接收器发送到SFU。(如图1)。

RR数据包内发送的反馈包括用于计算网络引入的往返时间延迟,抖动和信息丢失。

More...

多方WebRTC选择3:SFU

2019-11-23 00:50:32

part301

多方WebRTC选择3的方案是SFU,它表示选择转发单元。SFU背后的想法与MCU相同。它在中间有一台媒体服务器,所有peers向它发送流,唯一不同的是,它不会做繁重的处理,服务器将其引到其它peers,这样它们可以进行任何所需的处理。

这样服务器不需要能支持那么繁重的处理运算,你可以利用MCU提供的好处,同时避免Mesh hassles和MCU的高代价。

SFU的结构如下图所示:

 

More...

哪种TURN服务器正在被使用?

2019-11-23 00:48:19

原标题:What kind of TURN server is being used?

TURN作为WebRTC基础设施的重要一员,它负责帮助NAT穿透。但是使用它们有多频繁呢?以及使用情况可以告诉我们什么关于WebRTC开销的内容呢?

turn1

两星期以前,我的朋友Gustavo Garcia在推特上问有多少WebRTC通话是通过TURN传递的。因为我喜欢钻研数据,所以我回答了他,但是要想在140个字之内说明白很困难。所以我想要在这篇博文中回答以下几个问题:

# 失败率是多少?

# 通过TURN服务器传递的通话占比有多少?

# UDP,TCP和TLS TURN变体的相对占比是多少?

 

More...

为什么你的WebRTC产品需要TURN服务器

2019-11-23 00:46:47

端到端通信的一个主要问题是,在许多情况下,这些端点并不在公共互联网中,而是位于网络(和端口)地址转换器(NAT)后面的专用地址空间中。随着互联网从DARPA项目发展成为全球范围的网络,很快就会明白IPv4的232地址空间早晚会用尽。

在20世纪90年代,开发了多种策略来延迟IPv4地址耗尽的时间,其中之一就是NAT的设计。NAT将端点的真实IP地址隐藏于世界其他地方,这使得端点之间建立端到端直接连接变得困难。这就是协助框架—包括STUN和TURN(或使用中继NAT穿越)—派上用场的地方。

平均约有30%的P2P会议有一个端点通过TURN服务器连接。如果没有TURN中继服务器的帮助,这些用户将无法进行通信。因此,开发者需要知道TURN服务器是什么,以及为什么它对WebRTC通话的重要性。

ICE和STUN

turn2

More...

YouTube是如何使用WebRTC的

2019-11-23 00:45:51

我周二登录了一次YouTube,注意到右上角有一个新的摄像头图标,并写着“Go Live(New)”,所以我点了一下它试试看会发生什么。事实证明,你现在可以直接从浏览器进行直播。这听起来真的很像WebRC,所以我加载了chrome://webrtc-internals来查看,并确定它就是WebRTC。我们总是对大规模部署很好奇,所以我立即请WebRTC逆向工程大师Philipp “Fippo” Hancke进行更深入的调查。本文剩下的部分就是他对此的分析。— 编辑:chad hart

youtube1

 

More...

WebRTC的NAT及防火墙简介(下)

2019-11-23 00:44:28

NAT和点对点通讯:有何问题?

虽然客户端或服务器能够通过NAT /防火墙顺利连接,但这样的操作会对点对点通信造成严重破坏。点对点通信通常由端点应用程序打开,或用主机操作系统上的特定IP端口侦听。之后该端口可以与准备交换数据的另一台主机发信号或进行通信。应用程序中,点对点IP端口发出的指令通常用服务器或其他对等体发现机制来完成,与实际的点对点数据有所区分。示例如下:

 

More...

WebRTC的NAT及防火墙简介(上)

2019-11-23 00:43:40

什么是NAT?

NAT意为网络地址转换(https://en.wikipedia.org/wiki/Network_address_translation)。它是一种广泛使用的系统,多用于保留IPv4地址,或使本地网络管理员能够控制本地拓扑结构。实际上NAT技术多种多样,在此不多赘述。最常见的NAT设备通过改变通过它的数据包的IP报头信息得以运行。通常情况下NAT技术与防火墙结合完成,大多数家用路由器都如此,这些路由器通常在保证安全性的同时还保留了IPv4的地址空间,可谓一举两得。但正如我们所见,这也可能导致某些程序和协议出现问题,尤其是像WebRTC这样尝试进行点对点连接的。

常见的NAT 或者防火墙场景是私人或受保护的IP端点子网的场景,与公共互联网的环境不同。

 

More...

WebRTC的规模会带来哪些挑战

2019-11-23 00:41:57

scaling1

WebRTC直播流中,大规模所带来的挑战

1:1 != 1:1,000,000

只要是关于WebRTC的问题,规模有影响。

人们常常有这种想法,如果我能够运行一个1对1的视频通话,那么把它改进成一个三方视频通话也很简单。如果有了三方通话,那么距离四方通话也只有一步之遥了。假如我们已经到了四个人同时通话的地步,既然4和10之间没差多少,所以10个人通话肯定也是一样的。如果我们可以进行10人通话了,那么50人,甚至100人是不是也没问题了?

处理多用户之间的互动通话的做法放在实时广播方面也是正确的。

1对1的广播与1对100不同,当然与1比10,000与1比1,000,000也不同。

 

More...

last
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
next
  • 分类目录

    • WebRTC概念与基础 (228)
    • WebRTC项目与应用 (33)
    • WebRTC教程资料 (38)
    • WebRTC开发资源 (13)
    • WebRTC源码分析 (14)
    • WebRTC服务端开发 (23)
    • WebRTC网络与通信 (26)
    • WebRTC编码与解码 (15)
    • WebRTC问题与缺陷 (2)
    • WebRTC-Androd端开发 (2)
    • WebRTC-RFC文档 (1)
  • 最新文章

    • WebRTC研究:WebRTC M89关键更新
    • WebRTC Native 源码导读(十五):RTP H.264 封装与解封装
    • 提纲挈领webrtc之vad检测
    • Medooze RTP录制为MP4 源码解析 
    • audio语音相关的基础知识-VAD,ASR,AEC,AGC,BF等
    • 音视频相关的书籍,多媒体技术
    • SFU级联解决方案——Jitsi
    • SFU级联解决方案——Licode
    • Janus源码分析(6)——Streaming分析
    • janus Streaming插件推流指南
    • 流媒体服务器 
    • WebRTC+libwebsockets+Janus的秒开实践
    • 基于WebRTC的直播CDN
    • 不需要SFU实现WebRTC联播实践  
    • webrtc 开启Simulcast功能
    • Migrating your native/mobile application to Unified Plan/WebRTC 1.0 API
    • WebRTC源码分析rfc4588 RTP重传有效载荷格式
    • WebRTC网关服务器搭建:开源技术 vs 自行研发
    • WebRTC网关服务器搭建:开源技术 vs 自行研发
    • 自研WebRTC网关服务器架构的实践之路
    • WEBRTC三种类型(Mesh、MCU 和 SFU)的多方通信架构  
    • janus的videoroom插件
    • WebRTC+libwebsockets+Janus的秒开实践
    • Janus源码分析(7)——videoroom分析
    • Janus源码分析(5)——echotest分析
    • Janus源码分析(4)——信令交互过程
    • WebRTC+libwebsockets+Janus的秒开实践
    • 前向纠错码(FEC)的RTP荷载格式
    • WebRTC 开发实践:从一对一通话到多人会议
    • Distord如何使用WebRTC处理250万用户同时进行的音频交流
  • 链接

    • WebRTC官网
    • xSky 实验室
    • 树莓派技术圈
    • 声网 Agora
    • WebRTC中文网
    • web性能权威指南
    • WebRTC官网
    • webrtc在线源码
    • webrtc在线源码
    • webrtc
    • webrtc示例
    • LiveVideoStack
    • 雷霄骅(leixiaohua1020)的专栏
  • 开源项目


Powered By xblog Copyright 0xsky.com All Rights Reserved.

Copyright WebRTC.ren All Rights Reserved.