WebRTC和WASM如何给网络应用提供新机会

从依靠文字短信的延迟通信,到潜力无限的实时通信多媒体平台,我们在线通信协作这一领域的成就十分可观。 得益于谷歌及其开源平台WebRTC,我们可以在浏览器内使用HTML和纯JavaScript来开发像Skype、Whatsapp等视频聊天应用。 谷歌提及WebAssembly适配其最近Chrome的WebRTC音频管道以及未来WebRTC NV的建设。Low Level APIs说明了WebAsse

解绑WebRTC——开启WebRTC终结篇?

WebRTC在2020年逐渐开始解绑。随着差异化时代到来,这样的新举措似乎预示着WebRTC的终结。 WebRTC丰富了我们的生活。曾几何时,它是能在浏览器运行实时媒体的唯一方法。之后,其他同类服务层出不穷,但都没有正式发布。 现在,是WebRTC 1.0正式发行的时候了。 走向差异化 要用图表解释WebRTC的发展之路的话,看起来是这样子的: 2020年开启了WebRTC差异化阶段 从2019年

专业流媒体的WebRTC用例

顾名思义,WebRTC即网络实时通信允许开发人员使用WebRTC为实时视频和数据传输提供支持。另外,Web意味着上述操作可以直接在主流Web浏览器中进行。 单击即可开启的视频通话是最常见的WebRTC应用程序。但其用例并不仅限于此。本文会为大家介绍本年度该技术的多种商业用途。 视频通话 我们都知道,视频聊天是WebRTC的立身之本。该框架已经在Slack、Google Hangouts、Faceb

从 Hulu、Netflix 的“观看派对”功能看分组流媒体的前景

因为疫情,我们暂时不能享受影院之夜。更雪上加霜的是,应为社交隔离服务的群体流技术表现并不尽如人意。 如今,类似Netflix Party和Scener等线上影院之夜的服务和应用程序层出不穷。而且很多做的都相当不错。但这些都不能代替朋友们聚在一起看电视的快乐体验。 好消息是,噩梦般的一年总会过去。分组流媒体可以、应该并且可能会变得更好。 考虑到六个月之前大家都不会想到如今需要分组流媒体播放,所以我们

为什么现在的视频会议体验这么烂?!(下)

首先,如果你还没有看过该系列文章的上篇,请移步这里。在下篇中我要讨论的是:为什么我认为音视频会议时长会解构,以及由此产生的大好机遇。 上篇文章的内容如图所示: 除此之外,我们还有一个棘手的问题需要解决。当然,你可以很快组建一个用户体验更好、功能更齐全的会议平台。但是无论你的屏幕共享效果如何,平台的音频和视频信令处理性能总归是一塌糊涂,你的客户会感到失望。做好信号处理需要专业人士和大量投资,但现在没

为什么现在的视频会议体验这么烂?(上)

我们能做出哪些改进? 由于工作,我每年要坐50次飞机,参加各种语音和视频会议。我的脑海里不断浮现一个问题——为什么所有会议平台都这么难用?我们都能用 AI 让已去世的人出现在 4K+杜比环绕立体声的视频中了,但开会时屏幕上我同事的脸仍然是让人抓狂的延迟像素,卡到不同步的那种。另外,好像大家都不会共享屏幕。我只能看到人的画面。 去年,我辞掉了一家跨国技术公司的好工作,想要努力解决这个问题。之前我也这

WebRTC统计报告:封城对媒体质量的影响

由于新冠病毒,今年全球数百万人的日常生活发生了翻天覆地的变化。和许多国家一样,美国各州政府通过封城(ShIP)、宣传社区隔离来减少该病毒在社区的传播。现实的距离改变了我们日常通信的方式,使我们越来越依赖于各种形式的电子通信,例如语音和视频会议。 callstats.io分析了美国4个月内数十亿次呼叫的使用行为、呼叫接通度和呼叫质量的变化。而本文所讲的报告内容主要包括我们研究的2020年1月1日至2

AV1、H.265与Janus的爱恨情仇(三)

要开展下一步,我们就要能访问实际的AV1 / RTP数据包,即弄清楚如何检测关键帧。最重要的是将捕获的数据包转换为可播放的媒体文件。AV1 / RTP规范有一些不清楚的地方,加上(对我而言)AV1序列标的隐秘性(即存储一些类似比特流分辨率的元数据的地方),使转换操作尤其具有挑战性。但最后我还是解决了这个问题。比如下面这张屏幕快照显示了mplayer应用程序播放的媒体文件,该文件是使用Janus后处

AV1、H.265与Janus的爱恨情仇(二)

运行AV1 正如预期的那样,从一开始AV1就被认为是免版税的编解码器。如果你想了解更多关于编解码器及其背后的知识(你会看到很多大牛的名字),请访问AOMedia网站上的“入门”页面。 本文的重点在于AV1与WebRTC的关系。与所有编解码器一样,为了在WebRTC中运行,AV1首先需要一种在SDP中协商的方式以及一组RTP打包规则。通常,这是在IETF活动(特别是在MMUSIC和AVTCORE工作

AV1、H.265与Janus的爱恨情仇(一)

距回顾有关Janus的内容以来已经过去了几周,我们大致陈述了许多不同的改进。现在我觉得是时候深入探讨一个主题了——为使Janus支持AV1和H.265,我们付出了何种努力。 又一次编解码器大战? 如果你和我一样历经WebRTC时代更迭的话,你可能会记得“编解码器一战”。这场战役中VP8和H.264展开了激烈竞争,想置对方于死地。最终两者都没有从市场上消失,但是都变成了MTI(强制实施),这意味着所