2020年Google的WebRTC路线图——AI (三)

是否使用WebRTC

Meet、Duo和Stadia似乎是Google使用WebRTC的主要目的,而不是用其来处理社区的投诉和反馈。

Google Meet

Google Meet使用VP9来进行操作。VP9是可进行大规模生产的群体呼叫服务商之一。通过WebRTC和其路线图,Google可以比其他人更快地进行实验并构建其服务。

关于这点,去年有两个很有趣的事例:

  1. 在2018 Kranky Geek上,Google展示了一项实验。此实验将WebAssembly与WebRTC结合使用,从而通过区分噪音和语音来改善会议中视频切换的问题。

https://youtu.be/gV354kWh08o

这项实验是否能与Google Meet适配呢?也许是的。

之后Gustavo很好地解释了Google Meet中的新字幕功能。它可以使用WebRTC中的数据通道发送回结果。假设需要更改WebRTC中的内容使其更好地工作,因为Google拥有WebRTC路线图,所以可以做到这一点。

Google Meet主要是基于浏览器的体验,需要依靠直接对WebRTC所做​​的更改或使用WebAssembly固定在顶部的内容

Google Duo

Google Duo是一种移动优先服务,通过Duo for Web获得浏览器支持,但是在大多数情况下Duo更适用于智能手机。

上个月,Google宣布了Pixel手机的一些新功能,以及针对Duo进行的3种基于机器学习的改进:

  1. 自动取景:

“因为有了Pixel 4广角镜头,即使在您四处走动时,自动构图也可以使您在Duo视频通话中脸部居中。如果其他人同您出现在镜头中,相机会自动进行调整,确保大家都在画面中。”

我们看到Facebook已经在Portal中做到了这一点,一些视频会议供应商将其添加到了自己的会议室系统中。

  1. 丢包掩盖:

“当网络连接差导致音频卡顿,Pixel 4上的机器学习模型可以预测下一个可能出现的声音,并帮助您以最小的干扰来保持对话的进行。”

使用机器学习隐藏数据包丢失还未被很多人开发(或公布他们正在开发)。

  1. 背景虚化:

“现在您还可以使用人像滤镜。在背景虚化下,人像看起来会更加清晰。而人身后凌乱的办公室或卧室会模糊化处理。”

背景虚化是另一个不错的功能,可在其他服务(如Zoom)中使用。

表面看来,自动取景和背景模糊依赖于Pixel设备的硬件功能。丢包隐瞒则不然。

基于机器学习的数据包丢失隐藏功能是否能与WebRTC代码库适配呢? (这比作为外部软件来添加它们更有意义)。我相信不久就会实现了。

原文地址:https://bloggeek.me/googles-private-webrtc-roadmap-2020/?nsukey=yCs7SaL8K80Cpp0Nppe2X8XZPJRDFV7H9bTBcGOpJPc3zFnEnbTCezuui6hC1aIYchTifZsIJsG6gpzEZjNMRVsqDsPZoRdCgb3%2FZW2cdSu53HS03s4G8oVP7vL7wkOYCW%2Bb5rVSPcPCI2C1ZgWiTTXr0hoCMlY4dyhfDSCcjd7cIVOdfhP3Syhs33K%2B5JMIoaYITSqAEfFcBWR3X7wc3A%3D%3D

文章作者:Tsahi Levent-Levi

 

填写常用邮箱,接收社区更新

WebRTC 中文社区由

运营