是否使用WebRTC
Meet、Duo和Stadia似乎是Google使用WebRTC的主要目的,而不是用其来处理社区的投诉和反馈。
Google Meet
Google Meet使用VP9来进行操作。VP9是可进行大规模生产的群体呼叫服务商之一。通过WebRTC和其路线图,Google可以比其他人更快地进行实验并构建其服务。
关于这点,去年有两个很有趣的事例:
- 在2018 Kranky Geek上,Google展示了一项实验。此实验将WebAssembly与WebRTC结合使用,从而通过区分噪音和语音来改善会议中视频切换的问题。
这项实验是否能与Google Meet适配呢?也许是的。
之后Gustavo很好地解释了Google Meet中的新字幕功能。它可以使用WebRTC中的数据通道发送回结果。假设需要更改WebRTC中的内容使其更好地工作,因为Google拥有WebRTC路线图,所以可以做到这一点。
Google Meet主要是基于浏览器的体验,需要依靠直接对WebRTC所做的更改或使用WebAssembly固定在顶部的内容。
Google Duo
Google Duo是一种移动优先服务,通过Duo for Web获得浏览器支持,但是在大多数情况下Duo更适用于智能手机。
上个月,Google宣布了Pixel手机的一些新功能,以及针对Duo进行的3种基于机器学习的改进:
- 自动取景:
“因为有了Pixel 4广角镜头,即使在您四处走动时,自动构图也可以使您在Duo视频通话中脸部居中。如果其他人同您出现在镜头中,相机会自动进行调整,确保大家都在画面中。”
我们看到Facebook已经在Portal中做到了这一点,一些视频会议供应商将其添加到了自己的会议室系统中。
- 丢包掩盖:
“当网络连接差导致音频卡顿,Pixel 4上的机器学习模型可以预测下一个可能出现的声音,并帮助您以最小的干扰来保持对话的进行。”
使用机器学习隐藏数据包丢失还未被很多人开发(或公布他们正在开发)。
- 背景虚化:
“现在您还可以使用人像滤镜。在背景虚化下,人像看起来会更加清晰。而人身后凌乱的办公室或卧室会模糊化处理。”
背景虚化是另一个不错的功能,可在其他服务(如Zoom)中使用。
表面看来,自动取景和背景模糊依赖于Pixel设备的硬件功能。丢包隐瞒则不然。
基于机器学习的数据包丢失隐藏功能是否能与WebRTC代码库适配呢? (这比作为外部软件来添加它们更有意义)。我相信不久就会实现了。
文章作者:Tsahi Levent-Levi