WebRTC中的AI:借助Tensorflow在Agora视频聊天进行背景消除

如今大家都在讨论AI(即人工智能),以及在未来几十年它将如何改变世界。人工智能有很多用例。比如医疗保健、运输、安保,甚至任务协助等。 AI正以有趣的方式应用于WebRTC和实时通信,其中一个用例是借助callstats.io 进行的WebRTC错误检测及预测。另一个更明显的用例是用于构建诸如Snapchat或Instagram滤镜之类的对象检测和分段。 本文将介绍由AI驱动的背景消除功能的多方视频

在Chrome中使用WebRTC ICE服务器进行端口扫描(二)

端口扫描如何工作? 如下图所示,JSFiddle在端口21、22、23、25、53、80、443、445、5900和8080上扫描192.168.88.1。 var ports = [21, 22, 23, 25, 53, 80, 443, 445, 5900, 8080]; var target = “192.168.88.1”; address_div = document.createEle

在Chrome中使用WebRTC ICE服务器进行端口扫描(一)

很早就有使用浏览器扫描LAN这种操作了。也有许多使用XHR请求、WebSocket或纯HTML来发现和识别LAN设备的工具。但是在这篇文章中,我将介绍一种使用WebRTC ICE服务器的新扫描技术。它速度很快,并且与其他方法不同的是:它绕过了阻止的端口列表。唯一的缺点是:它仅在受害者使用Chrome时有效。 首先给大家看一个概念简介的视频。视频中我正在扫描的是192.168.88.0/24网络。

WebRTC电话会议可能出现的问题(二)

用户的浏览器 这也是个棘手的问题。 首先是很明显的一点:现代浏览器会自动升级,这意味着您的浏览器会自动更新以运行应用程序,无论您使用的是Apple、Google、Microsoft或Mozilla都不会打电话询问您是否同意更新。而这些升级很可能会改变客户的行为并影响媒体质量。 然后是完全相反的一种做法:在企业中,IT管理员有时会锁定浏览器版本,不会让它们自动升级。 但其实我们现在面临的最大挑战是G

WebRTC电话会议可能出现的问题(一)

电话会议总是很复杂。WebRTC可使加入会议变得更简单,但也确实带来了一系列麻烦。 20年来我一直从事互联网行业(现在也算是“资深玩家”了)。我曾参加或安排了一些电话会议。生活中相比好事,我们人类总是更能记住那些不经常发生的坏事。这种情况在电话会议中尤其多。 前几天我看到了这组呆博特漫画,它很好地说明了为什么我要花费几个月去开发“支持WebRTC”这一课程。 现在我在开发中遇到的一个难题是媒体质量

Discord如何使用WebRTC为两百五十万同时在线用户提供语音服务(四)

Discord语音服务器遭受DDoS攻击是很常见的(我们是通过传入IP数据包的迅速增加而观察到的)。届时我们会执行与Discord Voice服务器故障时相同的程序,即从服务发现系统中删除受影响的Discord Voice服务器,再为行会选择一台新的Discord Voice服务器,然后将所有在线语音的对象推送到新选择的Discord Voice服务器,并通知新语音服务器的客户端重新连接。当DDo

Discord如何使用WebRTC为两百五十万同时在线用户提供语音服务(三)

管理语音服务器  每个语音服务器都会定期报告其运行和负载情况。并且我们在上一篇博客文章中讨论过,这些信息将在整理后放入我们的服务发现系统(即etcd)中。 Discord Guilds服务器会通过监视服务发现系统,把给定区域中使用次数最少的语音服务器分配给公会。选定Discord Voice服务器后,所有正在语音的用户(也由Discord Guilds维护)都会被推送到语音服务器,之后服务器就有权

Discord如何使用WebRTC为两百五十万同时在线用户提供语音服务(二)

为我所用 由于我们可以控制本机库,因此我们在本机应用程序中所做的某些操作与您在浏览器的WebRTC中所看到的有所不同。 首先,WebRTC根据SDP在用户之间传输音频/视频信息(往返大小可能接近10 KB)。WebRTC本机库使我们能用WebRTC(即webrtc :: Call)中较低级别的API来创建发送流和接收流。在加入语音通道时,我们交换的信息量很少,包括语音后端服务器的地址和端口、加密方

Discord如何使用WebRTC为两百五十万同时在线用户提供语音服务(一)

Discord App 是游戏玩家专属的免费的一站式语音与文字聊天工具,覆盖 PC 与移动平台。他们在本篇内容中分享了他们如何基于 WebRTC 为 250 万用户提供实时的语音通话。以下为博客译文: 在Discord开发初期,我们就制定了非常明确的产品设计方向,即Discord可用于您在与好友玩游戏时语音聊天。这样的决策使我们能够从一个缺乏资源的小团队开始,不断扩大我们的运营规模。 这篇文章简单

Hangouts Meet 的语音识别功能

在实时通信服务中,有很多应用程序都带有语音识别功能。比如实时字幕、实时翻译、语音命令或存储/汇总音频对话等。 几个月前在Hangouts Meet,实时字幕的语音识别功能已经上线了。但最近这个选项被提升到主要用户界面中。那之后我几乎每天都在使用它。 我最感兴趣的是识别技术,尤其是对于如何将DeepSpeech集成到RTC媒体服务器中以提供一个性价比高的解决方案。但是在这篇文章中识别技术不是主题。我