借助Intel OWT加速WebRTC媒体服务器内部的计算机视觉(三)

整合OpenCV模型 Analytics Agent整合了OpenCV GStreamer Analytics(GVA)插件架构。GVA包括各种支持不同推理方案的模块,例如检测、分类和标识,以及用于向用户发送视频(这种情况指返回OWT)的输入和输出模块,提供图像覆盖或通过mqtt传输数据。 流水线操作 实际上,这些管道是通过修改某些C ++代码来实现的。比如若我们检查 /home/owt/anal

借助Intel OWT加速WebRTC媒体服务器内部的计算机视觉(二)

分析与计算机视觉(CV) 任何从事计算机视觉领域的人一定都用过OpenCV。OpenCV是英特尔项目。英特尔有一个叫做OpenVINO(开放式视觉推理和神经网络优化)的工具包,用来在他们自己的硬件上优化深度学习模型。该工具包是OpenCV存储库的一部分。OpenCV包括数十种预训练过的模型,适用于多种项目,比如基本文本识别、自动驾驶汽车应用等。 OWT Analytics Agent是在OpenV

借助Intel OWT加速WebRTC媒体服务器内部的计算机视觉(一)

WebRTC让我们能方便地获取和发送实时视频流(大多数情况下)。 下一步是利用它们进行其他操作,比如机器学习就可以让我们从视频流中找点乐子。上个月,我向大家展示了如何在本地浏览器中运行Computer Vision(CV)。那时我曾提到过:本地运行操作很不错,但是有时你可能需要更高的性能,所以你要在远程服务器上运行机器学习推理。 本篇文章中,我会介绍如何使用英特尔的开源Open WebRTC工具包

使用 WebRTC 和 TensorFlow.js 监测摸脸次数

  不要用手摸脸啦!为防止新冠状肺炎病毒疫情传播,医疗机构建议我们不要用没洗过的手摸脸。但如果您坐在计算机前几个小时不动,要做到这一点就很难了。我不禁想,用浏览器可以解决这个问题吗? 为此我们进行了许多计算机视觉和WebRTC实验。我早已计划去进行用TensorFlow.js在本地浏览器中运行计算机视觉的实验,现在似乎是个好机会。通过快速搜索,我发现有人在2周前已经想过这样做了。但是该站

WebRTC中的AI:借助Tensorflow在Agora视频聊天进行背景消除

如今大家都在讨论AI(即人工智能),以及在未来几十年它将如何改变世界。人工智能有很多用例。比如医疗保健、运输、安保,甚至任务协助等。 AI正以有趣的方式应用于WebRTC和实时通信,其中一个用例是借助callstats.io 进行的WebRTC错误检测及预测。另一个更明显的用例是用于构建诸如Snapchat或Instagram滤镜之类的对象检测和分段。 本文将介绍由AI驱动的背景消除功能的多方视频

在Chrome中使用WebRTC ICE服务器进行端口扫描(二)

端口扫描如何工作? 如下图所示,JSFiddle在端口21、22、23、25、53、80、443、445、5900和8080上扫描192.168.88.1。 var ports = [21, 22, 23, 25, 53, 80, 443, 445, 5900, 8080]; var target = “192.168.88.1”; address_div = document.createEle

在Chrome中使用WebRTC ICE服务器进行端口扫描(一)

很早就有使用浏览器扫描LAN这种操作了。也有许多使用XHR请求、WebSocket或纯HTML来发现和识别LAN设备的工具。但是在这篇文章中,我将介绍一种使用WebRTC ICE服务器的新扫描技术。它速度很快,并且与其他方法不同的是:它绕过了阻止的端口列表。唯一的缺点是:它仅在受害者使用Chrome时有效。 首先给大家看一个概念简介的视频。视频中我正在扫描的是192.168.88.0/24网络。

WebRTC电话会议可能出现的问题(二)

用户的浏览器 这也是个棘手的问题。 首先是很明显的一点:现代浏览器会自动升级,这意味着您的浏览器会自动更新以运行应用程序,无论您使用的是Apple、Google、Microsoft或Mozilla都不会打电话询问您是否同意更新。而这些升级很可能会改变客户的行为并影响媒体质量。 然后是完全相反的一种做法:在企业中,IT管理员有时会锁定浏览器版本,不会让它们自动升级。 但其实我们现在面临的最大挑战是G

WebRTC电话会议可能出现的问题(一)

电话会议总是很复杂。WebRTC可使加入会议变得更简单,但也确实带来了一系列麻烦。 20年来我一直从事互联网行业(现在也算是“资深玩家”了)。我曾参加或安排了一些电话会议。生活中相比好事,我们人类总是更能记住那些不经常发生的坏事。这种情况在电话会议中尤其多。 前几天我看到了这组呆博特漫画,它很好地说明了为什么我要花费几个月去开发“支持WebRTC”这一课程。 现在我在开发中遇到的一个难题是媒体质量

Discord如何使用WebRTC为两百五十万同时在线用户提供语音服务(四)

Discord语音服务器遭受DDoS攻击是很常见的(我们是通过传入IP数据包的迅速增加而观察到的)。届时我们会执行与Discord Voice服务器故障时相同的程序,即从服务发现系统中删除受影响的Discord Voice服务器,再为行会选择一台新的Discord Voice服务器,然后将所有在线语音的对象推送到新选择的Discord Voice服务器,并通知新语音服务器的客户端重新连接。当DDo

近期热门

有奖小调查

1 分钟回答 3 个小问题,让内容更符合你的 WebRTC 学习与开发期望。
每个月最后一天会随机抽出 5 名获奖者,并通过邮件联系送上奖品。
填写问卷