3

作者:Chad Hart(原文链接

翻译:刘通

原标题:Computer Vision on the Web with WebRTC and TensorFlow

 

TensorFlow是现在最受欢迎的机器学习框架。 TensorFlow的一大优点就是很多库都在积极的维护和更新。我最喜欢的一个就是TensorFlow Object Detection API(对象检测API)。 TensorFlow Object Detection API可以在图像中识别并且显示出多个物体。它预先训练了将近1000个物体类别,并且提供各种预先训练的模型,让你在速度和准确性之间做出选择。

本篇教程非常好,但是所有事情都依靠于使用你需要自己加入文件夹的图像。我真的很想把这点加入到实时的WebRTC流中以实现在网页端的实时机器视觉。我找不到关于这些的任何例子或者教程,所以我就打算自己来写一篇。对于从事RTC的人来说,这是一篇如何使用 TensorFlow来处理WebRTC数据流的快速教程。对于从事 TensorFlow的人来说,这是一个如何将WebRTC加入你项目的简单介绍。WebRTC开发人员需要习惯使用Python。 TensorFlow的开发人员需要习惯网页交互和一些 JavaScript的内容。

对于WebRTC或者 TensorFlow,这篇教程都不适合作为入门指导—因为你应该看过很多关于TensorFlow入门WebRTC入门或者任何相关的入门指南。

告诉我是怎么做的

如果你只是想快速参考一下,或者懒得阅读全文,那么这是一个简单快速的方法来着手。你需要安装Docker。加载命令提示符,然后键入:

docker run -it -p 5000:5000 chadhart/tensorflow-object-detection:runserver

然后将你的浏览器跳转到http://localhost:5000/local,然后接受摄像头请求,你就可以看到像这样的场景:

cv2

架构

让我们从一个基础的体系结构开始,这个结构使用Flask Web服务器和 TensorFlow物体检测API在本地将本地网络摄像头的视频流从WebRTC的getUserMedia发送到Python服务器。我设定的如下图所示:

cv3

Flask将为浏览器提供html和 JavaScript文件。getUserMedia.js将抓取本地视频流。然后objDetect.js将使用HTTP POST方法将图像发送给 TensorFlow物体检测API,该API将返回它所看到的对象(它称之为类)以及它们在图像中的位置。我们将吧细节包装在一个JSON对象中,并将其发送回objDetect.js,以便我们可以显示我们所看到的框和标签。

安装程序和先决条件

在我们开始之前,需要安装 TensorFlow和物体检测API。

使用Docker轻松设置

我已经在OSX,Windows 10和Raspbian(不容易)这几个系统上做过几次了。有很多版本的依赖关系,并且要想不出什么问题的话真的是很难。我建议使用Docker来避免这些头疼的事。你需要学如何使用docker,但是你有可能已经掌握了这些,而且这个时间比尝试构建正确版本的Protobuf更短。 TensorFlow项目维护了一些官方的Docker镜像,像tensorflow/tensorflow

我们可以使用我为这篇文章创建的镜像。从命令行执行以下操作:

git clone https://github.com/webrtcHacks/tfObjWebrtc.git

cd tfObjWebrtc

docker run -it -p 5000:5000 –name tf-webrtchacks -v $(pwd):/code chadhart/tensorflow-object-detection:webrtchacks

注意docker run中的$(pwd)只在Linux以及Windows Powershell中才能运行。在Windows 10中在指令行中用%cd%。

现在运行:

python setup.py install

这会使用最新的 TensorFlow docker镜像,并将端口主机上的端口5000连接到端口5000,将容器命名为tf-webrtchacks,将本地目录映射到容器中的新/code目录,将其设为我们工作的默认目录,并在开始之前运行命令行交互的bash。

困难的方法

如果你想从头开始,你需要安装 TensorFlow,它有很多自己的依赖项,比如Python。 TensorFlow项目在这里有各种平台的指南:https://www.tensorflow.org/install/。物体检测API也有它自己的安装教程。一旦你做到这步之后,做这些:

git clone https://github.com/webrtcHacks/tfObjWebrtc.git

cd tfObjWebrtc

docker run -it -p 5000:5000 –name tf-webrtchacks -v $(pwd):/code chadhart/tensorflow-object-detection:webrtchacks

这应该会安装所有的Python依赖项,复制适当的 TensorFlow对象API文件,并且安装Protobufs。如果这不能正常工作,我建议检查setup.py并且手动运行这些命令来解决问题。





加入WebRTC技术交流群,免费获得学习资料,交流经验
群号:659922087
q群
期待你一针见血的评论,Come on!

不用想啦,马上 "登录"  发表自已的想法.