NVIDIA Jetson Nano 2GB 系列文章(12):人脸定位

在本系列上一篇文章中,我们带领大家了解了 OpenCV。在本篇文章中,我们将带领大家利用 Jetson Nano 2GB 制作一个简单的人脸识别打卡机。

 

在本系列上一篇文章中,我们带领大家了解了  OpenCV。在本篇文章中,我们将带领大家利用 Jetson Nano 2GB 制作一个简单的人脸识别打卡机。

 

事实上,这是个入门级的 AI 应用,完全利用 Jetson Nano 2GB 上提供的 OpenCV 库与 Python3 开发环境,就能实现人脸身份识别,达到打卡的功能。除了可以用在办公环境,还可以作为老师上课时的点名系统,实用性非常高。

 

本项目利用 face_recognition 这个目前最容易上手的 Python 人脸识别库,这是基于知名的 dlib 机器学习开源算法库进行二次开发的接口,调用方式比原生 dlib 更加简单,因此本项目就是以 face_recognition 这个人脸识别库为主。

 

本项目第一部分,就是带着大家用 face_recognition 库里的 face_locations() 函数,轻松实现“人脸定位”的功能。要知道“定位”是“身份识别”的前提要素,必须先确认人脸的位置(location)之后,才能进一步执行比对。

 

接下来就开始本项目的内容。

 

安装 face_recognition

 

这里只需要执行 Python 版本,因此安装 face_recognition 库非常简单,只需执行以下一道指令,Python 的 pip3 就会将其他所需要的依赖库一并安装,包括 dlib、pillow、click、numpy 等,十分方便。

 

Image

 

安装的时间会比较久,大概需要 30 分钟左右,安装过程会将 face_recognition 所依赖的 dlib、pillow、click、numpy 等库一并安装,安装好之后,就可以直接调用。

 

整个 face_recognition 库只有 7 个 API 接口,功能如下:

 

  • load_image_file:将img文件加载到numpy 数组中

 

  • face_locations:查找图像中所有面部和所有面部特征的位置

 

  • batch_face_locations:批次人脸定位函数(GPU)

 

  • face_landmarks:人脸特征提取函数

 

  • face_encodings:图像编码转为特征向量

 

  • compare_faces:特征向量比对

 

  • face_distance:计算特征向量差值

 

详细的使用说明,请访问以下官网进一步查看:

 

https://face-recognition.readthedocs.io/en/latest/face_recognition.html 

 

用照片与视频准备识别

 

本处为避免牵涉到个人肖像权问题,因此以 NVIDIA GAN 对抗网络技术的 YouTube 公开宣传视频(https://www.youtube.com/watch?v=kSLJriaOumA)

为基础,提取部分视频与照片来作为本实验的测试数据。以下照片全部为 NVIDIA GAN 技术合成人像,如有雷同,纯属巧合。

 

Image

 

接下来看看 face_recognition 能做什么事情?

 

图像中的人脸定位(location

 

Face_recognition 第一个最基本功能,就是能自行找到人脸的位置(location),下面的代码可在任何一张带有人脸的图像中,找出每张人脸的位置。Face_recognition 库里提供以下两个函数来处理本次任务,以下简单说明代码原理:

 

face_recognition.load_image_file:读入图像文件。

 

face_recognition.face_locations:直接找出图像内(多张)人脸的位置。

 

由于读入的图像颜色空间为 RGB 格式,需要用 cv2.cvtColor 转换成 BGR 格式。

 

然后将 face_location 找出的位置,用 cv2.rectangle 将框全部画到原图上。

 

最后用 cv2.imshow 显示结果。

 

完整代码如下:

 

Image

 

Image

 

这里可以看到下方终端上显示 15 组位置数据,分别对应至上方的 15 张脸的位置,不过顺序不一定完全对应。

 

事实上在上述代码中读入图像的函数,可以直接调用 OpenCV 的 cv2.imread(),这样读入的图像就是 BRG 格式,还可以节省一次 cv2.cvtColor 转换的过程,因此将上面代码修改成下方代码,会得到相同的结果。

 

Image

 

如果想要知道本次检测能定位出几张人脸?只要在 “for 循环”前面给定一个参数i,设定起始值为 0,然后在“for 循环”里面执行递增计算,就能算出有多少张脸。

 

视频中的人脸定位

 

一旦图像的处理能够顺利,视频的处理就是重复读入、按帧处理。因此只要将前面的代码外面再套一层“while 循环”来读取视频,大致上就能应用在视频中寻找人脸的位置与数量。修改后的代码如下:

 

Image

 

这样就能在视频中定位人脸的位置!不过实际执行的时候,会发现识别的性能很慢,大约只能到 1~2FPS 的性能,这是因为 face_locations() 这个函数会消耗比较多的计算资源,导致性能不好。

 

性能优化的策略

 

这里提供一个性能改善的方式,就是将给予 face_locations() 的图像先进行缩小,找到定位之后再将定位点按原比例还原,在原图上画出框线。

 

使用变量 rate 来调整给 face_locations() 的长宽比例,然后用 small_frame 存放 cv2.resize 后的图像,再以 small_frame 提供给 face_locations() 进行抓脸的任务。修改后的完整代码如下:

 

Image

 

当自行调整 rate 比例之后,就能明显感受到识别性能与人脸定位数量的差异。在本范例中,

 

  • rate=1(原始比例),性能约 1.5FPS,能定位12~17张脸

 

  • rate=2(1/4)时,性能约3~4 FPS,能定位6~9张脸

 

  • rate=3(1/9)时,性能约6~7 FPS,能定位5~8张脸

 

  • rate=4(1/16)时,性能约12~13FPS,能定位3~5张脸

 

如果想要用摄像头进行以上的实验,只需将函数  cv2.VideoCapture() 里面的来源改成摄像头就可以。

 

以上就是很简单地调用 face_recognition 库里面的 face_locations() 函数,就能轻松实现在图像、视频中定位出人脸的功能,是不是非常简单?

来源:业界供稿

0赞

好文章,需要你的鼓励

2021

04/26

16:17

分享

点赞

邮件订阅
白皮书