Python 基于OpenCV+face_recognition实现人脸捕捉、识别与对比
一.安装包依赖
pip install opencv-pythonpip install face-recognition
如果安装face_recognition过程中报错,提示:“CMake must be installed to build the following extensions: dlib”,则需要安装CMake
pip install cmake
cmake安装成功后再安装face_recognition
可以使用国内镜像安装,否则可能比较耗时,国内镜像如下:
- 清华:https://pypi.tuna.tsinghua.edu.cn/simple/
- 阿里云:https://mirrors.aliyun.com/pypi/simple/
- 中国科技大学: https://pypi.mirrors.ustc.edu.cn/simple/
- 华中理工大学:https://pypi.hustunique.com/
- 山东理工大学:https://pypi.sdutlinux.org/
- 豆瓣:https://pypi.douban.com/simple/
执行脚本的时候后面加上对应的镜像地址:
pip install xxxxx -i https://pypi.tuna.tsinghua.edu.cn/simple/
如果使用的是Microsoft Visual Studio ,则可以直接在项目目录下的Python环境上右键,选择Install Python Package... 安装对应的开发包
在输入框里输入对应的开发包名即可,如果使用国内镜像,则在包名后面加上 -i https://xxxx即可
例如我使用阿里云镜像安装face-recognition
点击OK后,会给一个提示框,点击“确定”继续即可
然后就可以在VS下面的输出中看到安装进度了
二.代码示例
import os
import cv2
import numpy as np
import face_recognition
import time
#对人脸集合进行编码进行处理
def findEncodeings(images):
encodeList=[]
for img in images:
#灰度处理
img=cv2.cvtColor(src=img,code=cv2.COLOR_BGR2RGB)
#face_encodings对图片对象a_images进行编码并返回数组0位置编码结果
encode=face_recognition.face_encodings(img)[0]
encodeList.append(encode)
return encodeList
#获取当前存储的人脸编码集合
def findExistsEncodeingList(img_path):
images=[]
#现有的人脸编码集合
existsEncodeingList=[]
#列出已经上传的所有图片
imgList=os.listdir(img_path)
#处理存储的图片得到其人脸编码
for pic in imgList:
img=cv2.imread({}/{}.format(img_path,pic))
images.append(img)
classNames.append(os.path.splitext(pic)[0])
#计算findEncodeings的耗时
start =time.clock()
existsEncodeingList=findEncodeings(images)
end = time.clock()
print(Running time: %s Seconds%(end-start))
return existsEncodeingList
#保存文件名,也就是图像中人物的名称
classNames=[]
img_path=Picture
cap=cv2.VideoCapture(0)
existsEncodeingList=findExistsEncodeingList(img_path)
while cap.isOpened():
#读取当前摄像头的画面
ret,frame=cap.read()
#给摄像头画面一个尺寸大小
frame=cv2.resize(src=frame,dsize=(1078,760))
frameRGB=cv2.cvtColor(src=frame,code=cv2.COLOR_BGR2RGB)
#对摄像头读取的检测人脸
facesLocate=face_recognition.face_locations(frameRGB)
#进行特征编码
faceEncoded=face_recognition.face_encodings(frameRGB,facesLocate)
#遍历检测的人脸和库中读取的图片进行对比,计算其相似度
for (top,right, bottom,left),face_encoding in zip(facesLocate,faceEncoded):
#进行匹配
matchs=face_recognition.compare_faces(existsEncodeingList,face_encoding)
#计算相似度
distance=face_recognition.face_distance(existsEncodeingList,face_encoding)
#判断是否匹配
name=unknow
for index, item in enumerate(distance):
if item<0.38:
if matchs[index]:
#得到匹配到的图片名称与相似度值
name=Similar photos exist: {}; similarity value:{}.format(classNames[index],item)
break
#初始化面部捕捉框显示绿色
color1 =(0,255,0)
if name ==unknow:
#未能识别的时候显示蓝色
color1 =(255,0,0)
#画面部捕捉框
cv2.rectangle(img=frame,pt1=(left,top),pt2=(right,bottom),color=color1,thickness=2)
#在捕捉框上添加匹配到的图片信息
cv2.putText(frame, name, (left,top-8),cv2.FONT_HERSHEY_SIMPLEX, 0.35, color1, 1)
cv2.imshow(frame,frame)
#按下回车键结束
if cv2.waitKey(1)&0xFF==13:
break
cap.release()
cv2.destroyAllWindows()
代码里面每行基本上都有注释,所以这里不做过多解释,其中发现在启动的时候比较慢,加上了对方法执行时间的打印,最终定位到了这行代码:
#face_encodings对图片对象a_images进行编码并返回数组0位置编码结果encode=face_recognition.face_encodings(img)[0]
原因应该与图片的分辨率、大小有关。另外还发现在调用摄像头进行检测的时候,视频画面存在严重的卡顿,因为我外接的是一个工业级高清摄像头在电脑上,应该也是因为分辨率与图片的大小设置的太大导致的。
这里的0.38是相似度,值越小代表越相似,一般设置在0.4左右即可,如果是同一个摄像头采集的人脸然后进行识别相似度在0.3左右。
三、对比
1.安装包依赖
先下载好opencv-python、face-recognition,这里因为使用的是照片对比的方式,特意使用tkinter画了一个简单的GUI方便操作。
在python 3以上版本tkinter是环境自带的,所以这里不需要安装
2.代码示例
import os
import cv2
import numpy as np
import face_recognition
import tkinter as tk
import tkinter.filedialog
from PIL import Image,ImageTk
classNames=[]
img_path=Picture
img_recognition_path=Recognition
existsEncodeingList=[]
#对人脸集合进行编码进行处理
def findEncodeings(images):
for img in images:
#灰度处理
img=cv2.cvtColor(src=img,code=cv2.COLOR_BGR2RGB)
#face_encodings对图片对象a_images进行编码并返回数组0位置编码结果
encode=face_recognition.face_encodings(img)[0]
existsEncodeingList.append(encode)
#获取当前存储的人脸编码集合
def findExistsEncodeingList(img_path):
images=[]
#列出已经上传的所有图片
imgList=os.listdir(img_path)
#处理存储的图片得到其人脸编码
for pic in imgList:
img=cv2.imread({}/{}.format(img_path,pic))
images.append(img)
classNames.append(os.path.splitext(pic)[0])
findEncodeings(images)
#选择并对比图片
def choosepic():
choosepath = tkinter.filedialog.askopenfilename()
path.set(choosepath)
img_open = Image.open(entry.get()).resize((530,750))
img = ImageTk.PhotoImage(img_open)
lableShowImage.config(image=img)
lableShowImage.image = img
lableShowImage.place(x=30, y=70, width=530, height=750)
faceRecognition(choosepath)
def faceRecognition(choosepath):
frame=cv2.imread(choosepath)
frameRGB=cv2.cvtColor(src=frame,code=cv2.COLOR_BGR2RGB)
#对摄像头读取的检测人脸
facesLocate=face_recognition.face_locations(frameRGB)
#进行特征编码
faceEncoded=face_recognition.face_encodings(frameRGB,facesLocate)
#遍历检测的人脸和库中读取的图片进行对比,计算其相似度
name=unknow
for (top,right, bottom,left),face_encoding in zip(facesLocate,faceEncoded):
#进行匹配
matchs=face_recognition.compare_faces(existsEncodeingList,face_encoding)
#计算相似度
distance=face_recognition.face_distance(existsEncodeingList,face_encoding)
lab=unknow
for index, item in enumerate(distance):
if item<0.5:
if matchs[index]:
#得到匹配到的图片名称与相似度值
lab=name:{}; Similarity:{}.format(classNames[index],item)
name=classNames[index]
break
#初始化面部捕捉框显示绿色
color1 =(0,255,0)
if name ==unknow:
#未能识别的时候显示蓝色
color1 =(255,0,0)
#画面部捕捉框
cv2.rectangle(img=frame,pt1=(left,top),pt2=(right,bottom),color=color1,thickness=3)
#在捕捉框上添加匹配到的图片信息
cv2.putText(frame, lab, (left,top-8),cv2.FONT_HERSHEY_SIMPLEX, 0.7, color1, 2)
cv2.imwrite({}/{}.png.format(img_recognition_path,name),frame)
img_Recognition = Image.open({}/{}.png.format(img_recognition_path,name)).resize((530,750))
img = ImageTk.PhotoImage(img_Recognition)
lableShowImage2.config(image=img)
lableShowImage2.image = img
lableShowImage2.place(x=630, y=70, width=530, height=750)
if __name__ == __main__:
findExistsEncodeingList(img_path)
#生成tk界面 app即主窗口
app = tk.Tk()
#修改窗口titile
app.title("show pictue")
#设置主窗口的大小和位置
app.geometry("1200x900+200+50")
#Entry widget which allows displaying simple text.
path = tk.StringVar()
entry = tk.Entry(app, state=readonly, text=path,width = 100)
entry.pack()
#使用Label显示图片
lableShowImage = tk.Label(app)
lableShowImage.pack()
#使用Label2显示处理后的图片
lableShowImage2 = tk.Label(app)
lableShowImage2.pack()
#选择图片的按钮
buttonSelImage = tk.Button(app, text=choose picture, command=choosepic)
buttonSelImage.pack()
app.mainloop()
3.说明
首先我将需要被识别的人脸的照片预设到项目目录的Picture文件夹下,然后创建一个Recognition目录存放识别过的图片,这样方便在一个界面上展示对比结果照片。
其实对比结果也可以不用存,直接将处理后的图片缓存直接展示在界面上,这里需要改一下此处的代码,将上述代码注释掉,然后换成下面的那行,通过数组直接转成图片
但是效果会存在色彩的失真,效果如下:
也尝试了PIL的九种不同图片模式: 1,L,P,RGB,RGBA,CMYK,YCbCr,I,F,最终效果也没达到,大概与我resize((530,750))这个有关,也没继续纠结,有兴趣的同学可以尝试一下。
这里简单提下PIL的九种不同图片模式:
modes | 描述 |
1 | 1位像素,黑和白,存成8位的像素 |
L | 8位像素,黑白 |
P | 8位像素,使用调色板映射到任何其他模式 |
RGB | 3× 8位像素,真彩 |
RGBA | 4×8位像素,真彩+透明通道 |
CMYK | 4×8位像素,颜色隔离 |
YCbCr | 3×8位像素,彩色视频格式 |
I | 32位整型像素 |
F | 32位浮点型像素 |
4.实现效果
可以实现简单的人脸对比,Similarity代表相似度值,值越小代表人脸与预设的图片越相似。