---
comments: true
---
# 人脸识别产线使用教程
## 1. 人脸识别产线介绍
人脸识别任务是计算机视觉领域的重要组成部分,旨在通过分析和比较人脸特征,实现对个人身份的自动识别。该任务不仅需要检测图像中的人脸,还需要对人脸图像进行特征提取和匹配,从而在数据库中找到对应的身份信息。人脸识别广泛应用于安全认证、监控系统、社交媒体和智能设备等场景。
人脸识别产线是专注于解决人脸定位和识别任务的端到端串联系统,可以从图像中快速准确地定位人脸区域、提取人脸特征,并与特征库中预先建立的特征做检索比对,从而确认身份信息。
人脸识别产线中包含了人脸检测模块和人脸特征模块,每个模块中包含了若干模型,具体使用哪些模型,您可以根据下边的 benchmark 数据来选择。如您更考虑模型精度,请选择精度较高的模型,如您更考虑模型推理速度,请选择推理速度较快的模型,如您更考虑模型存储大小,请选择存储大小较小的模型。
人脸检测模块:
| 模型 | 模型下载链接 | AP(%) | GPU推理耗时(ms) [常规模式 / 高性能模式] |
CPU推理耗时(ms) [常规模式 / 高性能模式] |
模型存储大小 (M) | 介绍 |
|---|---|---|---|---|---|---|
| BlazeFace | 推理模型/训练模型 | 15.4 | 60.34 / 54.76 | 84.18 / 84.18 | 0.447 | 轻量高效的人脸检测模型 |
| BlazeFace-FPN-SSH | 推理模型/训练模型 | 18.7 | 69.29 / 63.42 | 86.96 / 86.96 | 0.606 | BlazeFace的改进模型,增加FPN和SSH结构 |
| PicoDet_LCNet_x2_5_face | 推理模型/训练模型 | 31.4 | 35.37 / 12.88 | 126.24 / 126.24 | 28.9 | 基于PicoDet_LCNet_x2_5的人脸检测模型 |
| PP-YOLOE_plus-S_face | 推理模型/训练模型 | 36.1 | 22.54 / 8.33 | 138.67 / 138.67 | 26.5 | 基于PP-YOLOE_plus-S的人脸检测模型 |
注:以上精度指标是在 COCO 格式的 WIDER-FACE 验证集上,以640 *640作为输入尺寸评估得到的。所有模型 GPU 推理耗时基于 NVIDIA V100 机器,精度类型为 FP32, CPU 推理速度基于 Intel(R) Xeon(R) Gold 6271C CPU @ 2.60GHz,精度类型为 FP32。
人脸特征模块:
| 模型 | 模型下载链接 | 输出特征维度 | Acc (%) AgeDB-30/CFP-FP/LFW |
GPU推理耗时(ms) [常规模式 / 高性能模式] |
CPU推理耗时(ms) [常规模式 / 高性能模式] |
模型存储大小 (M) | 介绍 |
|---|---|---|---|---|---|---|---|
| MobileFaceNet | 推理模型/训练模型 | 128 | 96.28/96.71/99.58 | 3.16 / 0.48 | 6.49 / 6.49 | 4.1 | 基于MobileFaceNet在MS1Mv3数据集上训练的人脸特征提取模型 |
| ResNet50_face | 推理模型/训练模型 | 512 | 98.12/98.56/99.77 | 5.68 / 1.09 | 14.96 / 11.90 | 87.2 | 基于ResNet50在MS1Mv3数据集上训练的人脸特征提取模型 |
注:以上精度指标是分别在 AgeDB-30、CFP-FP 和 LFW 数据集上测得的 Accuracy。所有模型 GPU 推理耗时基于 NVIDIA Tesla T4 机器,精度类型为 FP32, CPU 推理速度基于 Intel(R) Xeon(R) Gold 5117 CPU @ 2.00GHz,线程数为8,精度类型为 FP32。
## 2. 快速开始 PaddleX 所提供的模型产线均可以快速体验效果,你可以在线体验人脸识别产线的效果,也可以在本地使用命令行或 Python 体验人脸识别产线的效果。 ### 2.1 在线体验 暂不支持在线体验 ### 2.2 本地体验 > ❗ 在本地使用人脸识别产线前,请确保您已经按照[PaddleX安装教程](../../../installation/installation.md)完成了PaddleX的wheel包安装。 #### 2.2.1 命令行方式体验 暂不支持命令行体验 #### 2.2.2 Python脚本方式集成 请下载[测试图像](https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/friends1.jpg)进行测试。 在该产线的运行示例中需要预先构建人脸特征库,您可以参考如下指令下载官方提供的demo数据用来后续构建人脸特征库。 您可以参考下面的命令将 Demo 数据集下载到指定文件夹: ```bash cd /path/to/paddlex wget https://paddle-model-ecology.bj.bcebos.com/paddlex/data/face_demo_gallery.tar tar -xf ./face_demo_gallery.tar ``` 若您希望用私有数据集建立人脸特征库,可以参考[2.3节 构建特征库的数据组织方式](#23-构建特征库的数据组织方式)。之后通过几行代码即可完成人脸特征库建立和人脸识别产线的快速推理。 ```python from paddlex import create_pipeline pipeline = create_pipeline(pipeline="face_recognition") index_data = pipeline.build_index(gallery_imgs="face_demo_gallery", gallery_label="face_demo_gallery/gallery.txt") index_data.save("face_index") output = pipeline.predict("friends1.jpg", index=index_data) for res in output: res.print() res.save_to_img("./output/") res.save_to_json("./output/") ``` 在上述 Python 脚本中,执行了如下几个步骤: (1)调用 `create_pipeline` 实例化人脸识别产线对象。具体参数说明如下:| 参数 | 参数说明 | 参数类型 | 默认值 |
|---|---|---|---|
pipeline |
产线名称或是产线配置文件路径。如为产线名称,则必须为 PaddleX 所支持的产线。 | str |
无 |
config |
产线具体的配置信息(如果和pipeline同时设置,优先级高于pipeline,且要求产线名和pipeline一致)。 |
dict[str, Any] |
None |
device |
产线推理设备。支持指定GPU具体卡号,如“gpu:0”,其他硬件具体卡号,如“npu:0”,CPU如“cpu”。 | str |
gpu:0 |
use_hpip |
是否启用高性能推理,仅当该产线支持高性能推理时可用。 | bool |
False |
| 参数 | 参数说明 | 参数类型 | 可选项 | 默认值 |
|---|---|---|---|---|
gallery_imgs |
要添加的底库图片,必需参数 | str|list |
|
无 |
gallery_label |
底库图片的标注信息,必需参数 | str|list |
|
无 |
metric_type |
特征度量方式,可选参数 | str |
|
"IP" |
index_type |
索引类型,可选参数 | str |
|
"HNSW32" |
| 参数 | 参数说明 | 参数类型 | 默认值 |
|---|---|---|---|
save_path |
特征库文件的保存目录,如drink_index。 |
str |
无 |
| 参数 | 参数说明 | 参数类型 | 可选项 | 默认值 |
|---|---|---|---|---|
input |
待预测数据,支持多种输入类型,必需参数 | Python Var|str|list |
|
无 |
index |
产线推理预测所用的特征库,可选参数。如不传入该参数,则默认使用产线配置文件中指定的索引库。 | str|paddlex.inference.components.retrieval.faiss.IndexData|None |
|
None |
| 方法 | 方法说明 | 参数 | 参数类型 | 参数说明 | 默认值 |
|---|---|---|---|---|---|
print() |
打印结果到终端 | format_json |
bool |
是否对输出内容进行使用 JSON 缩进格式化 |
True |
indent |
int |
指定缩进级别,以美化输出的 JSON 数据,使其更具可读性,仅当 format_json 为 True 时有效 |
4 | ||
ensure_ascii |
bool |
控制是否将非 ASCII 字符转义为 Unicode。设置为 True 时,所有非 ASCII 字符将被转义;False 则保留原始字符,仅当format_json为True时有效 |
False |
||
save_to_json() |
将结果保存为json格式的文件 | save_path |
str |
保存的文件路径,当为目录时,保存文件命名与输入文件类型命名一致 | 无 |
indent |
int |
指定缩进级别,以美化输出的 JSON 数据,使其更具可读性,仅当 format_json 为 True 时有效 |
4 | ||
ensure_ascii |
bool |
控制是否将非 ASCII 字符转义为 Unicode。设置为 True 时,所有非 ASCII 字符将被转义;False 则保留原始字符,仅当format_json为True时有效 |
False |
||
save_to_img() |
将结果保存为图像格式的文件 | save_path |
str |
保存的文件路径,支持目录或文件路径 | 无 |
* 此外,也支持通过属性获取带结果的可视化图像和预测结果,具体如下:
| 属性 | 属性说明 |
|---|---|
json |
获取预测的 json 格式的结果 |
img |
获取格式为 dict 的可视化图像 |
| 参数 | 参数说明 | 参数类型 | 可选项 | 默认值 |
|---|---|---|---|---|
gallery_imgs |
要添加的底库图片,必需参数 | str|list |
|
无 |
gallery_label |
底库图片的标注信息,必需参数 | str|list |
|
无 |
metric_type |
特征度量方式,可选参数 | str |
|
"IP" |
index_type |
索引类型,可选参数 | str |
|
"HNSW32" |
remove_ids |
待删除的索引序号, | str|list |
|
无 |
index |
产线推理预测所用的特征库 | str|paddlex.inference.components.retrieval.faiss.IndexData |
|
无 |
HNSW32在windows平台存在兼容性问题,可能导致索引库无法构建、加载。
### 2.3 构建特征库的数据组织方式
PaddleX的人脸识别产线示例需要使用预先构建好的特征库进行人脸特征检索。如果您希望用私有数据构建人脸特征库,则需要按照如下方式组织数据:
```bash
data_root # 数据集根目录,目录名称可以改变
├── images # 图像的保存目录,目录名称可以改变
│ ├── ID0 # 身份ID名字,最好是有意义的名字,比如人名
│ │ ├── xxx.jpg # 图片,此处支持层级嵌套
│ │ ├── xxx.jpg # 图片,此处支持层级嵌套
│ │ ...
│ ├── ID1 # 身份ID名字,最好是有意义的名字,比如人名
│ │ ├── xxx.jpg # 图片,此处支持层级嵌套
│ │ ├── xxx.jpg # 图片,此处支持层级嵌套
│ │ ...
│ ...
└── gallery.txt # 特征库数据集标注文件,文件名称可以改变。每行给出待检索人脸图像路径和图像标签,使用空格分隔,内容举例:images/Chandler/Chandler00037.jpg Chandler
```
## 3. 开发集成/部署
如果人脸识别产线可以达到您对产线推理速度和精度的要求,您可以直接进行开发集成/部署。
若您需要将人脸识别产线直接应用在您的Python项目中,可以参考 [2.2.2 Python脚本方式](#222-python脚本方式集成)中的示例代码。
此外,PaddleX 也提供了其他三种部署方式,详细说明如下:
🚀 高性能推理:在实际生产环境中,许多应用对部署策略的性能指标(尤其是响应速度)有着较严苛的标准,以确保系统的高效运行与用户体验的流畅性。为此,PaddleX 提供高性能推理插件,旨在对模型推理及前后处理进行深度性能优化,实现端到端流程的显著提速,详细的高性能推理流程请参考[PaddleX高性能推理指南](../../../pipeline_deploy/high_performance_inference.md)。
☁️ 服务化部署:服务化部署是实际生产环境中常见的一种部署形式。通过将推理功能封装为服务,客户端可以通过网络请求来访问这些服务,以获取推理结果。PaddleX 支持多种产线服务化部署方案,详细的产线服务化部署流程请参考[PaddleX服务化部署指南](../../../pipeline_deploy/serving.md)。
以下是基础服务化部署的API参考与多语言服务调用示例:
对于服务提供的主要操作:
200,响应体的属性如下:| 名称 | 类型 | 含义 |
|---|---|---|
logId |
string |
请求的UUID。 |
errorCode |
integer |
错误码。固定为0。 |
errorMsg |
string |
错误说明。固定为"Success"。 |
result |
object |
操作结果。 |
| 名称 | 类型 | 含义 |
|---|---|---|
logId |
string |
请求的UUID。 |
errorCode |
integer |
错误码。与响应状态码相同。 |
errorMsg |
string |
错误说明。 |
服务提供的主要操作如下:
buildIndex构建特征向量索引。
POST /face-recognition-index-build
| 名称 | 类型 | 含义 | 是否必填 |
|---|---|---|---|
imageLabelPairs |
array |
用于构建索引的图像-标签对。 | 是 |
imageLabelPairs中的每个元素为一个object,具有如下属性:
| 名称 | 类型 | 含义 |
|---|---|---|
image |
string |
服务器可访问的图像文件的URL或图像文件内容的Base64编码结果。 |
label |
string |
标签。 |
result具有如下属性:| 名称 | 类型 | 含义 |
|---|---|---|
indexKey |
string |
索引对应的键,用于标识建立的索引。可用作其他操作的输入。 |
idMap |
object |
向量ID到标签的映射。 |
addImagesToIndex将图像(对应的特征向量)加入索引。
POST /face-recognition-index-add
| 名称 | 类型 | 含义 | 是否必填 |
|---|---|---|---|
imageLabelPairs |
array |
用于构建索引的图像-标签对。 | 是 |
indexKey |
string |
索引对应的键。由buildIndex操作提供。 |
是 |
imageLabelPairs中的每个元素为一个object,具有如下属性:
| 名称 | 类型 | 含义 |
|---|---|---|
image |
string |
服务器可访问的图像文件的URL或图像文件内容的Base64编码结果。 |
label |
string |
标签。 |
result具有如下属性:| 名称 | 类型 | 含义 |
|---|---|---|
idMap |
object |
向量ID到标签的映射。 |
removeImagesFromIndex从索引中移除图像(对应的特征向量)。
POST /face-recognition-index-remove
| 名称 | 类型 | 含义 | 是否必填 |
|---|---|---|---|
ids |
array |
需要从索引中移除的向量的ID。 | 是 |
indexKey |
string |
索引对应的键。由buildIndex操作提供。 |
是 |
result具有如下属性:| 名称 | 类型 | 含义 |
|---|---|---|
idMap |
object |
向量ID到标签的映射。 |
infer进行图像识别。
POST /face-recognition-infer
| 名称 | 类型 | 含义 | 是否必填 |
|---|---|---|---|
image |
string |
服务器可访问的图像文件的URL或图像文件内容的Base64编码结果。 | 是 |
indexKey |
string |
索引对应的键。由buildIndex操作提供。 |
否 |
detThreshold |
number | null |
参见产线 predict 方法中的 det_threshold 参数说明。 |
否 |
recThreshold |
number | null |
参见产线 predict 方法中的 rec_threshold 参数说明。 |
否 |
hammingRadius |
number | null |
参见产线 predict 方法中的 hamming_radius 参数说明。 |
否 |
topk |
integer | null |
参见产线 predict 方法中的 topk 参数说明。 |
否 |
result具有如下属性:| 名称 | 类型 | 含义 |
|---|---|---|
faces |
array |
检测到的人脸的信息。 |
image |
string | null |
识别结果图。图像为JPEG格式,使用Base64编码。 |
faces中的每个元素为一个object,具有如下属性:
| 名称 | 类型 | 含义 |
|---|---|---|
bbox |
array |
人脸目标位置。数组中元素依次为边界框左上角x坐标、左上角y坐标、右下角x坐标以及右下角y坐标。 |
recResults |
array |
识别结果。 |
score |
number |
检测得分。 |
recResults中的每个元素为一个object,具有如下属性:
| 名称 | 类型 | 含义 |
|---|---|---|
label |
string |
标签。 |
score |
number |
识别得分。 |
import base64
import pprint
import sys
import requests
API_BASE_URL = "http://0.0.0.0:8080"
base_image_label_pairs = [
{"image": "./demo0.jpg", "label": "ID0"},
{"image": "./demo1.jpg", "label": "ID1"},
{"image": "./demo2.jpg", "label": "ID2"},
]
image_label_pairs_to_add = [
{"image": "./demo3.jpg", "label": "ID2"},
]
ids_to_remove = [1]
infer_image_path = "./demo4.jpg"
output_image_path = "./out.jpg"
for pair in base_image_label_pairs:
with open(pair["image"], "rb") as file:
image_bytes = file.read()
image_data = base64.b64encode(image_bytes).decode("ascii")
pair["image"] = image_data
payload = {"imageLabelPairs": base_image_label_pairs}
resp_index_build = requests.post(f"{API_BASE_URL}/face-recognition-index-build", json=payload)
if resp_index_build.status_code != 200:
print(f"Request to face-recognition-index-build failed with status code {resp_index_build}.")
pprint.pp(resp_index_build.json())
sys.exit(1)
result_index_build = resp_index_build.json()["result"]
print(f"Number of images indexed: {len(result_index_build['idMap'])}")
for pair in image_label_pairs_to_add:
with open(pair["image"], "rb") as file:
image_bytes = file.read()
image_data = base64.b64encode(image_bytes).decode("ascii")
pair["image"] = image_data
payload = {"imageLabelPairs": image_label_pairs_to_add, "indexKey": result_index_build["indexKey"]}
resp_index_add = requests.post(f"{API_BASE_URL}/face-recognition-index-add", json=payload)
if resp_index_add.status_code != 200:
print(f"Request to face-recognition-index-add failed with status code {resp_index_add}.")
pprint.pp(resp_index_add.json())
sys.exit(1)
result_index_add = resp_index_add.json()["result"]
print(f"Number of images indexed: {len(result_index_add['idMap'])}")
payload = {"ids": ids_to_remove, "indexKey": result_index_build["indexKey"]}
resp_index_remove = requests.post(f"{API_BASE_URL}/face-recognition-index-remove", json=payload)
if resp_index_remove.status_code != 200:
print(f"Request to face-recognition-index-remove failed with status code {resp_index_remove}.")
pprint.pp(resp_index_remove.json())
sys.exit(1)
result_index_remove = resp_index_remove.json()["result"]
print(f"Number of images indexed: {len(result_index_remove['idMap'])}")
with open(infer_image_path, "rb") as file:
image_bytes = file.read()
image_data = base64.b64encode(image_bytes).decode("ascii")
payload = {"image": image_data, "indexKey": result_index_build["indexKey"]}
resp_infer = requests.post(f"{API_BASE_URL}/face-recognition-infer", json=payload)
if resp_infer.status_code != 200:
print(f"Request to face-recogntion-infer failed with status code {resp_infer}.")
pprint.pp(resp_infer.json())
sys.exit(1)
result_infer = resp_infer.json()["result"]
with open(output_image_path, "wb") as file:
file.write(base64.b64decode(result_infer["image"]))
print(f"Output image saved at {output_image_path}")
print("\nDetected faces:")
pprint.pp(result_infer["faces"])