DAY70. Tensorflow Face detection (1)face landmark

딥 러닝 적용 이미지 분석 절차

STEP 01

Data Crawling (Selenium) 이미지 자료 수집

 

STEP 02

1) Face Detection (dlib) 얼굴 인식

HOG (Histogram of Gradient Face Detection) : 이미지에서 face 감지 알고리즘

* HOG : 대상 영역을 일정 크기의 셀로 분할하고, 각 셀마다 edge 픽셀 (gradient magnitude가 일정 값 이상인 픽셀)들의 방향에 대한 히스토그램을 구한 후 이들 히스토그램 bin 값들을 일렬로 연결한 벡터

 

2) 얼굴 정렬(Face Alignment)

 

68 LandMark Centralization

 

3) API Install

python3.8의 가상환경에서 cmake 설치

(base) > conda activate tensorfow

(tensorflow) >pip install cmake

 

dlib 설치 : 68 랜드마크 인식(얼굴인식)

(tensorflow)> pip install C:\ITWILL\5_Tensorflow\tools\dlib-19.19.0-cp38-cp38-win_amd64.whl

 

scikit-image 설치 : image read/save

* openCV library 대체 가능

(tensorflow) > pip install scikit-image

 

4) 68 landmark 데이터셋 다운로드/압축풀기

http://dlib.net/files에서 shape_predictor_68_face_landmarks.dat.bz2 다운로드

현재 작업 위치에 압축 풀기

 

 

STEP 03 Deep Learning (Tensorflow)

CNN 모델 구조

훈련 데이터 셋(Training Dataset) : 모델을 훈련하는 데 사용되는 데이터 셋(신경망 : 가중치, 바이어스)

유효성 데이터 셋(Validation Dataset) : 모델의 Hyper Parameter를 튜닝 하는데 사용되는 데이터 셋(모델 최적화)

검정 데이터 셋(Test Dataset) : 모델이 완전히 훈련 된 후에 만 사용되는 데이터 셋(실제 업무 데이터)

 

 

 

 

 

image 얼굴인식과 68 point landmark 인식 

1. dlib + scikit-image 설치 : 가상환경(tensorflow)

단계1 : 패키지 설치 
(base) > conda activate tensorfow

(1) cmake 설치 : dlib 의존성 패키지 설치 
(tensorflow) >pip install cmake

(2) dlib 설치 : 68 랜드마크 인식(얼굴인식)
(tensorflow) >conda install 파일경로/dlib
   
(3) scikit-image 설치 : image read/save
(tensorflow) >pip install scikit-image

단계2 : 68 포인트 랜드마크 data 다운로드 
(1) 다운로드 :http://dlib.net/files
    shape_predictor_68_face_landmarks.dat.bz2
(2) lecture01 압축풀기 
(3) images 폴더 제공 

import dlib #face detection/face landmark
from skimage import io #image read/save
from glob import glob #dir 패턴검색(*jpg)
import os #경로설정, 폴더이동

폴더 이동 

os.chdir(r'C:\ITWILL\5_Tensorflow\workspace\chap07_Face_detection\lecture01_face_landmark')  
path = os.getcwd() #현재 경로  
fpath = path + "/images" #celeb image 위치 
fpath2 = path + "/croped_images" #croped image 저장 위치

hog 얼굴 인식기(알고리즘)

face_detector = dlib.get_frontal_face_detector()

hog 얼굴 인식기 이용 - 68 point landmark 객체 생성 

face_68_landmark = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')

i = 100 #[추가] image file 
for file in glob(fpath+"/*.jpg") : #폴더에서 순서대로 jpg 파일 읽기 
    image = io.imread(file) #image file 읽기 
    print(image.shape) #image 모양 
    
    #윈도에 image 표시 
    win = dlib.image_window()
    win.set_image(image) #1차 : 원본 이미지 표시 
    
    #image에서 얼굴인식     
    faces = face_detector(image, 1) #두번째 인수=1 : 업샘플링 횟수 
    print('인식한 face size =', len(faces))
    '''
    업샘플링 횟수 : 더 많은 이미지를 인식하게한다. 보통 1 지정
    '''    
    
    #image 크롭(crop) & file save : 68 point 기준 자르기 
    for face in faces : # 1명 -> 1회 반복     
        i += 1 #[추가]    
        print(face) #감지된 image 사각점 좌표       
        print(f'왼쪽 : {face.left()}, 위 : {face.top()}, 오른쪽 : {face.right()}, 아래 : {face.bottom()}')
                
        #윈도에 얼굴 표시 : face 사각점 좌표 겹치기 
        win.add_overlay(face) # 2차 : 이미지 위에 얼굴 겹치기 
        
        #face 사각점안에 68 point 겹치기
        face_landmark = face_68_landmark(image, face)
        win.add_overlay(face_landmark) #3차 : 68 포인트 겹치기
        
        #[추가] 크롭(crop) : 얼굴 부분만 자르기 : image file save 
        crop = image[face.top():face.bottom(), face.left():face.right()] #image[h,w]
        
        #croped images svae 
        io.imsave(fpath2 + "/croped" + str(i) + ".jpg", crop)
        #croped101.jpg, croped102.jpg

 

 

 

 

 

croped image resize(100x100)

from glob import glob #file 패턴(*, ?)으로 조회 : (*.jpg)
from PIL import Image #image file read : image resize 
from skimage import io #image save
import numpy as np #array 생성 
import os #폴더 경로/이동

폴더 이동 

os.chdir(r'C:\ITWILL\5_Tensorflow\workspace\chap07_Face_detection\lecture01_face_landmark')  
path = os.getcwd() #현재 경로  
fpath = path + "/croped_images" #image path

croped image -> 100x100

def imgReshape() :     
    img_reshape = [] #image save 
    
    for file in glob(fpath + "/*.jpg") : #jpg file 선택 
        img = Image.open(file) #image read 
        
        #image 규격화 
        img = img.resize( (100, 100) ) #image resize  
        #PIL -> numpy
        img_data = np.array(img)
        print(img_data.shape)
        
        img_reshape.append(img_data)
    
    return np.array(img_reshape) #list -> numpy

 

함수 호출

img_reshape = imgReshape()    
print(img_reshape.shape) #(26, 100, 100, 3) - (size, h, w, c)

 

[추가] images show & save 

import matplotlib.pyplot as plt  

size = img_reshape.shape[0]

for i in range(size) : #0 ~ 25
    img = img_reshape[i]
    plt.imshow(img)
    plt.show()
    
    #image save 
    io.imsave(fpath + '/croped'+str(i+101)+"_resize"+".jpg", img)
    #croped101_resize.jpg, croped102_resize.jpg