AI로 얼굴을 실시간 추적하며 증강현실(AR) 입히기

이번 수업은 MindAR와 A-Frame을 사용해 실시간으로 얼굴의 위치를 추적하고, AR(Augmented Reality, 증강현실)을 활용한 가상 의상 착용을 체험합니다.

스마트 기기의 카메라(예: 노트북의 웹캠, 스마트폰의 전면 카메라)를 활용해 얼굴을 인식하므로, 수업 진행을 위해서는 관련 기능이 활성화되어 있어야 합니다.

웹캠이 구비되지 않은 데스크톱에서는 수업 진행이 어려우실 수 있으며, 태블릿 또는 노트북을 사용하시는 것을 권장합니다.

수업에 사용되는 MindAR은 웹 기반의 증강 현실(Augmented Reality, AR) 라이브러리로, JavaScript와 WebAR 기술을 사용하여 브라우저에서 직접 AR 경험을 구현할 수 있도록 돕습니다.

자세한 내용은 MindAR 공식 문서를 참고하시기 바랍니다.

지금부터 AI가 얼굴을 실시간으로 인식하고, AR이 작용하는 과정을 알아보겠습니다 :)

---

시스템은 MindAR의 AI 기반 얼굴 랜드마크 감지를 사용합니다.

랜드마크(Landmark)란 얼굴의 코끝, 양쪽 눈의 중심과 같은 특징적인 점들을 말합니다. MindAR은 가벼운 머신러닝 모델을 활용하여 웹캠으로 탐지한 얼굴의 눈, 코, 입과 같은 얼굴 랜드마크를 감지합니다.

이러한 랜드마크는 앵커 포인트(Anchor point, 기준점) 역할을 하여 사용자의 얼굴이 움직이더라도 AR 객체를 실시간으로 배치할 수 있게 합니다.

---

얼굴 랜드마크의 앵커에 맞추어 3D 모델이 이러한 앵커에 맞춰 정렬됩니다.

3D 모델은 얼굴의 위치가 변하더라도, 앵커를 따라 얼굴 움직임을 자연스럽게 따라갑니다.

AR 콘텐츠를 렌더링하기 위해 A-Frame이 사용되었습니다.

A-Frame은 WebVR(WebXR)과 WebGL을 기반으로 하는 오픈소스 프레임워크로, HTML을 사용해 3D 콘텐츠를 쉽게 만들 수 있도록 돕습니다.

MindAR은 A-Frame과 연동되어, MindAR의 마커 기반 AR 및 얼굴 추적 AR을 HTML 형태로 구현합니다.

A-Frame 관련 자세한 내용은 공식 문서를 참고하시기 바랍니다.