[Feat] AI기반 필기인식 기능

[semnisem]

PR 타입

• 새로운 기능 추가
• 버그 수정
• 테스트 추가, 테스트 리팩토링
• 파일/폴더 수정/삭제
• 코드 리팩토링
• 주석 추가/수정

반영 브랜치

dev ➡️ main

작업 사항

📝AI 필기제거 API 개발

기존엔 POST요청과 process-color 엔드포인트였으며 색상기반으로 필기를 인식. 이는 그대로 두었으며 AI기반 필기인식 API인 process-shape 엔드포인트로 POST 요청 가능.
이미지 URL을 받아 다운로드, 전처리 및 필기제거 및 후처리 후, 입력, 중간, 중간1, 중간2, 결과 이미지를 모두 s3에 업로드.

📝AI 필기제거 로직 개발 및 경량화

AI 필기제거에 파인튜닝한 객체탐지모델(YOLOv11)과 파운데이션 세그멘테이션 모델(SAM-vit-h)을 활용했으나, 세그멘테이션 모델의 용량 및 연산 처리 속도가 1분이상이라 비현실적임을 감안하여, 모바일용도의 가벼운 경량화 모델로 변경하여 연산 처리 시간을 50% 이상 �감축하는 데 성공.

📝도커파일 & 패키지 버전 파일 수정

모델을 서버 도커 컨테이너 내 보관 및 디렉토리 생성이 필요해짐에 따라 도커파일의 RUN 명령어를 수정.
SAM을 위한 git 설치도 이루어지기 위해, 그리고 추가적으로 필요한 ML 패키지 설치를 위해 requirements.txt를 추가

📝기타 버그 수정

요청에 필드가 오지 않는 경우, 마스킹 중간 결과가 없는 경우 등을 고려하여 예외처리를 진행.
또한 동그란 마킹을 인식할 경우 후보정에서 모폴로지 변환을 통해서 원 내부를 제외.

테스트 방법

추가된 기능은 아래 방식으로 자유롭게 요청&응답 테스트가 가능합니다.

• Dev/Prod 서버 Postman
• Dev/Prod 서버 Swagger UI
  process-shape에 POST요청을 보내면 되며 형식은 아래와 같습니다.
  {
"fullUrl": 이미지 URL,
"points": [200,800,1400,2000],
"labels": []
}

테스트 결과

입력	마스킹	결과