실세계 데이터셋

물체 재질 인식을 위한 실세계 데이터셋

TAGS
Bounding Box
이미지
물체
물체 재질 인식을 위한 실세계 데이터셋

“물체 재질 인식을 위한 실세계 데이터셋 구축 프로젝트”는 일상에서 접할 수 있는 다양한 물체들을 360도 각도에서 영상으로 촬영한 뒤, 물체 1개 당 서로 다른 50개의 각도에 대해 재질 별 폴리곤을 생성한 프로젝트입니다.

본 프로젝트를 통해 육안으로 구분 가능한 재질의 특성을 나누어 시각화한 데이터셋을 구축하였으며, 해당 결과물을 활용하여 영상 기반의 3D 물체의 모델 생성 시 물체의 재질까지 함께 구현할 수 있을 것으로 기대됩니다.

About

디자인과 머신러닝을 접목하는 연구

셀렉트스타는 더욱 스마트한 인공지능을 위한 고품질 학습 데이터를 제공합니다. 본 데이터셋은 셀렉트스타가 주최한 인공지능 데이터셋 지원사업의 일환으로, 리빌더에이아이와 협업하여 무료로 구축하였습니다.

리빌더에이아이는 AI 기반의 3D 자동화 솔루션 / 3D 가상 공간 크리에이팅 플랫폼을 제공합니다. 누구나 쉽게 실사기반의 3D를 만들 수 있게 하고, 사람들에게 온라인에서 현실감 넘치는 가상의 경험을 제공하는 것을 미션으로 삼고 있으며, 영상 데이터를 기반으로 사물과 공간을 실시간으로 3D로 만들어주는 AI 모델인 VRIN 등의 혁신 기술을 보유하고 있습니다.

프로젝트 진행 소감

“프로젝트를 진행하며, PM은 항상 “어떻게 주어진 조건 내에서 고품질의 데이터를 고객사에 제공할 것인가?”를 고민하게 됩니다. 그리고 그 고민의 답은 항상 크라우드 소싱의 작업자들, 즉 캐시미션을 사용하는 유저들에게 있다고 생각합니다. 그런 의미에서 이번 프로젝트에서 가장 많은 힘을 쏟은 것은, “어떻게 유저들이 더 쉽게, 고품질의 데이터를 생산할 수 있게 할 것인가?”인 것 같습니다.

단순히 직접적으로 비용을 줄이는 것만 생각하지 않고, 유저의 입장에 서서 작업의 난이도와 편의성, 그리고 작업 과정에 대한 만족도를 개선할 방법을 고민했기 때문에 오히려 주어진 조건 내에서 더 높은 품질의 데이터를 생산할 수 있었다고 느꼈고, 앞으로의 프로젝트를 진행할 방향을 제시해 준 의미 있는 경험이였습니다.”

 

셀렉트스타 / 이종호 PM

데이터셋 스펙

  • 영상 원천 데이터: 1개 객체 당 1개의 360도 촬영 영상 총 1,000 건
  • 이미지 원천 데이터: 영상 원천 데이터 중 890건에서 추출된 이미지 44,500건(객체 당 50건)
  • 이미지 원천 데이터에 대한 라벨(폴리곤) 데이터
    • 객체 전체에 대한 마스크 파일 44,500건
    • 객체 중 불투명한 부위에 대한 마스크 파일 42,078건
    • 객체 중 투명한 부위에 대한 마스크 파일 19,893건
    • 객체 중 비어 있는 부위에 대한 마스크 파일 11,188건

데이터 수집 가공 방법

본 프로젝트의 데이터 수집 및 가공은 모두 셀렉트스타의 크라우드 소싱 플랫폼인 캐시미션을 통해 진행되었습니다.

수집 단계에서는 캐시미션의 넓은 유저 풀을 통해 빠른 시간 내에 필요한 원천 데이터를 수집하였으며, 가공 단계에서는 자체 개발 알고리즘을 활용하여 숙련된 작업자를 검수자로 선별하고 전수 검사를 진행하여 데이터셋의 정확성과 일관성을 극대화하였습니다.

이러한 기술적인 이점에 더해, 기존 프로젝트 진행 이력을 통해 구축한 정교하고 체계적인 프로젝트 진행 및 정확도 관리 프로세스를 통해 효율적으로 고품질의 데이터를 생산할 수 있었습니다.

Data Collection

셀렉트스타의 크라우드소싱 플랫폼 '캐시미션(웹)'에서 크라우드 유저들이 직접 참여하여 일부 데이터의 수집 및 가공을 진행했습니다.

'캐시미션(웹)'에서 전문 가이드 팀이 작성한 크라우드 유저들의 미션 이해를 돕기 위한 가이드
'캐시미션(웹)'에서 전문 가이드 팀이 작성한 크라우드 유저들의 미션 이해를 돕기 위한 가이드

Sample Data

이미지 원천 데이터

객체 전체 마스크 파일

객체 불투명 마스크 파일

객체 투명 마스크 파일

객체 제외 마스크 파일

활용분야

본 프로젝트를 통해 생성한 데이터셋은 육안으로 구분할 수 있는 객체의 재질 특성을 정교하게 구현했습니다.

결과 데이터셋을 활용하여 리빌더에이아이의 서비스 품질 향상에 기여하고, 장기적으로는 실사 영상 바탕의 3D 모델 생성 시 객체의 재질 정보를 구현하여 분야 전반의 발전에 기여할 것으로 기대됩니다.

CC BY-SA 

복사, 배포 및 재가공 또는 2차 저작물을 만들 수 있으며, 반드시 저작자 및 출처를 표기하고 동일한 라이센스를 적용해야합니다.
https://creativecommons.org/licenses/by-sa/3.0/deed.en