음식 사진 데이터셋

분류체계 및 구성요소 기반 음식 사진 데이터셋

Bounding Box

이미지

음식

분류체계 및 구성요소 기반 음식 사진 데이터셋

음식 사진을 수집 및 가공한 프로젝트로 주어진 이름에 맞는 다양한 이미지 자동 생성 AI 개발을 목표로 함, 음식 이미지의 다중 속성까지 레이블링이 된 데이터로 계층 구조를 학습하여 attribute에 대한 source 이미지를 선택할 필요 없이 이미지 편집이 가능할 것으로 예상

About

다양한 나라의 음식 사진을 수집

셀렉트스타는 더욱 스마트한 인공지능을 위한 고품질 학습 데이터를 제공합니다. 본 데이터셋은 셀렉트스타가 주최한 인공지능 데이터셋 지원사업의 일환으로, Computer Vision Lab와 협업하여 무료로 구축하였습니다.

Computer Vision Lab은

본 연구팀은 컴퓨터 비전 관련 기술의 뛰어난 성과를 보여왔으며 물체의 3D 구조 인식과 이에 기반한 정교한 영상 생성 AI 기술을 보유.

본 연구팀은 셀렉트스타 2021년도 지원사업에 선정되어 우수 사례로 선정된 바 있음. 구축된 데이터셋의 논문은 성공적으로 완성되어 현재 컴퓨터비전 분야 국제학회 심사 중.

본 연구팀은 최근 이미지 생성 및 편집을 위한 다양한 기술을 제시하고 있음. 특히 이미지 클래스 인식과 이에 기반한 세계적인 수준의 이미지 생성 기술을 보유하고 있으며, 우수성을 입증받아 인공지능 분야 학회에 최신 논문 출판 이력이 있음.

연구팀은 기존의 영상 생성 기술을 재구현하여 StudioGAN이라는 새로운 오픈소스 플랫폼을 제안하였음. 기존의 영상 생성 기법들이 성능이 논문과 다르게 재현되지 않는 문제들이 있었는데, 통합된 영상 생성 플랫폼을 처음부터 구현하고, 통합된 모듈 디자인을 제시함으로써 구현 가능한 영상생성 기준 기술을 제안하였음.

StudioGAN은 GitHub에 공개되어 있으며, 대규모 기업에서 공개한 코드가 아님에도 불구하고 큰 호응을 일으키고 있음. (2.3k GitHub stars)

프로젝트 진행 소감

“다양한 나라의 음식 사진을 수집하는데 어려움이 있었지만, 다중속성 레이블링을 통해 사물 분류 체계 사이의 시각적 특성을 분석하여 음식의 재료 단위로 이해하는 AI 개발이 될 수 있다는 점이 흥미로웠음”

셀렉트스타 / 박예진 PM

데이터셋 스펙

1024 X 1024 픽셀 이상의 고해상도 이미지
100개의 음식 클래스 당 1000개의 사진으로 구성
계층 구조가 정의된 음식 재료 레이블링
json 으로 납품

데이터 수집 및 가공 방법

캐시미션 수집 및 크롤링 진행
캐시미션 및 인하우스 가공

Data Collection

셀렉트스타의 크라우드소싱 플랫폼 '캐시미션(앱)'에서 크라우드 유저들이 음식 사진 수집하기 미션을 직접 참여하여 일부 데이터의 수집 및 가공을 진행했습니다.

Sample Data

{
    "instance_num": 2,
    "country": "hawaii",
    "food_class": "poke",
    "ingredients": [
        {
            "subtype": "sea_products",
            "ingredient": "seaweed"
        },
        {
            "subtype": "vegetable",
            "ingredient": "other_green_leaf_vegetable"
        },
        {
            "subtype": "bean_wasabi",
            "ingredient": "corn_kernel"
        },
        {
            "subtype": "grain_nuts",
            "ingredient": "rice(steamed_or_fried)"
        }
    ]
}