우리는 급속도로 발전하는 인공지능 시대를 살고 있습니다. 손쉽게 인공지능을 활용​하여 다양한 서비스와 결과물을 받을 수 있습니다. 하지만, 인공지능을 가능하게 하​는 데이터 자체의 그 실체를 느낄 수 없습니다. 천체 망원경이 발전하기 전 우리가 ​볼 수 있는 우주의 별은 매우 한정되어 있습니다. 우리는 이 프로젝트에서 새로운 ​‘데이터 렌즈’를 통해 광활한 고차원의 데이터 우주를 관찰하고, 탐험하고, 데이터의 ​일부가 되는 경험을 제공하고자 합니다.

이 전시는 데이터 관찰과 감각, 이해를 위한 체험형 미디어 아트로, <Data Nature>와 <Data ​Culture> 두 소주제로 구성되어 있으며, 작품은 Tangible Data, Archive Wall, Printed ​Image Wall의 세 개의 섹션으로 구성되어 데이터의 관찰, 생성, 기록의 전 과정을 체험할 수 ​있습니다.

이를 통해 관객들은 데이터가 펼쳐진 공간에서 창조의 과정을 체험하고, 인공지능과 데이터가 ​만드는 새로운 문명의 의미를 이해할 수 있습니다. 관객은 조약돌 형태의 Tangible Interface​를 이용해 데이터를 직접 조작하며, 데이터를 단순한 정보가 아닌 문화적 요소로 경험하게 됩​니다.

“AI 시대의 우리는

거대한 데이터의 우주를

느끼고 탐험하며,

그 안에 새로운 데이터를

창조할 수 있을까?”

Point of attraction

1. AI 학습데이터의 예술적 시각화

AI 데이터는 고차원, 다차원, 대용량의 복잡한 형태로 존재하지만, 본 작품에서는 이를 예술 작​품 형태로 변환하여 제공함으로써 일반 관객도 쉽게 이해할 수 있도록 합니다. AI 모델이 학습​하는 데이터의 특징과 관계를 미디어아트 작품의 형태로 시각화함으로써 관객은 AI가 학습하​는 데이터에 대해 보다 쉽게 접근하고 이해할 수 있습니다.

2. 합성데이터 생성 경험

본 작품에서는 AI를 활용하여 새로운 데이터를 생성하는 과정을 체험할 수 있습니다. 관객이 ​조작하는 데이터는 기존 데이터셋에 기반하여 새로운 형태로 합성되며, 이를 통해 데이터 생성 ​원리를 직관적으로 이해할 수 있습니다. 이러한 경험을 통해 데이터 증강과 AI 모델 훈련 과정​에서 합성데이터가 가지는 의미를 체험할 수 있습니다.

3. 데이터 경험 확장

페블러스 ‘데이터렌즈’를 통해 데이터를 시각적이고 물리적인 형태로 변환하여 누구나 직관적​으로 경험할 수 있도록 합니다. 조약돌 형태의 인터페이스를 통해 관객은 데이터를 직접 만지​고 조작하며, 데이터가 생성되고 변화하는 과정을 체험하게 됩니다. 이를 통해 데이터가 단순​한 정보가 아니라 감각적으로 경험할 수 있는 대상으로 확장됩니다.

4. 데이터 문해력 향상

데이터 전문가가 아니더라도 다양한 연령층의 일반 관객들 누구나 데이터 우주 여행을 통해 자​연스럽게 거대한 데이터의 실체를 느끼며 인류에게 새로운 도구가 된 인공지능이 학습하는 데​이터에 대한 문해력을 갖게 됩니다.

Tangible Data 스토리라인 요약 - 데이터의 우주의 탐색에서 생성까지

Installation & Interaction

Tangible Data는 데이터가 단순한 정보가 아닌, 우리가 감각하고 경험할 수 있는 문화적 요소​가 될 수 있음을 보여주는 작품입니다. 데이터의 ‘자연’을 관찰하고 ‘문화’로 창조하는 데이터 ​우주 여행의 스토리라인을 제공하여 작품의 몰입도를 높이고, 일반 관객부터 데이터 전문가까​지 다양한 사람들이 참여할 수 있도록 직관적인 조작 방식을 설계하였습니다.

이를 통해 데이터와 인간이 더욱 긴밀하게 연결될 수 있는 미래를 탐색하고자 합니다.

설치

작품은 세 가지로 구성됩니다.

• Tangible Data: 대형 스크린과 보조모니터 그리고 조약돌 형태의 인터페이스를 활용하여 ​관객이 데이터를 관찰하고 생성할 수 있는 공간.
  
• Archive Wall: Tangible Data에서 탐색하고 생성된 정보를 데이터 아트로 재가공하여 디​지털 액자로 전시하는 공간.
  
• Printed Image Wall: Tangible Data에서 탐색하고 생성된 정보를 데이터 아트로 재가공​하여 종이로 출력하여 전시하는 공간.
  

인터랙션 방식

• 탠저블 인터페이스: 물리적인 조약돌 형태의 다이얼과 푸시버튼을 조작하여 작품을 체험.
  
• 보조 모니터: 탠저블 인터페이스 각 입력에 대한 동작 가이드 제공.

The key technologies,

Dataset selection and synthetic data

본 프로젝트에 적용된 주요 기술은 다음과 같습니다.

• 데이터 클리닉: 데이터 계산 엔진
  
• 페블로스코프(구: 데이터 유니버스): 데이터 가시화 및 인터랙션 프레임워크

데이터 클리닉(Data Clinic)은 페블러스에서 개발한 첨단 기술을 통합한 데이터 계산 엔진으​로 데이터셋을 효율적으로 관찰하고 처리할 수 있도록 인공지능 기술을 이용하여 고차원의 데​이터로부터 최적의 차원을 찾고 최소한의 데이터로 목표 태스크를 수행할 수 있도록 샘플링​(데이터 다이어트)하거나 합성데이터 기술을 통해 부족한 데이터를 알맞은 곳에 채우는(데이​터 벌크업) 등 작업이 가능한 페블러스 기술이 집약된 데이터 계산 엔진입니다.

인공지능 학습데이터셋은 대량의 데이터 샘플로 구성되어 있고 또한, 데이터 클리닉 진단 결과 ​지표도 굉장히 다양합니다. 이러한 내용을 시각적으로 관찰하기 위해 필요한 것이 페블로스코​프(PebbloScope) 입니다. 페블로스코프는 데이터 가시화 및 인터랙션 프레임워크로 데이터​셋 샘플간의 관계/공간상의 분포/특징을 시각적으로 관찰하고 상호 탐구할 수 있는 데이터 시​각화 및 상호작용 프레임워크입니다. 이를 통해 복잡한 데이터 구조를 효과적으로 기록하고 이​해할 수 있습니다.

이러한 페블러스의 기술은 데이터파이프라인 상에 구축되어 있어 자동화된 시스템으로써 관​객에게 제공될 수 있다는 점도 매우 중요합니다.

작품에 사용한 데이터셋은 데이터 개수/관객 흥미도 등을 고려하여 총 5종의 이미지 데이터셋​을 선정하였습니다.

• FFHQ-Aging-Dataset (https://github.com/royorel/FFHQ-Aging-Dataset)
  
• WikiArt (https://huggingface.co/datasets/huggan/wikiart)
• BIRDS 450 SPECIES (https://www.kaggle.com/datasets/gpiosenka/100-bird-​species)
• BlackStar-MNIST (http://dataclinic.ai/data-set?dataset_id=458)
• MNIST (https://www.kaggle.com/datasets/hojjatk/mnist-dataset)

최적의 합성 데이터 생성 결과를 위해 각 데이터셋 별로 생성용 AI 모델을 훈련 하였습니다. 합​성 데이터 생성 모듈은 두 개의 데이터와 가중치를 기반으로 새로운 데이터를 만들 수 있으며 ​API 로 사용할 수 있도록 구축 되었습니다. 관객의 데이터 생성 요청이 발생하면 생성 전용 웹 ​어플리케이션이 계산 후 결과를 응답하는 방식입니다.

데이터파이프라인 위의 데이터 클리닉, 페블로스코프와 더불어 체험형 미디어아트를 위한 콘​텐츠는 터치디자이너(TouchDesigner)로 구현하였고 수 만개의 데이터의 실시간 시각화가 ​가능하였습니다. 또한, 작품 체험 흐름 관리를 위해 상태 관리 매니저 모듈을 개발하여 원활한 ​제어가 가능합니다.

작품을 위해 직접 제작한 탠저블 인터페이스를 통해 관객은 데이터의 우주를 탐험하고 새로운 ​데이터 문명을 구축할 수 있습니다. 푸시버튼 및 로터리 엔코더 스위치를 사용하였고 아두이노​(Arduino)로 제어되며 터치디자이너와 통신하게 됩니다.

Data Visualization

본 프로젝트에서 선정한 인공지능 데이터셋은 이미지 데이터입니다. 이미지는 수백에서 수십​만의 차원을 갖는 데이터입니다. 이러한 초고차원 데이터를 사람이 인지할 수 있는 3차원 공간​에 시각화하고 그 관계를 표현하기 위해서는 일련의 과정이 필요합니다.

고차원 데이터를 3차원 공간에 표시하기

• 인공지능 데이터셋을 페블러스 데이터렌즈를 통해 수십 차원의 벡터로 이미징
• 이 수십 차원의 벡터를 최적 차원(optimal dimension)이라고 하는데 해당 데이터의 정​보를 대표하는 정보를 압축하여 가지고 있다고 볼 수 있음
• 이미징된 벡터는 여전히 사람이 인지하기 어렵기 때문에 차원 축소 알고리즘(예: PCA, ​Principal component analysis)을 통해 3차원 벡터로 처리함

3차원 공간에 가시화 된 분포를 보면 각 데이터셋이 갖는 기하하적 특성을 확인할 수 있습니​다. 페블러스에서 합성데이터 기술로 생성한 BlackStar-MNIST 데이터셋의 분포를 보면 흰바​탕/검은선, 검은바탕/흰선 으로 그려진 별 이미지가 대칭 구조로 형성돼있는 흥미로운 모습을 ​볼 수 있습니다.

커뮤니티의 선은 다소 복잡하게 얽혀있는 경우가 있는데 이는 고차원 데이터를 3차원 벡터로 ​투영한 이유입니다. 정보를 최대한 압축했지만 여전히 고차원 데이터의 그림자를 보고 있는 것 ​입니다.

커뮤니티에서 두 데이터를 선택하고 가중치를 조정하여 합성데이터를 생성하면 그 가중치 비​율에 따라 생성된 데이터가 비율에 알맞는 위치에 표시됩니다. 생성된 데이터의 최적 차원을 ​기준으로 3차원에 표시 할 수 도 있지만 관객이 인지적으로 혼란스럽지 않도록 3차원 내에서 ​비율을 토대로 표시하였습니다.

Thanks to

작품의 근간이 되는 기술 R&D와 전시 행사 진행에 도움을 주신 페블러스 멤버 및 인턴 분들께 ​감사드립니다.

현대자동차그룹 창의인재 플랫폼 ZER01NE에 전시 기회와 지원을 주신 것에 대한 감사를 ​표합니​다.

─ 2024 ZER01NE DAY 행사

Exhibition

이 프로젝트는 2024년 10월 23일부터 27일까지 대한민국 서울 성수 피치스도원에서 열린 ​“2024 ZER01NE DAY” 전시회의 일부로 전시되었습니다. 페블러스 데이터 아트랩은 현대자​동차그룹의 창의적 플랫폼인 ZER01NE의 2024년 크리에이터 프로그램으로 선정되어 참여하​였습니다.

Press material

Interview /ZER01NE

→ Watch the video on youtube

AI data-based art lab ‘DAL’ disclosed for the first time /Pebblous(Medium)

→ Read the article

"데이터 눈으로 보고 만져보세요" /HelloDD

→ Read the article