AI 예술 정의: 세 가지 제안
레프 마노비치(Lev Manovich)
2019년 6월
1.
처음 보기에는 ‘AI 예술’을 정의하는 것은 어렵지 않아 보인다. AI(Artificial Intelligence)는 체스와 바둑 같은 게임을 하거나, 이미지에서 콘텐츠를 인식하거나, 언어를 번역하거나, 이력서를 바탕으로 최고의 후보자를 선택하는 등의 인간과 유사한 인지 작업을 수행할 수 있는 컴퓨터를 의미한다. 이것이 전통적으로 이해되는 AI의 정의이며, 우리는 이 개념을 예술로 확장할 수 있다. 이 논리를 따르면, ‘AI 예술’은 인간이 컴퓨터를 프로그래밍하여 상당한 자율성을 가지고 새로운 작품이나 경험을 창작하도록 하는 것을 의미할 것이다. 그리고 예술계 전문가들이 이를 ‘동시대 미술(contemporary art)’에 속한다고 인식하는 것이다. 또는, 우리는 컴퓨터에게 일부 과거의 예술가들의 기술을 가르칠 수 있으며, 이 경우 전문 예술사가들은 컴퓨터가 이 시기에서 가능한 새로운 작품을 창작했다고 인식할 것이다. (한 연구에서, 컴퓨터 과학자들은 특정 예술가들의 스타일을 모방하도록 신경망을 훈련시킨 이미지들을 평가하도록 예술사가들에게 요청했다. (참고: Artsiom Sanakoyeu, Dmytro Kotovenko, Sabine Lang, Björn Ommer, “A Style-Aware Content Loss for Real-time HD Style Transfer”, https://arxiv.org/abs/1807.10201.))
사실, 우리는 유명한 튜링 테스트를 인공지능 예술에 확장할 수 있다. 특정 시대의 원작을 컴퓨터가 학습한 후 생성한 작업을 예술사학자들이 원본과 착각한다면, 그리고 이 작품들이 기존 작품의 단순히 수정된 복사본이 아니라면, 그러한 컴퓨터는 ‘튜링 AI 예술’ 테스트를 통과한 것이다. 이는 단순하고 논리적으로 보인다. 이를 ‘AI 예술’의 첫 번째 정의로 삼아 보자. 이 정의에 따르면, AI가 창조한 예술은 전문가들이 인정하는 유효한 역사적 미술 또는 동시대 미술로 인정받을 수 있다.
하지만, 이러한 논리적 접근은 충분하지 않다. 사실, 자세히 살펴보면 그 명확성은 사라진다. 예를 들어, 오늘날 예술 비평가, 예술 이론가, 예술 철학자 또는 문화 사회학자와 같은 전문가들 사이에서 일반적으로 받아들여지는 “예술”의 정의는 없다. 그렇다면 우리가 정의할 수조차 없는 무언가를 컴퓨터가 독립적으로 창조하게끔 프로그래밍할 수 있을까?
20세기 동안 현대 미술(modern art)의 발전은 예술로 인정받는 것의 경계를 체계적으로 의문시하고, 이후 마르셀 뒤샹의 레디메이드에서 해프닝, 퍼포먼스, 대지 미술, 1960년대 설치 미술, 1990년대 인터넷 예술에 이르기까지 이 경계를 넘어서는 과정이었다. 그러나 특정 시점에서 무엇이 예술의 경계를 확장할 수 있는지를 의미 있게 이해하려면 예술사와 현재까지의 예술 발전에 대한 지식이 필요하다 - 그리고 이것은 지금까지 아무도 컴퓨터에 프로그래밍하려고 시도하지 않은 것이다.
대신, 예술에서 AI 기술을 사용하는 대부분의 시도는 두 번째 모더니스트 혁명(1880년대에서 1920년대를 첫 번째 혁명으로 본다면) 이전에 인기가 있었던 ‘예술’에 대한 (보통 암묵적인) 이해에 의존했다. 다시 말해, 예술가, 작가, 작곡가 및 컴퓨터 과학자들은 컴퓨터에게 1950년대 후반까지 현대인들이 예술로 받아들인 형식—단일 이미지, 시, 음악 작곡—으로 작품을 생성하도록 가르쳤다. (우연의 일치로, AI 예술의 이러한 실험은 현대 예술이 두 번째 혁명기를 맞이한 것과 같은 시기—1950년대 후반—에 시작되었다. 일부 예술가들이 그 당시까지 존재했던 예술을 넘어섰을 때, 다른 예술가들은 컴퓨터를 프로그래밍하여 과정, 상황 및 퍼포먼스가 아닌 작품으로서의 ‘전통적 예술’을 창조하기 시작했다.)
이 경향은 여전히 존재한다. 최근(2015년 이후)에 시각 예술에서 AI의 성과로 찬양받고 있는 것을 보면, 이는 종종 모더니즘 회화처럼 보이는 단일 이미지이다. 이것들은 유명한 모더니즘 작가들의 시각적 외양을 의도적으로 모방하거나 단순히 표현주의, 입체파, 후기 인상주의 등의 변형처럼 보인다.
이 보수적인 경향을 따른다면, 우리는 ‘AI 예술’이 단지 역사적 미술을 모방하는 것일 뿐임을 받아들여야 한다. 이는 현대 미술의 주요 전략인, ‘무엇이 예술로 간주될 수 있는지를 끝없이 확장하는 것’ 을 실행할 수 없기 때문이다. (1990년대에 발전된 ‘인터랙티브 컴퓨터 설치’ 장르가 중요한 예외 중 하나이다.) 물론, 21세기 초반에 이 예술 확장 전략이 힘을 잃었고, 우리는 다원주의 시대에 접어들었으며, ‘새로움’의 창작은 더 이상 연결성이 없다고 주장할 수도 있다. 하지만 이는 지난 60년 동안 ‘AI 예술’의 업적으로 역사에 포함된 것들은 이 AI 예술 작업이 시작되기 전에 만들어진 역사적 예술의 모방이라는 나의 주요 논점을 무효화하지 않는다.
2.
다른 접근법을 시도해보자. ‘예술 컴퓨터’의 출력물에 대해 생각하는 대신, 창작 과정 자체를 고려해 보자. 컴퓨터가 60년 동안 다양한 방식으로 예술에 사용되어 왔는데, ‘AI 예술’에는 독특한 점이 있을까? ‘컴퓨터 예술’(또는 ‘디지털 예술’)과 ‘AI 예술’을 명확히 구분할 수 있는가?
예술과 디자인에서 컴퓨터를 사용하는 가장 인기 있는 방법 중 하나는 다양한 매체(텍스트, 이미지, 비디오, 3D 형태, 그래픽 디자인, 로고, 도시 계획, 음악 등)에서 객체를 생성하는 컴퓨터 프로그램을 작성하는 것이다. 이러한 프로그램은 도형의 순서를 그리는 간단한 지시부터, 프랙탈을 생성하는 알고리즘, 세포 자동자 알고리즘, 유전 알고리즘(Karl Sims) 등에 이르기까지 다양한 형태를 취할 수 있다. 예를 들어, 1960년대의 선구적인 컴퓨터 예술가들인 베라 몰나르(Vera Molnár), 데스몬드 폴 헨리(Desmond Paul Henry), 프리더 나케(Frieder Nake), 게오르크 니스(Georg Nees), 마이클 놀(Michael Nol), 소니아 쉐리단(Sonia Sheridan) 등은 때때로 무작위 매개변수를 포함하며, 정밀한 지시로 기하학적 흑백 패턴을 생성하는 프로그램을 작성했다. 디자인과 건축 세계에서 알고리즘 사용은 종종 절차적, 생성적 또는 파라메트릭(매개변수적) 디자인(Parametric design)이라고 불린다. 이 접근법은 오늘날 모든 디자인 분야에서 널리 사용되며 자하 하디드 건축가의 작품과 같은 가장 유명한 문화적 창조물 중 일부를 책임지고 있다.
이렇게 컴퓨터 예술이 수십 년 동안 사용된 것과 2010년대에 매우 인기를 끌었던 새로운 패러다임인 기계 학습 및 심층 신경망(Deep Neural Network) 사이에 근본적인 차이가 있는가? AI 분야에는 1950년대부터 개발된 여러 접근 방식이 포함된다는 점에 주목해야 한다. 기계 학습과 신경망은 그중 두 가지에 불과하며, 이들은 2010년대에 산업에서 지배적인 위치를 차지하게 되었다.
신경망 패러다임은 여러 방법을 포함하며, 그중 일부는 문화적 인공물을 생성하는 데 채택되었다. 한 접근법에서는 단일 네트워크가 하나의 스타일로 된 이미지와 같은 예제의 큰 세트(set)를 사용하여 훈련된다. 훈련이 끝나면, 네트워크는 동일한 스타일로 더 많은 이미지를 생성할 수 있다.
또 다른 접근법인 GAN(Generative Adversarial Network)은 새로운 인공물을 생성하기 위해 두 개의 네트워크를 사용한다. 한 네트워크는 예제 세트를 기반으로 기반으로 새로운 인공물을 생성하고, 이 인공물들은 두 번째 네트워크에 의해 평가되어 학습 예제와 유사한 것들을 선택한다.
또 다른 접근법인 ‘스타일 전이(style transfer)’에서는는 네트워크가 단일 이미지 또는 일련의 이미지에서 새로운 이미지(또는 비디오)로 스타일을 전이하는 방법을 학습한다. 예를 들어, 반 고흐의 그림의 “스타일”을 사진에 전이하는 것처럼. (이 작업의 예는 https://arxiv.org/pdf/1807.10201.pdf 에서 확인할 수 있다.) 나는 이 접근법이 개념적 문제를 가지고 있다고 생각하는데, 반 고흐와 같은 예술가는 ‘스타일’을 가지고 있지 않기 때문이다. 즉, 반 고흐의 그림에서 보는 가시적인 세계의 특정 변형은 내용과 독립적으로 존재하지 않는다. 하늘은 하나의 방식으로만 변형되고, 나무도 다른 방식으로만 변형된다. 따라서 스타일 전이 방법으로 생성된 반 고흐 같은 이미지는 그의 예술의 진정한 논리를 포착하지 못하며, 이 방법으로 생성된 다른 예제들에도 동일하게 적용된다.
한편으로는 신경망 접근 방식이 이전에 개발된 컴퓨터 예술 및 디자인 방법에서 벗어나고 있다. 우리는 이 기술로 일련의 단계, 시스템 또는 규칙을 통해 컴퓨터가 새로운 객체를 명시적으로 생성하도록 프로그래밍하지 않는다.대신 신경망 자체가 문화적 인공물 세트에서 심층 구조를 추출한 다음 새로운 인공물을 생성한다. 이것이 우리가 마침내 진정한 ‘예술적 AI’, 다시 말해 진정한 ‘예술 지능(art intelligence)’을 갖게 되었음을 의미하는 걸까?
아직은 아닐 수도 있다. 이 과정에서 인간 작가가 컴퓨터가 무엇을 할 것인지에 대해 명시적으로 선택하고 통제하는 적어도 세 가지 지점이 있다. 첫째, 인간이 네트워크 아키텍처를 설계하고 네트워크를 훈련시키기 위해 사용할 알고리즘을 설계하거나 기존의 것을 선택한다. 둘째, 인간이 학습 세트를 만든다. 셋째, 인간은 자신의 견해에 따라 네트워크가 생성한 여러 인공물 중에서 가장 성공적인 것을 선택한다.
이러한 모든 인간의 큐레이션과 제어를 고려할 때, 기계 학습/신경망을 통한 문화적 인공물 생성이 다른 어떤 컴퓨터 예술 방법보다 더 ‘지능적’이고 더 높은 수준의 자율성을 보인다고 주장할 수 없다. 각 방법에는 인간의 결정과 선택, 그리고 알고리즘의 실행이 포함된다. 따라서 기계 학습은 초기 컴퓨터 예술가들의 기하학적 그림, 세포 자동자 작품, 또는 많은 인터랙티브 컴퓨터 설치 예술보다 더 진보된 형태의 예술적 AI가 아니다. 사실, 기계 학습 접근 방식은 더 많은 지점에서 인간의 결정을 필요로 하기 때문에 이전 접근 방식보다 더 제한적이다. (그리고 예술의 경계를 확장하는 것에 대한 우리의 초기 논의를 상기한다면, 인터랙티브 설치 예술은 반 고흐와 같은 이미지를 생성하는 컴퓨터보다 더 흥미롭다.)
이러한 논의를 또 다른 가능한 ‘AI 예술’의 정의로 어떻게 번역할 수 있을까? 이제 우리는 1950년대 이후 컴퓨터 예술에서 개발된 모든 방법—기하학적 단순 패턴을 생성하는 Processing 프로그램에서부터, d3 코드에서 인터랙티브 데이터 시각화를 생성하는 것이나, 아주 큰 데이터로 훈련된 심층 신경망에 이르기까지—이 “AI 예술”의 동일하게 유효한 사례라고 말할 수 있다. 무엇이 ‘AI’인지를 정의하는 것은 방법이 아니라, 우리가 알고리즘 프로세스를 제어하는 양과 유형이라 할 수 있다.
3.
우리의 세 번째 “AI 예술” 정의 시도로, 이제 신경망을 사용하는 지도 학습(supervised machine learning)의 핵심 아이디어에 초점을 맞춰보자. 컴퓨터가 자동으로 인공물 그룹에서 공통 패턴을 추출한다. 이 기계 학습의 측면은 실제로 컴퓨터 예술의 오랜 역사에서 새로운 것이다. 스스로 세상의 구조를 배울 수 있는 컴퓨터는 인상적인 제안이지만, 여전히 (또는 아마도 항상) 인간 아이와는 다르다. 왜냐하면 인간 엔지니어가 신중하게 큐레이션한 학습 세트 객체의 세계는 실제 세계의 이질성과 다양성 및 무질서함과는 거리가 멀기 때문이다. (그리고 우리가 패턴을 추출하는 네트워크 레이어를 구성해야 하기 때문에 신경망 스스로 진화하고 구성되는 것도 아니다.)
훈련 세트에서 패턴을 배운 컴퓨터가 동일한 패턴을 가진 새로운 인공물을 생성할 수 있다는 사실에 흥분해야 할까? 처음에는 만족스러운 제안이다. 여기서 우리는 컴퓨터가 인간의 문화적 행동을 복제하고 그 본질을 포착하는 것처럼 보기 때문이다. 그것이 무엇인가? 수천 년 동안 인간 문화가 발전하는 동안 다양한 문화적 표현이 서로 다른 지리적 지역, 다양한 재료, 익명의 그룹 또는 나중에 명명된 저자에 의해 발전되었고, 이들은 한 가지 공통점이 있다. 한 지역, 한 시기 또는 한 그룹이 만든 문화적 표현은 장식, 의상, 장식물, 디자인, 음악, 공연, 의식 등이 임의로 변하지 않는 공통된 패턴을 공유한다. 그것들은 “스타일”, 즉, 규칙, 제약(constraints) 및 행동유도성(affordances)의 시스템을 가지고 있다. 이것은 특정 스타일 내에서 가능한 것, 덜 가능한 것, 불가능한 것을 정의한다. 전통 문화에서 스타일의 일관성은 매우 강력한데, 이는 고고학자들이 인간 문명의 시기를 측정하고 그들의 발전을 이해하기 위해 유물의 스타일을 사용하는 이유이기도 하다.
특정 스타일 시스템은 문명의 특정 시기에서 남아 있는 인공물들뿐만 아니라 단일 인공물 내에서도 볼 수 있다. 만약 어떤 역사적 문명의 옷이나 용기가 어떤 특정한 장식 패턴으로 덮여 있다면, 그 장식의 전체적 스타일은 덮고 있는 표면의 양상에서 크게 변하지 않는다. 실제로, 이 장식의 작은 부분을 선택하면 나머지 장식을 꽤 잘 예측할 수 있는 컴퓨터 프로그램을 작성할 수 있다.
체계적인 스타일 현상은 내가 아는 모든 역사적 문명과 시기에 존재했다. 놀랍게도, 모더니스트들이 전통적 미학에 반항 (예: 대칭의 거부, 역동적 구성의 채택, 대문자 없는 텍스트, 조화보다 충격을 가치 있게 여기는 것 등)했음에도 불구하고 현대 예술과 디자인에서는 사라지지 않았다. 소니아 들로네(Sonia Delaunay), 류보프 포포바(Lyubov Popova) 또는 잭슨 폴록(Jackson Pollock) 의 회화에서도 스타일 시스템은 한 그림 전체에서 변하지 않는다. 전통적인 장식과 고대, 민속 예술의 장식과 마찬가지로, 여기서도 이미지의 큰 부분에서 작동하는 패턴은 다른 부분에서도 동일한 것을 볼 수 있다. 잭슨 폴록의 원숙한 추상 표현주의 회화는 사실 전통적인 장식과 거의 비슷하다. 그림의 한 부분이 전체 그림의 모든 DNA를 담고 있다. (들로네나 말레비치와 같은 일부 예술가들은 그들의 작품을 다르게 구조화하는데, 일부 패턴은 전체 그림에 걸쳐 동일하게 유지되는 반면, 전체 구성의 규모에서는 일부 요소가 작은 부분만으로는 예측되지 않을 수 있다.)
왜 인간은 역사를 통해 이러한 단일 메타 패턴, 즉 체계적이고 견고한 스타일을 하나의 인공물 그룹 내에서 그리고 단일 인공물 내에서 유지하는 인공물을 계속 창작했던 이유는 무엇일까? 왜 우리는 이미지의 한 구석의 어떤 하나의 미적 시스템과 함께, 다른 구석에는 완전히 다른 시스템을 가지고 있는 이미지를 만들지 않는 것일까? 이미 언급했듯이, 1920년대의 모더니스트 발명품, 콜라주와 몽타주 전략(1920년대에 개발된 것 포함해서), 그리고 나중에 전자 및 디지털 컴퓨터의 리믹스 작업(1980년대 이후)에서도 도전받지 않았다. 물론, 리믹스는 매우 다른 미적 시스템에서 추출한 샘플 사이를 이동할 수 있다. 그러나 리믹스 노래의 일부분을 시스템은 일반적으로 리믹스 노래의 나머지 부분에서 변경되지 않는다. 이는 뮤직 비디오도 마찬가지다.
이러한 것을 감안할 때, 우리가 컴퓨터에게 단일 미적 시스템에서 패턴을 추출하도록 가르치고, 그런 다음 동일한 시스템에 속하는 새로운 인공물을 생성하도록 하는 것이 정말 급진적인 것일까? 우리는 컴퓨터에게 우리가 수만 년 동안 했던 것처럼 창작하도록 강요한다. 내 생각에는 컴퓨터가 이러한 인간 문화의 메타 패턴에서 벗어나도록 가르치는 것이 더 급진적일 것이다. 컴퓨터에게 우리가 할 수 없는 일을 하도록 가르쳐 보자. 하나의 작업 내에서 또는 일련의 작업들 사이에서 서로 다른 시스템과 미학을 이동하는 것 말이다. 100년 전에 절정을 이른 모더니즘 혁명은 이미 인간 미학의 기본 가정 중 일부에 의문을 제기했었다. 따라서 컴퓨터가 이 과정을 계속하는 데 도움을 줄 수 있다.
AI 연구의 관련 예로 MuseNet이 있다. MuseNet은 “10개의 다른 악기를 사용하여 4분짜리 음악 작곡을 생성할 수 있는 심층 신경망으로, 컨트리에서 모차르트, 비틀즈까지의 스타일을 결합할 수 있다.” (Payne, Christine. “MuseNet.” OpenAI, 2019년 4월 25일, openai.com/blog/musenet) 이 시스템은 특정 작곡가의 스타일로 새로운 음악을 생성할 수 있으며, 여러 스타일을 결합할 수도 있다. 예를 들어 한 사례에서는 “모델에게 쇼팽 녹턴의 첫 6개 음을 주고, 피아노, 드럼, 베이스 및 기타가 포함된 팝 스타일의 곡을 생성하도록 요청할 수 있다.”
이러한 방향을 탐구하는 것은 컴퓨터가 미학적으로나 의미론적으로 우리를 매료시키는 동시에, 인류 문명에서 아직 나타나지 않은 무언가를 창조하도록 하는, 많은 가능한 방법 중 하나일 뿐이다. 컴퓨터가 정말로 새로운 예술을 창작할 수 있도록 프로그래밍할 수 있다면, 우리는 그것을 예술로 인식하지 못하거나 이해하지 못할 것이라는 말은 흔한 이야기이고, 어쩌면 이것은 그다지 흥미롭거나 획기적인 것이 아닐 수 있다. 대신, 우리는 인간이 이해할 수 없는 ‘컴퓨터를 위한 예술’과 인간 문명에서 이미 실현된 모든 미학적 가능성(모더니즘과 동시대 시간대를 포함하는) 사이에 무엇이 있는지에 초점을 맞추고자 한다. 분명, 이 광대한 ‘틈(in between)’에서 탐구할 수 있는 많은 가능성이 있다.
이것이 세 번째 ‘AI 예술’의 정의이다. AI 예술은 인간의 신체, 뇌와 같은 여러 제약으로 인해 우리가 창조할 수 없는 예술 유형이다. 위에서 간략히 설명한 가능성 중 하나는 인간 예술의 체계적이고 예측 가능한 특성을 가지지 않은 컴퓨터 생성 객체, 매체, 상황과 경험이다. 그러나 그것들은 무작위적이지 않으며, 그저 충격을 주기 위해 기계적으로 요소를 병치하는 것도 아니며, 단순히 리믹스 미학의 일례도 아니다. 나는 그것들이 우리가 지금까지의 가장 급진적인 현대 음악, 조각, 건축, 사진 등에서도 볼 수 없었던 다른 체계성을 가질 것임을 상상해본다. 그것들은 이전의 그 모든 위대한 예술들처럼, 우리가 깊이 사랑하게 될 것이며, 인간으로서 우리의 존재를 확장시킬 것이다.
원문 : Manovich, Lev. “Defining AI arts: Three proposals.” AI and dialog of cultures” exhibition catalog. Saint-Petersburg: Hermitage Museum (2019).