전세계 케이팝(K-POP) 팬을 위한 드림 콘서트가 지난달 25~26일 열렸다. 1995년 시작돼 올해 26회째인 드림콘서트는 역대 출연가수가 500팀을 헤아리고 누적 관객수가 150만명이 넘는 등 전 세계에 한류를 확산하는데 기여했다는 평가를 받는다. 올해는 지난 25년간 개최된 것과 큰 차이가 있었다. ‘드림콘서트 CONNECT:D’라는 제목에서 알 수 있듯 온라인 콘서트로 진행됐다는 점이다.

신종 코로나바이러스증후군(코로나19)이 영향을 미치지 않은 분야는 찾기 어렵지만 음악업계는 특히 타격을 받았다. 언제 어디서나 스마트폰만 있으면 음악을 들을 수 있는 세상이라지만 음악 시장 매출의 50% 이상을 차지하는 라이브 공연을 할 수 없게 됐기 때문이다. 수천, 수만명이 밀착해 함께 열광하는 라이브 공연은 감염 위험성 때문에 직격탄을 제대로 맞았다. 전례 없던 위기를 타개하기 위해 BTS 등 많은 아티스트들이 앞다퉈 온라인 공연을 시도했고, 드림콘서트 역시 그 대열에 섰다.

그러나 온라인 공연이라도 콘서트인만큼 관객에게 라이브와 흡사한 경험을 제공하는 것이 핵심이다. 바로 최첨단 기술이 도입되는 이유다. 영상과 오디오를 실시간으로 전세계 관객에게 전송하는 고속 스트리밍 기술과 이를 뒷받침해주는 네트워크 인프라, 아티스트를 직접 보는 것 같은 느낌을 주는 멀티캠 기술, 3D 180도 VR(Virtual Reality·가상현실) 기술, 3D 입체 서라운드 음향 기술 등 현장감을 전달하기 위해 다양한 기술들이 적용됐다.

이처럼 기술의 발전은 일상 생활을 편리하게 해줄 뿐만 아니라 문화예술의 영역에서도 폭넓게 활용되고 있다. 4차 산업혁명의 핵심 기술 중 하나인 인공지능(AI)은 작곡, 연주, 제작 등 다양한 음악 분야에 적용되고 있다.

AI를 통해 유명 작곡가들의 미완 작품을 완성시키거나 해당 작곡가 스타일의 작품을 만드는 시도는 대표적이다. 근래 주목을 모은 것은 올해 베토벤 250주년을 기념하기 위해 베토벤의 미완성 10번 교향곡을 AI로 작곡하는 프로젝트다.

베토벤의 10번 교향곡은 현재 스케치 수준의 관현악 악보 800여장이 남아 있다. 베토벤의 지인들이 “10번 교향곡의 1악장을 피아노로 들었다”는 등의 기록을 남기고 있지만 1악장 악보조차 전해지지 않는다. 이와 관련해 1983년 영국 음악학자 베리 쿠퍼가 스케치 악보를 토대로 베토벤의 관현악법을 참조해 5년간의 재구성 작업 끝에 1악장을 완성했다.

이에 비해 AI로 10번 교향곡을 완성하는 프로젝트는 4악장까지 전부 완성하는 것을 목표로 했다. AI가 반복학습을 통해 베토벤의 모든 작품을 익힌 뒤 베토벤의 스타일에 따라 10번 교향곡을 작곡하는 것이다. AI가 작곡을 하면 베토벤을 전문으로 하는 음악학자들이 분석해 수정을 가하는 방식이 반복됐다. 베토벤 10번 교향곡은 당초 지난 4월 28일 베토벤의 고향인 독일 본에서 오케스트라의 정식 연주로 선보여질 계획이었지만 코로나19로 베토벤 250주년 페스티벌이 취소되면서 발표가 미뤄졌다.

앞서 구글이나 화웨이 등의 기술팀이 음악학자들과 손잡고 바흐, 말러, 슈베르트의 미완성 작품을 새롭게 완성시킨 바 있다. 다만 아직까지는 AI가 작곡한 작품들에 대해 그다지 인상적이지 않다는 의견이 우세한 가운데 베토벤 10번 교향곡은 어떤 평가를 받을지 미지수다.

AI와 통계 분석 기술을 통해 오래된 음악의 실제 작곡가를 추론하는 사례도 등장했다. 비틀즈의 존 레논과 폴 매카트니는 둘 다 주옥 같은 노래들을 다수 작곡했는데, 일부 노래에 대해 서로 작곡했다고 주장한다. 가장 대표적인 노래가 1965년 발표된 ‘인 마이 라이프(In My Life)’다. 하버드대 통계학자들이 문제 해결에 나섰다. AI를 통해 1962~66년 창작된 비틀즈의 노래들 가운데 작곡가가 확실한 노래들을 분석한 결과 ‘존 스타일’과 ‘폴 스타일’로 구분되는 확률적 모델을 개발한 것이다. 이들은 “매카트니가 ‘인 마이 라이프’를 작곡했을 확률은 1.8%”라고 결론내렸다. 즉 이 노래를 본인이 작곡했다고 주장하는 매카트니는 잘못 기억하고 있다는 것이다.


베토벤 10번 교향곡 프로젝트처럼 야심찬 도전 외에 AI를 이용한 자동 작곡 알고리즘이 상용화 된 사례도 있다. 2016년 룩셈부르크에서 시작한 ‘아이바(Artificial Intelligence Virtual Artists·AIVA)’는 작곡가협회에 등록된 최초의 AI 작곡가로 유명하다. 아이바가 작곡한 ‘교향적 판타지 a단조 op. 24, 나는 AI’는 2017년 아비뇽 오케스트라에 의해 연주돼 큰 주목을 받은 바 있다. 아이바는 클래식음악 작곡에서 시작해 이미 두 장의 스튜디오 앨범을 발매했으며 2019년부터는 팝뮤직, 재즈, 영화음악 등 대중음악 장르로 영역을 넓혀 활발히 ‘창작’ 활동을 하고 있다.


글로벌 IT 시장을 선도하는 구글이나 소니 그리고 최근에는 페이스북과 오픈AI 등도 AI를 음악 창작에 활용하는 연구를 활발히 진행하고 있다. 대표적으로는 소니의 AI 시스템 플로우머신이 개발한 딥바흐(DeepBach)나 구글의 예술창작 인공지능 마젠타(Magenta)에서 공개한 ‘AI 듀엣’ 등의 연구를 예로 들 수 있다. 딥바흐는 바흐 풍으로 음악을 작곡하는 프로젝트이고, AI 듀엣은 사람과 인공지능이 피아노를 매개로 서로 연주하는 알고리즘이다. 테슬라 창업주 일론 머스크가 설립한 오픈AI에서 개발한 AI 작곡 알고리즘 ‘뮤즈넷(MuseNet)’을 이용하면 쇼팽으로 시작해 점점 변화해 로커 본 조비 풍으로 끝나는 음악을 감상할 수 있다.

필자의 연구실에서도 AI와 음악의 접점에서 다양한 연구를 수행하고 있다.특히 인간의 악기인 성대로부터 나오는 가창신호, 즉 노래를 합성하는 AI 알고리즘 연구에 집중하고 있다. 그런데, 주어진 텍스트로부터 말소리를 생성하는 음성합성 연구는 많은 진전을 보았지만 가창합성은 상대적으로 덜 개척된 분야다.

음성 발화와 노래 발성은 그 목적과 과정이 매우 다를 뿐만 아니라, 학습에 필요한 가창 데이터를 구하는 일 또한 시간과 비용이 매우 많이 소요되기 때문이다. 필자의 연구팀은 소량의 데이터를 활용하여 자연스럽고 표현이 풍부한 노래를 부를 수 있는 딥러닝 기반의 ‘AI 가수’의 개발에 성공했다. 이를 바탕으로 자신이 원하는 노래를 임의의 가수의 목소리로 듣는 것이 가능하다. 예를 들어 김범수의 ‘보고싶다’를 고 김광석의 목소리로 듣는 것이 가능하다. 또한 BTS의 ‘유포리아’가 백지영의 목소리로 재탄생된 노래를 들을 수도 있다.

이처럼 AI 알고리즘의 발달로 불과 십년 전에는 불가능하다고 생각했던 일들이 가능하게 됐다. 특히 인간만의 영역이라고 생각해온 예술창작에도 AI가 발을 들여놓기 시작했다. 현재의 기술발전과 사회변화의 속도로 미루어볼 때, 10년 또는 20년 후의 세상은 예측이 어려울 정도다. AI는 예술품을 만드는데 필요한 시간과 노력을 상당 부분 대신함으로써 많은 사람들에게 진입 장벽을 낮추어 줄 것이다. 음악 분야에서 AI의 음악적 소양이 깊어져 아이바가 빌보드 핫100 차트에 이름을 올릴 수도, AI 평론가가 오디션 프로그램의 패널에 앉아 있을 수도 있다. 이런 일들이 현실화 됐을 때 “신기하고 놀랍다”고 감탄만 할 수 없다. 창작 주체로서의 AI에 대해 고민해야 한다는 말이다.

자율주행자동차나 정밀의료 등 AI의 도입이 빠른 분야에선 AI가 주는 혜택과 더불어 법률적, 윤리적, 사회적 장치에 대한 논의가 활발한 편이다. 이에 비해 AI가 창조한 글, 그림, 음악 등 예술 분야에선 아직 활발하지 않다. 그러나 AI가 만든 예술작품이 자연스럽게 소비되는 때가 머지 않았으며 그에 따른 다양한 문제가 나올 수 있다. 국내에서도 예술 창작 주체로서의 AI에 대한 논의를 시작해야 하지 않을까. 더 늦기 전에.

◎이교구 교수는
이교구 교수는 2007~2009년 미국 데이터 분석회사인 그레이스노트의 미디어기술 연구소 선임 연구원을 거쳐 2009년 서울대 지능정보융합학과 교수로 부임했으며 음악오디오연구실을 이끌고 있다. 주요 연구 관심사는 ‘컴퓨터 청각’으로 신호처리와 기계학습을 활용해 인간의 청각 지각과 인지 과정을 더 잘 이해하고 이를 음악과 음성에 적용하는 것이다.

이교구 서울대 교수

GoodNews paper ⓒ 국민일보(www.kmib.co.kr), 무단전재 및 수집, 재배포금지