모바일웹 | 지면보기 PDF | 2020.9.23 수요일
전광판
Hot Click
경제일반
[경제] Science 게재 일자 : 2019년 11월 04일(月)
연주 데이터에 감정 표현하는 ‘머신러닝’… 인간 창의성에 도전
  페이스북트위터밴드구글
클릭하시면 원본 이미지를 보실수 있습니다.
▲  그래픽=전승훈 기자
■ 연주자 감성까지 반영하는 ‘음악AI’ 연구

카이스트·서울대 3년째 개발중
즉흥변주·모방 수준 뛰어넘어
스스로 창작까지 하는 AI 목표

머신러닝 음악데이터 부족으로
저작권 문제 해결 등 과제 남아
서울 음대서 연주곡 모아 훈련


‘인간 작곡가와 연주자의 감성을 인공지능(AI) 피아노에 담는다.’

카이스트 남주한 교수와 서울대 음대 박종화 교수가 3년째 연구 중인 도전목표다. 정식 연구과제명은 ‘머신러닝을 이용한 감성적 음악 연주 생성 시스템 개발’이다. 남 교수는 어릴 때 음악에 관심이 많았지만 과학고, 공대를 갔다가 다시 음대로 옮겨 석박사를 마친 융합 과학자다. 박 교수는 ‘달려라 피아노’로 유명한 현장 음악가, 콘서트 피아니스트다. 두 사람은 합동 인터뷰에서 “아직 완전한 감성 피아노는 어렵다”고 털어놓았다. 그러나 피아노에 인간의 감성을 불어넣다니 무슨 뜻일까. AI 기술로 가능할까. 두 사람은 말했다.

“기존 데이터와 비슷한 결과가 나오도록 AI를 학습시키는 일은 수학적으로 정의하기 쉽기 때문에 모방 기반의 생성 기술은 어렵지 않다. 다만, 지금까지와 전혀 다른 새로운 창작을 할 수 있을지는 의문이다. AI 생성 방식은 기존과 얼마나 비슷한지 비교를 통해서 이루어진다. 원하는 감성과 얼마나 새로운 시도인지 스스로 평가하며 생성하는 것은 아니다. AI가 창작물을 인간처럼 평가할 수 있다면 새로운 창작도 할 수 있다고 생각한다. 하지만 평가는 대개 주관적이라 시대에 따라 바뀌고, 평가 기준을 정량적으로 정의하기도 어려워 정말로 AI가 주체적으로 새로운 창작을 할 수 있을지는 의문이다.”

현재 초기 음악 AI는 소리에서 음표 정보(시간·음정·음의 길이)를 추출하는 자동 채보(採譜) 기술이 발전하면서 사망한 유명 연주자의 레코드를 재녹음해 활동하는 연주자와 합주 공연을 펼치는 정도다. 그러나 21세기 예술의 최전선을 달려가는 도전적 예술가들은 사람 없이 기계 스스로 ‘창작’을 할 수 있도록 끊임없이 예술과 기술의 융합 실험을 하고 있다.

두 사람은 연구에 가장 어려운 점은 무엇이냐는 질문에 데이터셋 부족, 시간과 돈의 제약, 융합 미비를 차례로 꼽았다. 딥러닝에는 빅데이터가 필수 재료인데, 빠른 산업화로 다수 축적된 이미지·음성 데이터에 비해 음악 데이터는 부족하기 때문이다. 저작권 문제도 난관이다. 창작물인 예술작품은 연구용이라 해도 데이터셋으로 모아 공유하긴 힘들다. 그래서 감성 피아노 연구팀은 22명의 서울대 음대 학생의 1135개 연주 데이터를 직접 모았다. 특히 연주자별로 곡당 5가지 서로 다른 감정 표현을 담아달라고 요청해 섬세한 차이를 포착하고자 했다. 그래도 여전히 AI를 훈련하기엔 모자란다고 한다. 또 음악 등 예술 분야는 결과물을 정량 평가하기 힘들어 사람을 직접 비교하는 정성 평가를 주로 한다. 하지만 유의미한 결과를 얻으려면 많은 평가자와 평가 절차의 엄격한 통제가 요구된다. 시간과 돈이 든다는 이야기다. 마지막으로 과학자와 음악가들과의 협업이 아직 국내에선 덜 활발하다. 딥러닝은 영역 지식을 거의 필요로 하지 않지만 학습 데이터 구축, 모델 평가 등에서 예술가의 역할이 매우 중요하다.


■ 용어설명

GAN(Generative Adversarial Network·생성적 적대 신경망) : 인공지능 신경망을 생산자(generator)와 감별자(discriminator)의 적대적 구조로 설계한 뒤, 원본과 닮은 모사본을 만드는 생산자와 이를 원본과 비교해 위조본으로 판정하는 감별자 간에 지속적 경쟁을 통해 원본과 거의 구분하기 힘든 정교한 모사본을 만드는 기술. 2014년 개발돼 세상에 존재하지 않는 인물들의 사진, 연설한 적 없는 버락 오바마 전 미국 대통령의 동영상 등을 공개하며 유명해졌다.

영역 지식(domain knowledge) : 주제 영역에 특화된 정보를 말한다. 바둑 AI를 학습시킬 때 구글은 처음에는 인간 기사들의 바둑 기보란 영역 지식을 지도학습 방식으로 가르쳐 알파고 리(이세돌과 대결한 AI)를 만들었다. 지도학습은 ‘이건 좋은 수, 저건 나쁜 수’ 식으로 사람이 꼬리표를 달아주는 것이다. 그러나 개선 버전인 알파고 제로는 바둑의 기본 규칙만 프로그래밍한 후 스스로 두어가면서 점점 성능이 향상되는 비지도학습, 강화학습 방식으로 만들었다. 이후 알파 제로는 바둑, 장기 등 특정 영역의 정보를 사전 입력하지 않고도 새로운 문제를 푸는 데 탁월한 성능을 발휘했다.

노성열 기자 nosr@munhwa.com
e-mail 노성열 기자 / 경제부 / 부장 노성열 기자의 다른 기사보기
[ 많이 본 기사 ]
▶ 가수 장재인, 성폭력 피해 고백…“누군가에게 힘이 됐으면..
▶ 조수진 “추미애 아들 미복귀날 PC방서 ‘롤’했단 제보받아..
▶ 1등 떨어뜨리고 2, 3등 합격… 국무조정실 연구기관 7곳서..
▶ ‘급식계 끝판왕’ 김민지 영양사 정든 학교 떠났다
▶ ‘가짜사나이’ 돌풍 이근 대위 “군인에겐 인성이 중요”
Copyrightⓒmunhwa.com '대한민국 오후를 여는 유일석간 문화일보' 무단 전재 및 재배포 금지
[ 구독신청:02-3701-5555 / 모바일 웹 : m.munhwa.com ]
정총리, 코로나19 음성 판정…활동..
‘홍길동보증금’ 출장마사지 피싱에 감..
檢, 요란한 뒷북수사… ‘秋아들 의혹덮..
與, 대기업을 ‘악의 축’ 인식… 시장경..
박용만 “기업의견 무시하나” 김종인 ..
topnew_title
topnews_photo 가수 장재인이 과거에 당한 성폭력 피해를 고백하며 자신과 같은 처지에 있는 사람들을 위로했다.장재인은 22일 자신의 인스타그램에 “..
mark만취 음주자가 장갑차 받았는데…미군기지앞 美사단장 사진 불..
mark서울대병원 여교수 당직실서 시신 발견…극단선택 추정
조수진 “추미애 아들 미복귀날 PC방서 ‘롤’했단 제..
7.8조원 규모 4차 추경안 예결위 통과…홍남기 “신..
1등 떨어뜨리고 2, 3등 합격… 국무조정실 연구기관..
line
special news BJ 아지땅, 살아있다…극단적 시도후 구출
아프리카TV BJ 아지땅의 사망설은 사실이 아닌 것으로 드러났다. 21일 BJ아지땅은 ‘좋은 곳으로 갔다’는..

line
첫 온라인 총회 준비했던 개신교단 직원 숨진 채 발..
‘급식계 끝판왕’ 김민지 영양사 정든 학교 떠났다
“석달간 600만명 다녀간 룸살롱…지원대상서 빠져..
photo_news
‘가짜사나이’ 돌풍 이근 대위 “군인에겐 인성이..
photo_news
강성범 “필리핀 원정도박? 지인 많아 행사간 것..
line
[10문10답]
illust
올겨울 독감·코로나 비상… 백신의 모든 것
[그립습니다]
illust
해군 복무중 손목시계 멈췄던 날… 외할아버지께서 돌아가시..
topnew_title
number 정총리, 코로나19 음성 판정…활동 재개
‘홍길동보증금’ 출장마사지 피싱에 감쪽같이..
檢, 요란한 뒷북수사… ‘秋아들 의혹덮기’ 증..
與, 대기업을 ‘악의 축’ 인식… 시장경제·국제..
hot_photo
암 투병 김철민 “개 구충제 복용..
hot_photo
배우 이지훈, 소속사와 갈등…매..
hot_photo
정주리, 남편 남긴 음식에 논란 ..
회사소개 | 광고안내 | 사업안내 | 이용안내 | 구독안내 | 독자참여 | 회원서비스 | 고충처리 | 개인정보취급방침 | 청소년보호정책(책임자:한형민) | Site Map
제호 : 문화일보 | 주소 : 서울시 중구 새문안로 22 | 등록번호 : 서울특별시 아01697 | 등록일자 : 2011년 7월 15일 | 발행·편집인 : 이병규 | 발행연월일 : 1997년 1월 1일
Copyright ⓒ 문화일보. All Rights Reserved. ☎ 02) 3701-5114