모바일웹 | 지면보기 PDF | 기사 상세 찾기 | 2019.11.23 토요일
전광판
Hot Click
경제일반
[경제] Science 게재 일자 : 2019년 11월 04일(月)
연주 데이터에 감정 표현하는 ‘머신러닝’… 인간 창의성에 도전
  페이스북트위터밴드구글
클릭하시면 원본 이미지를 보실수 있습니다.
▲  그래픽=전승훈 기자
■ 연주자 감성까지 반영하는 ‘음악AI’ 연구

카이스트·서울대 3년째 개발중
즉흥변주·모방 수준 뛰어넘어
스스로 창작까지 하는 AI 목표

머신러닝 음악데이터 부족으로
저작권 문제 해결 등 과제 남아
서울 음대서 연주곡 모아 훈련


‘인간 작곡가와 연주자의 감성을 인공지능(AI) 피아노에 담는다.’

카이스트 남주한 교수와 서울대 음대 박종화 교수가 3년째 연구 중인 도전목표다. 정식 연구과제명은 ‘머신러닝을 이용한 감성적 음악 연주 생성 시스템 개발’이다. 남 교수는 어릴 때 음악에 관심이 많았지만 과학고, 공대를 갔다가 다시 음대로 옮겨 석박사를 마친 융합 과학자다. 박 교수는 ‘달려라 피아노’로 유명한 현장 음악가, 콘서트 피아니스트다. 두 사람은 합동 인터뷰에서 “아직 완전한 감성 피아노는 어렵다”고 털어놓았다. 그러나 피아노에 인간의 감성을 불어넣다니 무슨 뜻일까. AI 기술로 가능할까. 두 사람은 말했다.

“기존 데이터와 비슷한 결과가 나오도록 AI를 학습시키는 일은 수학적으로 정의하기 쉽기 때문에 모방 기반의 생성 기술은 어렵지 않다. 다만, 지금까지와 전혀 다른 새로운 창작을 할 수 있을지는 의문이다. AI 생성 방식은 기존과 얼마나 비슷한지 비교를 통해서 이루어진다. 원하는 감성과 얼마나 새로운 시도인지 스스로 평가하며 생성하는 것은 아니다. AI가 창작물을 인간처럼 평가할 수 있다면 새로운 창작도 할 수 있다고 생각한다. 하지만 평가는 대개 주관적이라 시대에 따라 바뀌고, 평가 기준을 정량적으로 정의하기도 어려워 정말로 AI가 주체적으로 새로운 창작을 할 수 있을지는 의문이다.”

현재 초기 음악 AI는 소리에서 음표 정보(시간·음정·음의 길이)를 추출하는 자동 채보(採譜) 기술이 발전하면서 사망한 유명 연주자의 레코드를 재녹음해 활동하는 연주자와 합주 공연을 펼치는 정도다. 그러나 21세기 예술의 최전선을 달려가는 도전적 예술가들은 사람 없이 기계 스스로 ‘창작’을 할 수 있도록 끊임없이 예술과 기술의 융합 실험을 하고 있다.

두 사람은 연구에 가장 어려운 점은 무엇이냐는 질문에 데이터셋 부족, 시간과 돈의 제약, 융합 미비를 차례로 꼽았다. 딥러닝에는 빅데이터가 필수 재료인데, 빠른 산업화로 다수 축적된 이미지·음성 데이터에 비해 음악 데이터는 부족하기 때문이다. 저작권 문제도 난관이다. 창작물인 예술작품은 연구용이라 해도 데이터셋으로 모아 공유하긴 힘들다. 그래서 감성 피아노 연구팀은 22명의 서울대 음대 학생의 1135개 연주 데이터를 직접 모았다. 특히 연주자별로 곡당 5가지 서로 다른 감정 표현을 담아달라고 요청해 섬세한 차이를 포착하고자 했다. 그래도 여전히 AI를 훈련하기엔 모자란다고 한다. 또 음악 등 예술 분야는 결과물을 정량 평가하기 힘들어 사람을 직접 비교하는 정성 평가를 주로 한다. 하지만 유의미한 결과를 얻으려면 많은 평가자와 평가 절차의 엄격한 통제가 요구된다. 시간과 돈이 든다는 이야기다. 마지막으로 과학자와 음악가들과의 협업이 아직 국내에선 덜 활발하다. 딥러닝은 영역 지식을 거의 필요로 하지 않지만 학습 데이터 구축, 모델 평가 등에서 예술가의 역할이 매우 중요하다.


■ 용어설명

GAN(Generative Adversarial Network·생성적 적대 신경망) : 인공지능 신경망을 생산자(generator)와 감별자(discriminator)의 적대적 구조로 설계한 뒤, 원본과 닮은 모사본을 만드는 생산자와 이를 원본과 비교해 위조본으로 판정하는 감별자 간에 지속적 경쟁을 통해 원본과 거의 구분하기 힘든 정교한 모사본을 만드는 기술. 2014년 개발돼 세상에 존재하지 않는 인물들의 사진, 연설한 적 없는 버락 오바마 전 미국 대통령의 동영상 등을 공개하며 유명해졌다.

영역 지식(domain knowledge) : 주제 영역에 특화된 정보를 말한다. 바둑 AI를 학습시킬 때 구글은 처음에는 인간 기사들의 바둑 기보란 영역 지식을 지도학습 방식으로 가르쳐 알파고 리(이세돌과 대결한 AI)를 만들었다. 지도학습은 ‘이건 좋은 수, 저건 나쁜 수’ 식으로 사람이 꼬리표를 달아주는 것이다. 그러나 개선 버전인 알파고 제로는 바둑의 기본 규칙만 프로그래밍한 후 스스로 두어가면서 점점 성능이 향상되는 비지도학습, 강화학습 방식으로 만들었다. 이후 알파 제로는 바둑, 장기 등 특정 영역의 정보를 사전 입력하지 않고도 새로운 문제를 푸는 데 탁월한 성능을 발휘했다.

노성열 기자 nosr@munhwa.com
e-mail 노성열 기자 / 경제산업부 / 부장 노성열 기자의 다른 기사보기
[ 많이 본 기사 ]
▶ 급거귀국·訪日고려… 반나절도 안남기고 韓·日 ‘물밑분주..
▶ 박항서 감독 ‘발끈’하게 한 태국 코치, AFC에 제소당해
▶ 문재인式 직접민주주의 위험하다
▶ 무면허 음주운전 고교생, 포르쉐와 ‘쿵’··· 수리비만 1억5천..
▶ ‘국민 할매’ 김태원 “패혈증 재발로 생사 고비”
Copyrightⓒmunhwa.com '대한민국 오후를 여는 유일석간 문화일보' 무단 전재 및 재배포 금지
[ 구독신청:02-3701-5555 / 모바일 웹 : m.munhwa.com ]
[AD]
topnew_title
topnews_photo “협정종료 통보 효력정지·WTO 제소절차 정지”…文대통령 임석 NSC 상임위서 결정지소미아 종료 6시간 앞두고 발표…한일 수출규제 관..
ㄴ 靑, 지소미아 종료 ‘조건부 연기’…“WTO 제소절차도 정지”
ㄴ 외신, 지소미아 종료 연기 신속보도…‘美 압박 영향’ 분석
문재인式 직접민주주의 위험하다
박항서 감독 ‘발끈’하게 한 태국 코치, AFC에 제소..
‘별장 성접대 의혹’ 규명 못한 1심…‘만시지탄’으로..
line
special news 손담비 “연기 시작하고 악플 시달리지 않은건 처..
- 안정된 연기로 호평 손담비단순한듯 복잡한 감정 살리려대본 파고들고 연출진과 대화코르크 마개 물고..

line
日아베 “한국이 전략적 관점에서 판단한 것…연대..
‘지소미아 종료 연기’에 한숨 돌린 美…막후 역할론..
文대통령 “지소미아 잘 정리됐다…黃 단식 풀어달..
photo_news
암투병 김우빈 “여러분 응원 덕분에 이겨낼 수..
photo_news
‘기생충’ 청룡영화상 작품상 등 5관왕…정우성..
line
[Review]
illust
‘용퇴·쇄신론’ 불 지핀 任·金… 최장수 재임속 ‘스캔들’ 아베
[Interview]
illust
“日과 맞붙을 탄탄한 소·부·장 확보하려면… ‘R&D 예산 유리천..
topnew_title
number 무면허 음주운전 고교생, 포르쉐와 ‘쿵’··· 수..
고려대 학생들 “조국 딸, 부정입학 명백…입..
“헤일리, 北ICBM 시험발사 때 비번 까먹어..
인헌고 학생들 “문제발언 교사 8명 간접공개..
hot_photo
경매 나온 히틀러 부인 모자와 지..
hot_photo
2019 슈퍼모델 대상에 장원진
hot_photo
서효림, 김수미 아들과 내달 결혼..
회사소개 | 광고안내 | 사업안내 | 이용안내 | 구독안내 | 독자참여 | 회원서비스 | 고충처리 | 개인정보취급방침 | 청소년보호정책(책임자:한형민) | Site Map
제호 : 문화일보 | 주소 : 서울시 중구 새문안로 22 | 등록번호 : 서울특별시 아01697 | 등록일자 : 2011년 7월 15일 | 발행·편집인 : 이병규 | 발행연월일 : 1997년 1월 1일
Copyright ⓒ 문화일보. All Rights Reserved. ☎ 02) 3701-5114