모바일웹 | 지면보기 PDF | 기사 상세 찾기 | 2020.2.29 토요일
전광판
Hot Click
정보통신
[경제] ICT & Science 게재 일자 : 2020년 01월 21일(火)
“빅데이터 산업화 위해… 데이터 前처리서 IT전문가 해방시켜야”
  페이스북트위터밴드구글
클릭하시면 원본 이미지를 보실수 있습니다.
김태정 데이터브릭 대표

데이터 3法 7월 시행되는데
정제·검증 등 단순노무 시달려

트리팩타 랭글러 프로그램 도입
비정형 데이터 정리하고 통일
전처리 시간 최대 90% 단축

143國 1만2000여 기업 사용중
펩시, 85억개 선적 오류 발견도


“구슬이 많아도 꿰지 못하면 상품 가치가 없잖아요? 기업도 확보한 수많은 데이터를 ‘전처리(前處理·어떤 조작을 하기 전 그 조작에 알맞은 상태로 준비하는 일)’하지 못하면 데이터 3법이 입법화돼도 수혜를 볼 수 없습니다.” 지난 16일 서울 강남구 역삼동에서 인터뷰한 김태정(58·사진) 데이터브릭 대표는 오는 7월부터 시행될 데이터 3법(개인정보보호법 ·정보통신망법·신용정보법) 개정안이 제대로 안착하기 위해 가장 중요한 ‘데이터 전처리 과정’을 이처럼 강조했다.

데이터브릭은 데이터 관련 각종 서비스를 제공하는 전문기업이다. 김 대표는 데이터 3법의 국회 통과에 대비해 2017년 미국 실리콘밸리 정보기술(IT)기업 ‘트리팩타(Trifacta)’의 데이터 전처리 프로그램인 ‘트리팩타 랭글러(Wrangler)’를 국내에 도입했다. 트리팩타 랭글러는 기업 데이터 분석자가 데이터 속성 이해부터 구조화, 변형, 정제, 검증에 이르기까지 데이터 전처리에 필요한 모든 과정을 직접 할 수 있게 함으로써 전처리 시간을 최대 90%까지 단축할 수 있다. IT 업계에서 34년간 종사한 김 대표는 “지금까지 기업들은 데이터 분석을 위해 IT 고급인력들을 활용해 정제되지 않은 데이터를 일일이 수작업으로 수정하는 과정을 거쳤다”며 “이러한 전처리에 걸리는 시간이 전체 프로젝트의 80% 이상을 차지했다”고 지적했다.

그는 “앞으로 데이터 3법 통과로 기업들은 사고판 비정형 데이터를 활용해 유용한 결과물을 도출해야 하는데 아직 이러한 문제에 대한 우리 기업의 인식이 부족하다”며 “이미 미국과 일본 등 데이터 선진국에선 전처리 과정에 공을 들임으로써 빅데이터 경제 시대를 열고 있다”고 말했다. 한국정보화진흥원에 따르면, 빅데이터 분석 시스템을 도입한 국내 기업(직원 100명 이상)은 2017년 기준 7.5%에 불과하다. 국내에서 빅데이터 분석을 시도한 기업도 전체의 약 1.7% 수준인 것으로 조사됐다.

◇비효율적 데이터 전처리 과정에 데이터 전문가들 업계 떠나=21일 IT 업계에 따르면, 지금까지 데이터 전처리 작업은 IT 개발자가 만든 프로그램 또는 분석가가 특화된 프로그램 언어를 활용해 수행했다. 문제는 이러한 방식을 통해 제대로 된 분석 결과를 얻기까지 부단한 노력과 시간이 필요하다는 점이다. 데이터 기업의 한 관계자는 “데이터 분석가들이 부단히 공부하고 노력해 현업에 뛰어들었지만, 정작 일선에선 정제되지 않은 데이터를 정리하는 단순 노무에 매달려 있다”며 “이러한 단순 작업에 피로를 느낀 데이터 분석가들이 다른 업종으로 이직하는 경우가 생각보다 많다”고 설명했다. 예컨대 A라는 데이터에 ‘Hong GilDong’이란 고객명이 있고, 데이터를 합쳐야 할 B라는 데이터에 ‘Gil-Dong Hong’으로 표기돼 있다면, 데이터 분석가는 이를 ‘수작업’을 통해 같은 이름으로 통일하는 일을 하고 있다. 고객명이 통일돼야 고객 관련 정보를 융합하고 가공할 수 있기 때문이다.

◇데이터 선진국, 전처리 프로그램으로 업무 효율 극대화=비효율적인 데이터 가공 문제를 해결하고자 이미 주요 선진국에선 트리팩타 랭글러와 같은 최신 데이터 전처리 프로그램을 활용해 업무 효율성과 생산력을 크게 높이고 있다. 트리팩타 랭글러는 현재 143개국 1만2000여 기업에서 7만5000명 이상의 데이터 분석가가 사용 중이다. 미국의 펩시(Pepsi)는 제품별 최적 재고량 유지를 위해 최신 데이터 전처리 프로그램을 활용했고, 이를 통해 분석 시간을 70%, 보고서 생산 시간을 90% 줄이는 데 성공했다. 특히 데이터 품질 확보를 통해 85억 개 상당의 제품 선적에 오류가 있음을 발견해 생산성을 높였다. 영국의 스코틀랜드왕립은행은 고객 웹 채팅 데이터를 최신 데이터 전처리 프로그램을 사용해 빠르고 정확하게 분석했다. 그 결과 고객 이탈을 막고 수백만 파운드의 손실을 방지했다.

◇AI 기반 전처리 프로그램이 빅데이터 시대 연다=기업에 효자 역할을 하는 최신 전처리 프로그램은 인공지능(AI) 기반의 기계학습, 패턴 분석, 통계적 기법으로 운용된다. 프로그램은 모든 정보를 막대 그래프와 색상 구분 등으로 구분해 사용자에게 시각 효과를 지원한다. 또한, 어떠한 항목을 하나로 통일하거나 수정할 필요가 있다고 프로그램이 스스로 판단하면, 프로그램은 사용자에게 가장 적합한 결과값을 산정해 최상의 선택지를 제공한다. ‘서울시 서대문구’ ‘서울 서대문구’ ‘서울시 서대문’ 등으로 표기된 데이터를 전처리 프로그램은 사용자에게 노란색으로 표시해 구분하고, 사용자에게 ‘서울시 서대문구로 통일하는 게 어떻겠냐’고 묻는 식이다. IT 업계 관계자는 “미래 산업의 원유(原油)로 불리는 빅데이터를 활용할 길이 데이터 3법 통과로 마침내 열렸다”며 “데이터 전처리 효율성만 높인다면 통신, 의료, 유통, 금융 분야에서 소비자의 요구를 반영한 다양한 상품 출시가 가능할 것”이라고 강조했다. 시장조사기관인 IDC에 따르면, 비식별화된 개인정보를 활용한 빅데이터 및 사업분석서비스의 전 세계 매출은 2020년 1891억 달러(약 219조 원)에서 2022년 2743억 달러(318조 원)로 성장할 전망이다.

이해완 기자 parasa@munhwa.com
e-mail 이해완 기자 / 경제산업부  이해완 기자의 다른 기사보기
[ 관련기사 ]
▶ AI 시대 반도체 미래는… 新기술 한자리에
[ 많이 본 기사 ]
▶ [단독]“섭씨 8.72도에서 전염력 가장 강해…기온 높을수록..
▶ 코로나 재앙 ‘탄핵 사유’ 될 수 있다
▶ 씨잼, ‘침대에서 널 바라보며’…속옷 여자친구 공개
▶ 이만희가 곧 ‘구원자’… ‘神·人합일 땐 영생불사’ 믿어 질병..
▶ 이낙연·황교안 종로 여론조사 한달…최대 27.2%p, 최소 1..
Copyrightⓒmunhwa.com '대한민국 오후를 여는 유일석간 문화일보' 무단 전재 및 재배포 금지
[ 구독신청:02-3701-5555 / 모바일 웹 : m.munhwa.com ]
“3월 대유행 가능성… 전국확산 대..
“코로나19 환자 눈물에서 바이러스 검..
체온계 7만→30만원, 알코올솜 2000→..
통합당, 민경욱·이현재·문병호 컷오프..
축구도 ‘코로나 공포’…이탈리아 선수..
topnew_title
topnews_photo - 中연구팀 429개 도시 분석 국내 4월 중순 기세 꺾일 수도 전문가 “바이러스 죽는것 아냐”신종 코로나바이러스 감염증(코로나19)은 8.7..
mark이만희가 곧 ‘구원자’… ‘神·人합일 땐 영생불사’ 믿어 질병에도 둔..
mark이낙연·황교안 종로 여론조사 한달…최대 27.2%p, 최소 11.1%p..
코로나 재앙 ‘탄핵 사유’ 될 수 있다
[속보]‘코로나19’ 25번째 환자, 퇴원 후 재확진…전..
[속보]대구서 하루 새 확진자 3명 숨져…국내 사망..
line
special news 씨잼, ‘침대에서 널 바라보며’…속옷 여자친구 공..
래퍼 씨잼의 파격적인 럽스타그램이 화제다.씨잼은 27일 인스타그램에 “watching you on my bed”(침대..

line
신천지 31번 확진자 “내 덕분에 많은 생명 건질수 ..
코로나19 확진자 하루새 571명, 대구·경북 511명…..
文대통령 “중국인 입국금지 불가능…지금은 실효성..
photo_news
‘도핑검사 회피 의혹’ 쑨양, 8년 자격정지…사..
photo_news
홈런 맞았지만… “역시 노련한 RYU”
line
[Interview]
illust
“원래 내 이름은 ‘磊진’…돌 만질 팔자라 지금도 매일 3시간씩..
[Review]
illust
“대구 정치 이용 말라” 권영진… 코로나 대국민 사과 정세균
topnew_title
number “3월 대유행 가능성… 전국확산 대비 ‘장기전..
“코로나19 환자 눈물에서 바이러스 검출…눈..
체온계 7만→30만원, 알코올솜 2000→1만원..
통합당, 민경욱·이현재·문병호 컷오프…전희..
hot_photo
지폐 모델 되는 ‘멕시코 도롱뇽’…..
hot_photo
롯데월드타워, 외벽에 대구경북..
hot_photo
성현아, 은퇴설 일축 “언제 불쾌..
회사소개 | 광고안내 | 사업안내 | 이용안내 | 구독안내 | 독자참여 | 회원서비스 | 고충처리 | 개인정보취급방침 | 청소년보호정책(책임자:한형민) | Site Map
제호 : 문화일보 | 주소 : 서울시 중구 새문안로 22 | 등록번호 : 서울특별시 아01697 | 등록일자 : 2011년 7월 15일 | 발행·편집인 : 이병규 | 발행연월일 : 1997년 1월 1일
Copyright ⓒ 문화일보. All Rights Reserved. ☎ 02) 3701-5114