요즘 신문 기사나 뉴스에 자주 등장하는 ‘빅데이터’는 가트너(Gartner)의 전신인 메타 그룹(Meta Group)의 더그 레니(Doug Laney)가 2001년 연구 보고서에서 데이터 급성장에 따른 이슈와 기회를 ‘데이터의 양(Volumn)’, ‘데이터의 입출력 속도(Velocity)’, ‘데이터 종류의 다양성(Variety)’의 3개 차원으로 정의하면서 최초로 그 개념이 제시되었다. 이후 빅데이터에 대한 관심은 폭발적으로 커졌으며, 주로 일정한 형태로 존재하지 않아 Database 형태로 보관하기 어려운 텍스트나 사진, 동영상 등의 비정형 데이터를 어떻게 활용할 수 있을지에 대한 관심이 높아졌다.

이러한 비정형 빅데이터 분석은 전통적인 통계학에서 사용하는 정교한 샘플링에 기초해 모수를 추정하는 방법이 아닌, 막대한 양의 데이터로부터 모수에 가까운 데이터를 직접 분석해 낸다는 측면에서 전통적인 통계 분석 결과와 차별성이 있다. 막대한 데이터의 분석 결과를 기반으로 추정한 결론은 샘플링에 기초한 추정에 비해 그 신뢰도가 월등히 높다는 장점이 있다. 이러한 장점으로 인해 비정형 빅데이터 분석은 분석 영역에 새로운 지평을 여는 혁신적인 방법으로, 미래에 가장 주목할 만한 기술 중 하나로 여겨지고 있다.

비정형 빅데이터 분석은 막대한 양의
데이터로부터 모수에 가까운 데이터를 직접 분석한다는
점에서 전통적 통계 분석 결과와 차별성이 있다.

앞서 말한 빅데이터를 굳이 ‘비정형’ 빅데이터라고 부른 데에는 비정형에 대비되는 개념으로 ‘정형’ 빅데이터를 언급하기 위해서다. 빅데이터를 정의할 때 주로 논의되는 3V(Volumn, Velocity, Variety)를 고려할 때, ‘정형’ 빅데이터라는 말 자체가 양(Volumn)이나 속도(Velocity) 측면에서는 빅데이터의 조건을 충족할 수 있으나, 다양성(Variety) 측면에서는 그 조건을 충족하지 못하기 때문에 빅데이터가 아니라고 말할 수도 있을 것이다. 그런데도 ‘비정형’ 빅데이터에 대한 관심이 높아짐에 따라 ‘정형’ 빅데이터에 대한 관심도 높아지고 있으며, ‘정형’ 빅데이터를 가장 많이 가지고 있는 제조업 현장을 중심으로 이에 대한 관심이 고조되고 있다. 여기에 4차 산업혁명 시대에 제조업이 나아갈 방향으로 여겨지는 스마트 팩토리를 구축하는 데 가장 중요한 영역이 공장 정보의 디지털화이며, 정보의 디지털화는 필연적으로 데이터 분석을 전제로 하고 있기에 스마트 팩토리에 대한 관심과 함께 대표적인 정형 빅데이터인 제조업 빅데이터에도 관심이 쏠리고 있는 것이다. 이러한 시점에 빅데이터 분석을 어떻게 제조 현장에서 활용할 수 있으며, 또 제조 현장에 빅데이터 분석을 적용하기 위해 무엇이 필요한지 명확히 아는 것은 4차 산업혁명 시대를 준비하는 우리에게 매우 중요한 일임에 틀림이 없다.

하지만 제조 현장에 적용 가능한 빅데이터 분석의 특징을 정확하게 파악하지 못하고 막연히 빅데이터는 다 비슷하다고 생각하는 경향이 많은 것 같다. 이러한 잘못된 인식을 기반으로 제조 현장에 빅데이터 분석을 적용한다면, 그 다른 성격으로 인해 많은 어려움에 처할 수밖에 없다. 실질적이며 효율적으로 제조 현장에 빅데이터 분석을 적용하려면, 언론이나 학계에서 자주 논의되는 빅데이터와 제조 현장에서 생성되는 빅데이터의 성격이 매우 다르다는 것과 분석에 접근하는 방식 또한 아주 다르다는 점을 인식할 필요가 있다.

많은 제조업 회사들은 제품을 생산하기 위해 자동 제어 시스템으로 설비를 제어하고 있다. 생산 시스템은 제어기에 의해 제품 생산과 물류가 통제되고 있으며, 정확한 제어를 위해 설비의 상태 정보를 실시간으로 모니터링하고 있다. 그러므로 설비 제어를 위한 데이터는 매우 빠른 속도로 데이터를 생성하는 특징이 있다. PLC(Programmable Logic Controller)를 사용하여 설비를 제어하는 경우 최소 수십 ms(millisecond, 1/1000초) 단위로 제어 대상의 상태를 모니터링하고 있으며, 조금 성능이 좋은 PLC의 경우 수 ms 단위로 설비를 모니터링한다. 다른 제어기 형태로 방대한 영역을 한꺼번에 제어하는 DCS(Distributed Control System)는 PLC보다 넓은 영역을 한꺼번에 제어하다 보니 상대적으로 넓은 시간 간격으로 설비의 상태를 모니터링하고 있지만, 이 또한 최소 수백 ms 단위로는 설비 상태를 모니터링하고 있다.

이렇듯 설비를 통제하기 위한 제어기들은 상당히 촘촘한 시간 간격으로 설비 상태를 모니터링하고 있지만, 제어기가 모니터링하고 있는 단위와 동일 또는 유사한 속도로 데이터를 수집하는 기업은 별로 없다. 제어기가 모니터링하는 단위는 생각할 수 없을뿐더러 그런 종류의 데이터 수집 자체를 하지 않는 경우가 많다. 수집하더라도 제어기가 모니터링하고 있는 데이터 간격에 비해 상당히 넓은 간격으로 소량의 데이터만 수집하고 있는 경우가 대부분이다. 많은 제조 기업들은 이미 엄청난 양의 데이터를 활용하여 생산 시스템을 제어하고 있으나, 그 데이터를 수집하여 활용하는 체계는 갖추지 못하고 있는 실정이다. 그렇다면 이러한 제조 빅데이터 활용을 위해 무작정 이 막대한 데이터를 수집해야 할까? 아니, 할 수 있을까?

스마트 팩토리를 추진하는 과정에서 이런 제조 빅데이터를 수집해야 한다는 정확한 전략적 방향을 설정했다고 하더라도 타당성 검토 없이 기업에서 데이터 수집 인프라를 구축하기 위해 투자하는 것은 불가능하다. 기업은 이익 추구가 그 근본 목적이기 때문이다. 여기서 제조 빅데이터 분석의 특징 중 가장 중요한 한 가지가 분명해진다.

제조 빅데이터를 잘 활용하기 위해서는 데이터가 중요하지만,
그 데이터를 수집, 저장하는 시스템을 구축하기 위해서는 투자 타당성 검토를 위한
데이터 분석이 우선되어야 한다.

대부분 기업이 제조 빅데이터 분석을 위해 데이터 인프라가 충분하지 않기에 데이터를 수집하여 활용할 수 있도록 시스템이 구축되어 있어야 분석이 가능하다. 하지만 데이터 시스템 구축의 투자 타당성을 검토하기 위해서는 해당 데이터에 대한 분석이 필요한데, 수집된 데이터가 없는 상태에서는 분석하는 것 자체가 불가능하다. 결국 데이터가 없어 분석이 어렵고, 분석이 어려우니 데이터 시스템 구축을 위한 투자 타당성 검토가 어려워 데이터 수집 자체를 못 하는 악순환이 계속된다는 것이다. 현재 제조 빅데이터 분석의 가장 큰 걸림돌이자 가장 중요한 특징이라 할 수 있다.

데이터 수집을 위한 투자가 어려워 분석할 데이터를 충분히 확보하지 못하는 악순환의 고리를 한번에 끊을 방법은 없다. 그 정도의 과감한 투자를 무모하게 진행할 수 있는 기업은 매우 드물기 때문이다. 그러기에 데이터 분석이 더 중요해진다. 기업의 상황과 투자 의지에 맞춰 구축된 시스템 내에 존재하는 데이터를 활용하여 분석 활동을 시작할 수만 있다면 분석을 통해 제조 과정에서 발생하는 상세한 데이터가 기업에 어떤 가치를 줄 수 있는지 증명할 수 있다. 필요하다면 일부 공정에 대해 일정 기간만 상세 데이터를 수집하여 분석해 보는 것도 매우 유용한 방법이 될 수 있다. 즉, 데이터 분석을 통해 데이터 가치를 증명하고 증명된 데이터 가치를 바탕으로 데이터 수집 시스템의 투자 타당성을 증명함으로써 투자를 가능하게 하면서, 자연스럽게 프로세스 혁신을 이끌어내는 것이다. 이것이 제조 빅데이터 시스템을 구축하는 유일한 방법이라 할 수 있다. 이러한 방법론을 필자는 ‘Analytics Driven Process Innovation’이라고 부른다.
그 명칭이 무엇이 됐든 제조업의 빅데이터 시스템이나 빅데이터 분석은 완성된 시스템을 한번에 구축하는 것이 아니라는 점을 명심해야 한다.
기업마다 자사에 맞는 시스템을 구축하기 위해 분석을 통해 투자 타당성을 엄밀히 따져가며 데이터 시스템을 구축해 나간다. 그리고 투자를 통해 얻은 향상된 데이터 품질은 좀 더 나은 분석을 할 수 있도록 지원하고, 더 나은 분석을 통해 더욱 고도화된 데이터 시스템의 투자를 이끌어내는 선순환 구조 속에서 기업을 점진적으로 진화시킨다. 이러한 과정만이 제조 빅데이터 시스템을 효과적으로 구축하는 유일한 방법인 것이다.

결론적으로 제조 빅데이터를 잘 활용하기 위해서는 데이터가 중요하지만, 그 데이터를 수집, 저장하는 시스템을 구축하기 위해서는 투자 타당성 검토를 위한 데이터 분석이 우선되어야 한다. 그러므로 지금 기업이 고민해야 할 것은 ‘어떻게 제조 빅데이터 시스템을 구축할 것인가?’보다, ‘어떻게 제조 빅데이터를 분석할 것인가?’이며, 이를 위해 ‘어떻게 제조 빅데이터를 분석할 역량을 갖출 것인가?’에 대한 고민이 우선되어야 한다.

우리는 지금 제조 빅데이터 분석에 대해 어떻게 생각하고 또 무엇을 준비하고 있는가? 글로벌 IT 기업들이 말하는 빅데이터 시스템을 구매하기만 하면 저절로 차려지는 만찬쯤으로 생각하고 있지는 않은지 돌아볼 때이다.