EIM을 위한 데이터 통합 환경의 구현

 

 

데이터 복잡성의 증가로 기업이 효과적인 의사 결정을 내리는 것이 점점 더 어려워지고 있다. 몇 년 전까지만 해도 ERP, SCM, CRM, SEM 등의 애플리케이션이 IT 트렌드의 주류를 이뤘지만 최근에는 기존의 시스템을 유지하면서 다양한 사용자 요구 사항을 만족시킬 수 있는 방안이 중요한 화두로 자리잡고 있다.

기업들은 수 십 개의 기업용 애플리케이션을 사용하고 있고, 저마다 저장소를 별도로 두고 있다. 최근에는 SaaS(Software as a Service), PaaS(Platform as a Service), IaaS(Infra as a Service)등의 클라우드 서비스 모델들뿐 아니라 BYOD(Bring Your Own Device) 등 기업이 관리해야 하는 시스템 영역이 기하급수적으로 확장됨에 따라 데이터의 복잡도는 더욱 증가하고 있다.

때문에 최근 기업들은 비즈니스 목표 달성을 위해 기업 내부 데이터에 대한 접근성, 이동성, 통합성, 안전성, 신속성 등을 확보하기가 더욱 어려워 질 수 밖에 없게 되었으며 이를 위해 적시성과 정확성에 기반한 실시간 데이터 통합 기술이 필수 불가결하게 되었다.

이번 엔코아 리포트에서는 기업 정보 관리를 위한 데이터 통합 환경의 구현 방법과 그에 따른 효과에 대해 알아보자.

 

 

1. 데이터 통합(DI: Data Integration)이란?

주력 제품이나 서비스가 무엇이든 어떠한 비즈니스 조직이라도 비즈니스를 성공적으로 운영하기 위해서는 ‘정보’가 필요하다. 그리고 대부분의 정보는 ‘데이터’로부터 비롯된다. 그러나 현실적인 여러 가지 이유들로 인해 기업 내 데이터는 서로 다른 장소에 서로 다른 구조와 포맷으로 산재되어 있다.

따라서 기업 내에 산재되어 있는 다양한 데이터 소스들과 시스템, 애플리케이션으로부터 데이터를 모아, 경쟁사보다 한발 앞서 빠른 의사 결정을 지원할 수 있는 ‘가치 있는 정보’를 창출해 내는 것이 필수적이다.

결국 데이터 통합이란 단순히 데이터를 모으고 분류하는 작업이 아니라, 기업 내 산재되어 있는 다양한 데이터 소스들과 시스템, 애플리케이션 등으로부터 데이터를 모으고, 이 데이터들이 가치 있고, 재사용 가능한 정보, 즉 ‘효용적인 정보’가 되도록 만들어 주는 조직적이고 지속적인 과정이라 할 수 있다.

데이터 통합은 모든 산업군에 걸쳐 IT 시스템의 효율적인 운영의 핵심 근간이 된다. 금융기관에서는 자동화된 데이터 통합을 통해 신속 정확한 수익성 분석, 실시간 감사 및 데이터 이관 기반 구축, 효과적인 고객관계관리 등을 수행할 수 있고, 제조업체는 효율적인 재고 관리는 물론 판매, 비용, 판매 예측 등을 할 수 있다.

이렇듯 데이터 통합은 가장 기본적이면서도 가장 중요한 단계라고 할 수 있다. 특히 최근 들어 기업들이 효율적인 정보의 통합 운영을 위해 다양한 시스템이나 애플리케이션에서 나오는 방대한 양의 데이터를 종류에 따라 다양한 포맷을 지원하고 이기종에서 호환이 가능하도록 통합을 이뤄 내고 있다.

 

 

 

 

 

 

 

 

 

2. 데이터 통합의 중요성

 

 

 

데이터 통합은 EIM(Enterprise Information Management)과 정보 인프라스트럭처(Information Infrastructure) 핵심이다. 보다 기업 정보를 효율적으로 관리하기 위해서는 기업이 보유하고 다양한 정보들이 여기저기에 분산되고 또 동일한 정보가 서로 다르게 표현되어서는 안된다. 즉, 기업 정보 관리의 선행 조건은 바로 회사 내부의 많은 DB들에 존재하는 데이터들에 대한 통합 및 이들의 품질 관리가 요구되는 것이다.

특히 데이터 통합이 필요한 이유 중의 하나는 IT 인프라스트럭처가 발전할수록 이를 구성하고 있는 각종 애플리케이션들로부터 발생되는 방대한 양의 데이터를 관리하는 비용이 커지기 때문이다. IT 시장 전문 분석 기업인 가트너(Gartner)의 조사에 의하면 일반적인 기업의 경우 서로 다른 데이터베이스와 레거시 시스템 간의 정보 교환을 위해 사용되는 프로그래밍 예산이 전체의 35~40%에 이르는 것으로 나타났다.

데이터 통합이 중요한 보다 본질적인 이유는 IT 자원을 활용한 업무의 생산성 향상과 기업의 중요한 의사 결정에 있어서 데이터의 통합과 품질이 무엇보다 중요하기 때문이다. 즉 기업을 둘러싸고 있는 복잡한 환경으로 인해 중요한 의사 결정에 있어서 갈수록 데이터 의존도가 높아지고 있으며, CRM, SCM, ERP 등과 같은 기업 애플리케이션의 성공적인 수행을 위해서는 데이터의 통합과 품질이 필수 전제 조건이다.

그러나 방대한 양의 데이터는 다양한 형태로 시스템 곳곳에 산재해 있어 각각의 데이터가 부분적으로만 효용 가치가 있을 뿐, 전사적으로 즉각적인 활용이 가능한 데이터가 되지 못하고 있는 경우가 많다.

최근 TDWI(The Data Warehousing Institute)의 조사에 따르면, 조사 대상 기관의 약 69% 정도가 새로운 애플리케이션을 실행하는 데 데이터 통합 문제가 큰 어려움이 된다고 밝혔다. 각 기업들은 현재 수많은 애플리케이션과 이기종 하드웨어 그리고 이종의 데이터베이스 등을 함께 사용하고 있으며, 대략 35% 가량의 데이터가 중복 저장돼 운용되고 있는 실정이라고 설명했다. 결국 IT 산업이 발전하고 이에 따라 IT 인프라스트럭처가 복잡해 질수록 기업 데이터 통합의 중요성은 더 커질 수 밖에 없는 것이다.

3. 데이터 통합의 효과

가트너(Gartner)가 최근 발표한 데이터 통합 주요 사용 트렌드에 대한 연구 보고서에 따르면, 기존의 데이터 통합은 주로 비즈니스 인텔리전스(BI)나 CRM 등의 정보 분석을 위한 통합이 주된 요구였다. 그러나 최근 글로벌 그리고 전 산업별로 나타난 바에 따르면 비용 절감과 마스터 데이터 관리, 컴플라이언스에 대한 효과적인 대응을 위한 통합이 BI나 CRM 등에 앞선 주된 이유로 나타났다.

주목할 점은 기업이 데이터 통합을 한 차원 높은 전략적인 비즈니스 이슈로 인식하기 시작했다는 점이며, 많은 조직들이 데이터 통합 프로젝트를 지원하기 위해 전사적 아키텍처를 개발하고 도입하는 방향으로 나아가고 있다는 것이다. 또한 통합적이고 일관된 뷰를 가진 전사적 싱글 버전 데이터를 통해 기업 가치를 제고할 수 있도록 데이터 통합 전 과정에 걸쳐 데이터 품질 관리를 고려하고 있다.

보통 데이터 통합은 데이터 품질 관리, 데이터 추출 및 가공-적재(ETL), 메타 데이터 관리 등을 포괄하는 것을 의미한다. 아직도 데이터웨어하우스(DW)나 비즈니스인텔리전스(BI) 등의 시스템 구축의 한 부분 요소로 잘못 인식되고 있지만 몇 년 전부터 ‘데이터 통합’이란 자체 시장을 형성하고 있을 정도로 규모가 커지고 있다.

무엇보다 데이터 통합이 이슈로 떠오르는 것은 대부분 기업들이 그 동안 데이터웨어하우스(DW), 고객관계관리(CRM) 등 인프라 구축에 주력했지만 내부 데이터 활용 측면에서는 미흡했으며, 효율적인 기업 내부 데이터 활용이 기업 경쟁력을 좌지우지하는 상황에 다다르면서 데이터 통합의 필요성이 대두되었다. 데이터 통합은 기업 내부에 산재한 데이터를 효율적으로 통합, 관리한다는 측면에서 갈수록 중요해 지고 있다. 이제는 데이터 추출-가공-적재뿐만 아니라 메타 데이터 관리 등 데이터 흐름의 전 과정을 시스템적으로 관리해야 한다는 목소리가 높아지고 있다.

한국 IDC에 따르면 최근 데이터 통합에 대한 요구가 크게 늘고 있으며 복잡한 환경으로 구성될수록 데이터 통합은 더욱 중요한 분야가 될 것이라고 말했다. 최근 금융권에는 차세대 프로젝트가??각되어 왔다.

데이터 통합이 급부상하고 있는 이유 중 하나는 CRM을 재구축하려는 기업이 늘고 있기 때문이다. 불과 4∼5년 전 대규모의 투자를 통해 CRM을 구축했던 기업들이 다시 시스템 재구축을 고민하는 이유는 간단하다. 효율적인 사업을 진행하기에는 CRM을 통해 산출된 데이터 품질이 낮기 때문이다. 인프라 구축에만 주력했고 그 근간이 되는 데이터에 대한 관리를 소홀히 했기 때문에 벌어진 일이다. 데이터 통합이 급부상한 주요인이다. 데이터 통합이 이슈로 자리잡으면서 관련 솔루션 필요성이 부각됐다. 이전만 해도 수작업으로 데이터 관리를 했던 기업들이 전사적으로 데이터를 체계화할 수 있는 자동화된 툴을 찾기 시작했기 때문이다.

또한 이전만 해도 데이터 품질 관리, 데이터 추출 및 가공-적재(ETL), 메타 데이터 관리 등의 개별 툴 도입에만 관심을 기울였던 것과는 달리 통합 측면의 접근 양상을 보이기 시작했다. 이에 따라 한국IBM- 한국인포매티카- 비즈니스오브젝트코리아- SAS코리아 등 다국적 기업과 위세아이텍- IDS- 아이티플러스 등의 국산 업체가 이 시장에서 경쟁을 치열하게 벌이고 있다.

 

 

 

 

 

4. 데이터 통합의 요건

 

 

 

데이터 통합을 통해 기업의 정보 자산을 효과적으로 관리하기 위한 필수 기능은 수집(Collect), 검증(Validate), 조직화(Organize), 관리(Administer), 전달(Deliver) 등 5가지로 분류할 수 있다.

다양한 데이터의 원천으로부터 데이터를 수집(Collect)하는 것은 데이터 통합의 출발점이라고 할 수 있다. 이 경우 메인 프레임 환경을 비롯한 다양한 플랫폼 및 포맷에 대한 지원, 멀티 소스에서 멀티 타깃으로 유연하게 변환할 수 있는 기능 등이 중요하다.

검증(Validate) 기능은 데이터의 품질에 대한 보증을 의미한다. 성공적인 데이터의 통합을 위해서는 원천 데이터의 품질이 우수해야 한다. 또한 데이터의 추출 및 변환 과정에서도 데이터가 오염될 수 있으므로 품질을 확인해야 하며, 지속적인 모니터링을 통해 오류 데이터가 축적되는 것을 방지해야 한다.

보유하고 있는 정보 자산을 체계적으로 조직화(Organize)하는 것은 기업이 어떤 정보 자산을 소유하고 있으며, 출처가 어느 곳인지 어떻게 사용하고 있으며, 다른 정보들과의 연관 관계가 어떤지, 특정 영역의 데이터가 변경 시 타 시스템에 미치는 영향은 무엇인지를 분석하는데 목적이 있다. 즉 기업 기업 내에 산재되어 있는 다양한 애플리케이션과 시스템에서 유일한 고객 정보를 추출하거나 유일한 거래처의 정보를 추출하여 표준화 정제 과정을 거쳐 단일한 뷰를 제공하는 경우 또한 데이터 통합이라고 할 수 있다.

이는 전사 차원의 메타 데이터 관리를 통해서 가능하다. 데이터 통합 시 기업 내의 수많은 시스템과 수많은 데이터 저장소에서 존재하는 원천 데이터 또한 중요하지만 정확한 데이터인가의 물음에서 시작하여 정확한 데이터가 누구나 알 수 있는 장소에 정확히 저장되어 있는지, 데이터 통합 시 매핑 로직은 무엇인지, 데이터 간의 이행 흐름 및 연관 관계는 어떤지 등의 답을 얻고 복잡한 시스템간 데이터를 통합할 때 추가 변경된 사항을 추적하여 빠른 시간 내에 아키텍처에 적용하기 위해서는 메타 데이터를 관리하지 않고선 얻을 수 없는 문제들이다.



메타 데이터는 기업 내외에서 관리하는 모든 데이터와 지식에 관한 데이터로 정보 자원에 대한 통합과 분류를 지원할 수 있으며, 이러한 메타 데이터의 체계적인 관리를 통해 데이터의 중복, 재등록을 방지하여 재사용성을 극대화하며 결과적으로 기업 내 커뮤니케이션 부족으로 인한 오류를 최소화할 수 있다.

또한 기업들은 프로세스, 분석, 의사 소통의 일관성, 단순화, 일치성을 위해 마스터 데이터를 사용한다. 기업 비즈니스에서 마스터 데이터의 의미는 비즈니스 거래 및 평가를 위한 근간이면서 전사 차원에서 활용되는 핵심적인 기업 정보(Core Enterprise Information)를 말한다. 조직이 전사 수준에서 마스터 데이터를 사용할 때 부서마다 또는 분리해서 저장하고 있던 불필요한 데이터들이 줄어들게 된다.

구체적으로 마스터 데이터 관리(Master Data Management, MDM)는 통합되지 않고 산재해 있는 데이터를 추출하여 소스별로 소스 필드를 개별 값들로 세분화하고, 데이터 값의 평가를 통해 비즈니스적 의미를 이해하고 이와 함께 발견되는 값, 레코드(record), 키 등의 관계를 유념해 각각의 속성들을 표준화하며 데이터 가치를 강화한다. 또한 동일한 객체를 대표하는 속성 집합들을 상호 연계하고 논리적으로 올바른 키, 속성, 관계를 요구되는 형태로 구성하여 마지막으로 변환을 적용, 리엔지니어링된 데이터를 타깃 구조물에 연결하고 적재하는 과정을 통해 고품질의 마스터 데이터를 생성할 수 있도록 한다.

기업은 이를 통해 데이터 관리에 있어 전사적인 뷰를 확보하고 기업 비즈니스 프로세스의 수준을 한 단계 높일 수 있다. 이러한 마스터 데이터 관리 시스템을 구축하기 위해서는 모든 비즈니스 업계와 비즈니스 성격 및 비즈니스 데이터 규모에 상관없이 산재되어 있는, 시스템 운영 장애 요소들과 광범위한 마스터 데이터 관리 구축의 어려움을 해결할 수 있도록, 마스터 데이터 통합(Master Data Integration)이 필요하다.

관리(Administer)의 관점에서 보면, 고객들의 비즈니스 변화에 따라 정보 자산을 용이하게 관리하여 정보의 가치를 개선하고 확장할 수 있는 정보 인프라를 구축하는 것이 중요하다. 기능적으로는 데이터의 추출 및 가공에 대한 자동화, 데이터의 품질 관리, 메타 데이터 관리 등을 기업의 환경에 맞도록 최적화하여 운영의 편의성을 제고하고 지속적으로 확장할 수 있는 구조를 갖추는 것이다.

마지막으로 전달(Deliver)이란 정확한 정보 자산을 웹 방식과 무선 등 장치에 독립적으로 적재적소에 원하는 사용자에게 전달 및 분배하는 기능을 의미한다.

정보의 변화에서 주목할 만한 점은 기업의 정보 관리 시스템이 왜 분산될 수밖에 없었는가 하는 점이다. 이는 지금까지의 데이터의 접근 방식이 특정 응용 프로그램이나 프로젝트 중심으로 이루어져 왔기 때문에 여러 목적으로 활용 될 수 있는 통합 정보 관리 시스템의 역할을 하지 못했기 때문이다.

기업의 IT 인프라를 살펴보면 각 목적에 따라 여러 운영 시스템들과 ERP, PLM, SCM 등과 같이 전사적인 기업 운영과 제품 관리 등을 위한 시스템들, 그리고 CRM, EDW, Data Mart와 같이 의사 결정 지원 및 고객 응대를 위한 분석형 시스템들을 구축해 왔고, 각 시스템 구축 시에 필요한 데이터를 그 목적에 맞도록 모델링해서 별도의 데이터 저장소를 갖도록 하는 것이 보편적인 방법이었다고 할 수 있다.

그래서 실제 특정 시스템 구축을 위한 프로젝트를 진행할 때에 많은 비용이 들어가는 부분이 바로 새로운 데이터 저장소를 생성하고 필요한 데이터를 이관하거나 외부의 데이터 연동을 구현하는 작업이다. 하지만 ‘통합’의 필요성이 가장 먼저 가시화되었던 영역은 응용 프로그램 간의 통합 즉 EAI(Enterprise Application Integration)였고, 기업 내의 여러 시스템들의 응용 프로그램들 간의 통합 인프라를 구축해서 전사적인 통합으로의 접근을 꽤 하게 되었다. EAI가 많은 부분의 통합 요구를 만족시키는 것은 사실이지만, 여전히 정보의 측면에서 보면 특정 시스템이나 응용 프로그램에 밀접하게 연결(Tightly-coupled) 된 형태의 통합이라고 볼 수 있다. 새로운 비즈니스 요구가 발생하여 시스템을 구축하는 경우 기존의 데이터를 쉽게 끌??으로는 쉽게 해결되기 어려운 부분이다.

이와 같은 이유로 인해서 보다 융통성 있고 유연한 정보 통합 레이어에 대한 개념이 등장하게 되었고 응용 프로그램에 의존적인 형태가 아닌, 데이터 미들웨어로써의 통합 아키텍처를 지향하게 된다.

RTE를 위한 데이터 통합

기업 내의 다양한 시스템/DB간 데이터 통합은 갈수록 실시간 성격을 많이 요구 받고 있다. 데이터 통합 인프라는 배치 성격과 실시간 성격의 적절한 조화를 통하여 기업의 Real-time 요건을 만족시켜야 한다.

가트너는 ‘실시간 기업(RTE : Real-Time Enterprise)’을 최신 정보를 사용해 자사의 핵심 비즈니스 프로세스들을 관리하고 실행하는 과정에서 생기는 지연 사태를 지속적으로 제거함으로써 경쟁하는 기업’ 이라고 정의하고 있다. 즉, RTE는 기업 경쟁력의 핵심인 비즈니스 프로세스 관리와 업무 수행의 지연시간을 단축시켜, 항상 최신, 최상 상태를 유지하는 기업을 의미한다. 가트너는 RTE의 개념에 대해 원가 절감과 프로세스 효율화의 핵심 요인이 정보의 실시간성 과 프로세스의 지연 방지에 있다고 보고 실시간 정보를 기초로 핵심 비즈니스 프로세스를 관리, 실행할 때 여러 가지 지체 현상을 지속적으로 제거함으로써 경쟁력을 극대화하는 경영 방법이라고 설명한다.

더 나아가 RTE는 성공과 직결된 명시적인 사건이 발생하는 즉시 그 근본 원인과 사건 자체를 파악하고, 모니터링하고, 분석함으로써 새로운 비즈니스 기회를 발굴하고, 또한 불행한 사태를 미연에 방지하여 핵심 비즈니스 프로세스의 지연을 최소화 하는 것이라고 했다. RTE는 시간을 기업 경쟁력의 핵심 요소로 인식 하는 것이며, 지속적인 지연요소 제거 과정이라 할 수 있다. RTE는 업무 이벤트를 조기에 인식하여 인지(awareness) → 결정(decision) → 조치(action)의 내부 프로세스를 통해 기업이 이벤트에 신속히 대응하는 (response) 체계로 구성된다.

효율적인 RTE 비전을 실현하기 위해서는 데이터에 대한 효율적인 관리에서 시작하여 데이터 품질 관리 및 메타 데이터 관리를 거쳐 궁극적으로는 비즈니스 통합에 이르기까지 IT 자원의 통합에 기반한 시스템 및 프로세스 통합이 우선적으로 이루어져야만 한다.

따라서 RTE 전략은 크게 실시간 정보 시스템 구축과 이를 통한 실시간 기업 프로세스 실현으로 나눌 수 있다. 효과적으로 실시간 기업을 구축하기 위해서는, 핵심 비즈니스 프 로세스의 관리 및 실행 시 발생하는 지연 요소를 제거하고, 전략 수립에서 수행에 이르는 전체 관점에서 새로운 기회와 위험에 신속히 대응할 수 있는 엔드투엔드 프로세스를 구현하며, 이를 통한 지속적인 개선 체제 기반으로 정보의 실시간 모니터링, 업무 지연을 최소화할 수 있는 의사결정, 그리고 지연에 대한 신속한 대응이 가능한 체계를 확보해야 한다.

즉, RTE를 구현하기 위해서는 데이터 통합의 선행 구축, 통합 데이터 기반의 비즈니스 프로세스 통합, 통합된 프로세스를 활용한 효율적인 의사 결정 구조 구축 등의 작업이 요구된다.

5. 데이터 통합 유형

물리적인 데이터의 위치와 데이터 통합 및 연계 기술을 결정하는 데이터 통합 유형은 Centralized Style, Coexistence Style, Registry Style, Consolidation Style로 분류된다. 이러한 통합 유형은 Reconciliation(=Coexistence) Style, Transaction Hub(=Centralized) Style 등 여러 기관이나 단체에서 다소 다른 명칭을 사용기도 하지만 설계 방식은 매우 유사하며 점차 가트너에서 분류한 4가지 기본 유형이 일반화되고 있다



데이터 통합 유형은 주로 기준데이터 통합을 위한 데이터 허브 설계 유형으로 참조되면서, 기준 데이터 통합 유형, MDM(Master Data Management) 유형 또는 데이터 허브 설계 유형으로 많이 알려졌으나, 최근에는 기준 데이터뿐만 아니라 컨텐츠의 통합에 이르기까지 다양한 데이터의 통합 유형에 적용되고 있다.

데이터 통합 유형의 특징과 장단점을 비교하면 다음 표와 같다



Consolidation Style은 오래 전부터 사용되었던 전통적 DW 방식으로, 기준 데이터 관리에 대한 관심이 고조될 때까지도 기준 데이터의 통합 유형으로는 고려되지 않았다. 그러나, RTE(Real-time Enterprise) 실현에 대한 관심이 높아지고 Real-time DW 기술이 발전함에 따라 Consolidation Style의 경우에도 동기 방식을 지원하는 기준 데이터 통합 방식으로 확대 적용되었다

6. 데이터 통합 방법

데이터 통합을 위한 기술적인 방법론으로는 크게 EAI(Enterprise Application Integration), EII(Enterprise Information Integration) 그리고 ETL(Extract/Transform/Load)로 정의해 볼 수 있다.

EAI는 응용 프로그램 관점에서의 데이터 통합을 바라보는 것으로, 네트워크 프로토콜이나 DB, 운영체제 등에 상관 없이 기업과 기업 내부의 다양한 시스템과 애플리케이션 및 데이터를 유기적으로 연동하여 이를 통합 관리, 사용할 수 있는 환경을 구축할 수 있도록 해주는 것이다.



EII는 가상의 데이터 저장소(Virtual Data Store)라는 개념을 통해 물리적인 데이터의 위치 및 형태와 상관없이 마치 하나의 데이터 저장소(데이터베이스) 내에 있는 것처럼 보여 주는 방법이다. 데이터 페더레이션(Federation) 기능을 통해서 물리적인 데이터 이관을 하지 않고도 실시간으로 하나의 데이터 저장소의 데이터인 것처럼 사용할 수 있는 것이 EII의 특성이라고 할 수 있다. EII를 통한 데이터 통합 레이어를 구성하는 경우 새로운 데이터 저장소가 생성되더라도 가상의 데이터 저장소 안으로 링크만 된다면 쉽게 통합 레이어를 확장해 갈 수 있다는 장점도 가지고 있다.

마지막으로 ETL은 기존에 대용량 데이터를 이용한 분석형 시스템 즉 데이터웨어하우스와 같은 시스템 구축에 많이 활용되어 오고 있는 방법이다. 대량의 데이터를 수집해서 목적에 맞는 데이터 포맷으로 변형 및 가공을 거쳐 빠르게 데이터웨어하우스 안으로 적재할 수 있는 방법이다.

세 가지의 데이터 통합 방법은 그 중 어느 한 가지만으로 전사적인 정보 통합 요구를 만족한다고 보기는 어렵다. 각 방법이 제공하는 특성을 고려해서 적합한 통합 방법을 선택하는 것이 필요하다.

그렇다면, 정보 통합은 어떤 요건들을 충족시킬 수 있어야 하는가?

전사적인 정보 통합을 위해 유연한 데이터 통합 미들웨어를 고려한다고 할 때, 과연 어떤 필요 충분 조건을 가지게 되는지 살펴보자.

데이터 소스 연동성

기업의 데이터 소스는 정형화된 데이터베이스부터 메인 프레임과 같은 레거시 데이터, 콘텐츠와 같은 비정형 데이터, 플랫 파일, 엑셀 파일, 응용 프로그램 임베디드된 데이터 소스 등 그 종류가 다양하다. 전사적 정보 통합은 이렇게 다양한 데이터 소스를 연동할 수 있어야만 특정 데이터 세트만이 아닌 전사의 데이터에 대한 통합을 구현할 수 있으며 다양한 형태의 데이터 소스를 연동할 수 있는 기 있다

데이터 품질 향상성

데이터의 품질 향상을 통해서 목적에 맞는 최적의 데이터를 제공할 수 있다. 기존의 데이터는 특정 응용 프로그램이나 시스템 목적에 맞도록 생성된 데이터이므로 새로운 요청에 필요한 데이터 형태로의 변경이나 가공 등이 필요하게 된다. 따라서 필요한 어떤 형태의 데이터 포맷도 지원할 수 있는 데이터 가공 기능이 제공되어야 한다. 또한, 데이터를 분석해서 새로운 데이터 모델을 생성할 수 있는 기능도 데이터 활용을 위한 중요한 기능으로 꼽을 수 있다.

기업이 가지고 있는 데이터의 많은 부분이 신뢰성이 떨어지는 허상의 데이터나 잘못된 데이터인 경우가 많고 이로 인해서 데이터를 활용해도 원하는 결과를 얻지 못하거나 필요 없는 데이터 시스템이 되어 버리는 경우가 있다. 이를 위해서 데이터를 정제하고 품질을 관리하는 기능은 반드시 필요한 요소다.

여기에는 데이터에 대한 분석을 통해 과연 의미 있는 데이터 인가, 데이터간의 연관성 등을 정확하게 파악하는 것이 중요하다.

메타 데이터 관리

분산 데이터의 연동이나 데이터 정제 및 가공, 새로운 데이터 모델 구성 등은 모두 데이터에 대한 정보 즉 메타 데이터를 필요로 한다.

이런 메타 데이터를 저장하고 관리함으로써 데이터 재활용성을 높이고 데이터 서비스 프로세스를 체계화시켜 자동 관리 등에 활용할 수 있다.

효율적인 데이터 제공

데이터의 통합도 결국은 데이터를 활용하고자 하는 목적에서 출발한다. 원하는 형태의 데이터를 원하는 시점에 제공받을 수 있도록 하는 것이 기본적인 데이터 통합 시스템의 목적이라고 할 수 있다.

이를 위해서 분산되어 있는 여러 데이터 소스에 대해 가상의 데이터 저장소를 통해 빠른 실시간 데이터 페더레이션(Federation)을 필요로 한다. 물리적인 데이터 이관을 통한 데이터 연동을 콘솔리데이션(Consolidation)이라고 본다면, 페더레이션은 물리적인 데이터의 이관에 따른 시간적 차이 즉, 데이터 동기화 문제를 해결할 수 있는 중요한 기술이다.

최근 비즈니스 인텔리전스(BI)와 같은 데이터 분석을 필요로 하는 요건 중에서 많이 요구되는 것이 바로 실시간 데이터 분석이다. 하루 혹은 일정 기간 전의 데이터뿐 아니라 바로 분석 시점의 운영 데이터를 이용해서 보다 최신의 분석 결과를 얻고자 하는 것이다. 이러한 요구는 데이터를 주기적인 작업을 통해 분석 시스템으로 이관해오는 통합 방식으로는 해결하기 어려운 부분이기 때문에 페더레이션과 같은 가상의 저장소를 통한 실시간 데이터 연동 기능이 필요하게 된다.

7. 데이터 통합 사례

LG전자는 일원화된 업무 체계 구현을 위해 유럽, 미주, 아-태 지역 등 전 세계 84개 법인 전체의 부품, 제품, 공급망, 고객 등 15개 기준 데이터를 표준화하고 Global Single Instance로 통합하여 통합된 기준 데이터를 기반으로 글로벌 ERP, DW, 글로벌 SCM, 글로벌 PDM, 글로벌 PSI 환경을 구현했다.

이를 통해 중복 개발 및 중복 구매로 인한 투자 감소와 통합 구매를 통한 원가 절감 및 통합 자재 관리 그리고 제품 개발 기간 단축 등의 효과는 물론 체계적인 정보 관리로 정확하고 신속한 경영 의사 결정이 가능해졌다.



조달청은 공공-민간 전자상거래 활성화를 위해 가상 데이터 통합 방식으로 상품 정보 허브 시스템을 구축하고 메타 데이터 온톨로지 시스템을 통해 공개 정보 검색의 편의성을 제공하게 됐다.

조달청의 상품 메타 데이터 통합은 데이터 통합 유형(Registry, Coexistence, Centralized, Consolidation Style) 중 상품 ID를 통합 및 연계한 Registry Style을 적용하였다. 이를 통해 조달청은 697억원의 공공기관 구매 행정 소요시간 절감 효과와 337억원의 중복 구축 및 유지 보수 비용 절감 효과를 얻게 됐다.

 

 

 

 

 

결론 및 시사점

 

 

 

데이터의 통합을 통해 기업은 변화에 신속히 대응할 수 있게 되어, 비즈니스 변화에 따라 유연하게 대처할 수 있다. 특히 실시간 데이터 통합은 기존 정보화 시스템의 최대 문제점이었던 효율성과 관리 비용 문제를 해결해 준다.

그러나 대부분의 기업이 기업 내부의 복잡한 IT 환경에 의해 산재돼 있는 데이터들을 전사적인 차원에서 관리하지 못하고 있으며, 데이터 마이그레이션이나 데이터웨어하우스, 통합 등 데이터 활용도를 높이고자 하는 노력도 체계적인 틀이 없이 필요에 따라 핸드 코딩에 의존하는 등 비효율적인 방법으로 진행되고 있다.

이에 데이터에 대한 중복 투자 및 관리 비용을 절감하고, 정보 자산으로서의 데이터 가치 상승 및 정보 개방 및 공동 활용에 대한 시장의 요구는 데이터 통합 시장의 발전을 가져왔다. 또한 광범위한 데이터 영역 및 비즈니스 영역에 대한 데이터의 통합 요구는 데이터 관리 기술을 결합하고 다양한 데이터 통합 방식과 전송 방식을 지원하는 단일 툴셋으로 데이터 통합 도구 시장을 발전시키고 있다.

이제 데이터 통합은 특정 목적에 맞는 시스템을 구축하기 위해 데이터를 모으는 것을 넘어서 어떤 데이터 활용 요청이 생기더라도 정확하고 빠르게 데이터를 제공할 수 있는 ‘데이터 미들웨어’로써의 의미를 가진다.

기업의 비즈니스 환경은 새로운 요구에 즉각적으로 반응하는 트렌드로 가고 있다. 새로운 상품을 개발하고 시장에 출시하기까지 필요한 IT 인프라는 얼마나 빨리 구축하고 정보를 수집하는가. 즉, 시간의 문제라고 본다면 유연한 IT 인프라의 구축, 그 중에서도 유연한 데이터의 통합을 통한 정보 활용은 아무리 강조해도 지나치지 않다.

지금까지 살펴본 데이터의 통합을 한마디로 정의한다면 응용 프로그램 레이어에서 정보를 분리시킴으로써 새로운 서비스에 필요한 정보의 활용을 가속화시킬 수 있도록 하는 통합 아키텍처라고 할 수 있을 것이다.

※ 다음 엔코아 리포트에서는 효과적인 데이터 통합을 위한 전략에 대해 연구한 자료를 공유하고자 한다.

 

 

출처 : EN-CORE(엔코아)