Data Mesh : 데이터 중심 기업혁신을 위한 패러다임 전환

🚩 데이터 중심의 기업혁신을 위한 Data Mesh에 대해 소개합니다.

---

#1. 패러다임의 시작

미국의 저명한 분석 철학자이자 물리학자인 토머스 사무엘 쿤(Thomas Samuel Kuhn)은 1962년 그의 저서 『과학혁명의 구조 (The structure of scientific revolutions)』에서 ‘패러다임’을 정의하였습니다.

패러다임 : 한 시대를 지배하는 인식이나 과학적 사고, 관념, 가치관이 결합한 프레임

과학자들은 이 패러다임 안에서 연구를 진행하는데, 패러다임에 안주하지 않고 점차 한계를 깨뜨릴 때 진보를 달성할 수 있게 됩니다. 우리가 짧은 세기 동안 코페르니쿠스 혁명, 산업혁명, 정보 혁명과 같은 엄청난 시대적 혁명을 이룬 것은 기존의 패러다임을 초월하면서 새로운 것을 만들어 냈기 때문입니다. 토머스 사무엘 쿤은 이러한 시대적 전환과 혁명은 기존 패러다임에 문제점이 많을 시, 나타나며 패러다임의 전환이 일어날 때 위기와 함께 먼저 새로운 패러다임이 출현한 뒤 그 체계가 정교화된다고 언급했습니다.

 

1-1. 기업의 데이터 혁신과 데이터 관리의 어려움

많은 기업들이 데이터를 통해 비즈니스 통찰력을 얻고, 궁극적으로 자동화된 지능형 의사결정과 규모에 맞는 데이터 민주화의 희망을 품고 차세대 데이터 플랫폼에 투자합니다. 하지만 전통적인 중앙 집중식 데이터 아키텍처 ‘데이터 레이크’, ‘데이터 웨어하우스’의 경우 데이터의 복잡성과 규모 증가에 대응하기 어려워 병목 현상, 비효율성 및 데이터 격리 문제가 발생하게 됩니다.

데이터 레이크와 데이터 웨어 하우스를 도입해 빅데이터를 통한 통찰력을 얻고자 했던 기업들은 여러 차례 실패를 경험하며, 데이터 자산을 효과적으로 관리하고 활용하는데 어려움을 겪고 있습니다.

 

1-2. Data Mesh : 새로운 패러다임의 필요

현재의 ^※정상과학으로 일컫는, 정상분포의 중간값에 해당하는 것, 즉 시간상 가장 많은 시간이 투여된 방식인 중앙집중화된 데이터를 콘웨이의 법칙(Conway’s law)을 통해 코딩으로 이어질 것이라는 관념은 여전히 존재합니다.

※정상과학 : 과거의 과학적 성취에 확고히 기반을 둔 연구 활동

하지만 빅데이터를 기계학습(ML)한 데이터 기반 또는 AI 유형의 서비스를 제공하는 회사에서는 현 패러다임에서 제시하는 해결책으로는 답을 찾을 수 없는 위기에 이르렀습니다. 같은 기업 내에서, 빅데이터를 다루는 수백 개의 시스템에 걸쳐 또는 외부에서 사용할 수 있는 유비쿼터스 데이터의 소비가 모두에게 유의미하게 충족되려면, 데이터를 관리하는 방법에 대한 근본적인 구성과 개념적 측면에서 패러다임의 전환이 필요했고, 근본적으로 데이터 플랫폼 아키텍처를 뒷받침하는 기존 원칙과의 대조를 이루며 부상하는 관념의 혁명이자 패러다임의 전환 ‘Data Mesh’가 등장하게 됩니다.

#2. Data Mesh란?

The four principles of data mesh. ;Source: Data Mesh by Zhamak Dehghani, O'Reilly Media,Inc

2-1. Data Mesh의 원칙

1.1 데이터 소유권과 거버넌스의 민주화
데이터 메시는 데이터 소유권과 거버넌스의 패러다임 전환을 말합니다. 중앙집중식 IT팀에 의존하는 것이 아닌 도메인 중심의 팀에게 데이터 소유권을 부여하게 됩니다. 이러한 분산 접근 방식은 데이터를 가장 잘 이해하고 가장 가까운 팀이 의미 있는 통찰력을 얻기 위해 필요한 맥락을 가져갈 수 있도록 보장하며, 이러한 방식으로 각 도메인은 자율성을 가지는 동시에 조직 및 규칙을 준수하며 빠르게 혁신이 가능합니다.

1.2 데이터의 제품
데이터 메시는 데이터를 제품으로 취급하고, 명확한 API, 문서화 및 표준화된 데이터 품질 측정을 갖춥니다. 이를 통해 데이터 메시는 다양한 도메인 간에 데이터 검색, 액세스 및 활용을 원활하게 지원하여 협업과 혁신을 촉진합니다.

1.3 셀프 서비스 데이터 인프라
데이터 메시는 셀프서비스 데이터 플랫폼 구축을 강조하며, 도메인 팀이 데이터 서비스를 독립적으로 구축, 배포 및 운영할 수 있도록 지원합니다. 이를 통해 도메인 팀은 신속한 반복과 실험을 통해 더 빠르게 통찰력이 전달할 수 있으며, 중앙 집중식 IT 팀에 대한 의존도를 줄이고 혁신을 도모할 수 있습니다.

 

2-2. Data Mesh가 데이터 인프라에 미치는 영향

2.1 데이터 격리 문제 해결
데이터 메시는 데이터 소유권과 거버넌스를 도메인 중심의 팀에 분산하여 데이터 격리 문제를 해결합니다. 이를 통해 데이터가 필요한 접근 권한이 있는 누구든지 데이터 자산에 원활하게 접근할 수 있으며, 팀 간의 협업과 지식 공유가 가능해집니다. 데이터 격리 문제를 해결함으로써 조직의 집단 지성을 활용하고 종합적인 통찰력을 얻을 수 있습니다.

2.2 향상된 데이터 품질과 일관성
데이터 메시에서는 도메인 팀이 데이터 품질을 책임지며, 데이터의 정확성, 신뢰성 및 최신성을 보장합니다. 표준화된 데이터 품질 측정과 문서화를 통해 신뢰할 수 있는 데이터를 활용하여 확신을 두고 의사 결정을 내릴 수 있게 도와줍니다.

2.3 민첩성과 확장성
데이터 메시는 도메인 팀이 독립적으로 데이터 서비스를 구축하고 발전시킬 수 있도록 함으로써 민첩성과 확장성을 제공합니다. 셀프 서비스 기능을 갖춘 데이터 메시를 통해, 각각의 도메인 팀은 비즈니스의 변화에 빠르게 대응하고 새로운 데이터 원천을 통합하며, 시장 동향에 신속하게 대응해 혁신과 성장을 이끌 수 있습니다.

DataMesh Topology Source:https://towardsdatascience.com/data-mesh-topologies-85f4cad14bf2

 

#3.Data Mesh로 비즈니스 혁신하기

그렇다면 왜? 데이터 메시를 사용해야 하며, 이를 사용함으로써 우리에게 이점은 무엇일까요?

3.1 데이터 기반 의사 결정 가속화
데이터 메시를 채택함으로써 조직은 데이터 기반 의사 결정의 문화를 정착시킬 수 있습니다. 도메인 팀에게 데이터 액세스, 분석 및 해석 능력을 부여함으로써 더 빠른 통찰력과 기반 지식에 기반한 의사 결정을 내릴 수 있으며, 경쟁 우위를 확보할 수 있습니다.

3.2 혁신과 협업 장려
데이터 메시는 다 부서 간의 협업과 지식 공유를 촉진합니다. 분산된 데이터 소유권을 통해 팀은 다른 도메인의 데이터를 결합하여 새로운 통찰력을 발견하고 혁신적인 데이터 기반 솔루션을 창출할 수 있습니다.

3.3 미래지향적 데이터 인프라 구축
데이터 메시는 적응 가능하고 미래지향적인 아키텍처를 제공합니다. 조직이 성장하고 데이터 랜드 스케이프 변화에 따라 데이터 메시는 새로운 데이터 원천, 기술 및 비즈니스 요구 사항을 쉽게 수용할 수 있는 확장 가능하고 유연한 아키텍처를 제공합니다.

 

#4. 마치며

데이터 메시는 데이터 중심의 기업혁신을 위해 중앙 집중식 데이터 아키텍처의 제약에서 벗어나기 위한 데이터 인프라의 패러다임 전환을 의미합니다. 분산 접근 방식, 데이터를 제품으로 취급하고, 도메인 팀에 권한을 부여하는 데이터 메시를 채택함으로써 데이터의 진정한 잠재력을 발휘 할 수 있습니다. 데이터 메시를 구현하여 데이터 격리 문제를 해결하고, 데이터 품질을 향상시키며, 데이터 기반 혁신 문화를 조성하여 조직과 기업을 데이터 주도적 성공으로 이끌 수 있습니다.

※ 참고문헌
1) Kuhn TS., “The Structure of Scientific Revolutions.”, 1970, Chicago: U of Chicago P.
2) Zhamak D, H., Luo, J., Hu, Y., Zhu, S., Dong, X., & Ruan, L., “Data Mesh: A Paradigm Shift in Data Platform Architecture.”, 2021, arXiv:2103.06354.

---

Written by Stella| Business Unit Principal Consultant 😀
기술의 혁신과 현실적인 문제 해결에 기여하며, 사회와 기업의 지속가능한 성장을 위해 최선을 다하고 있습니다. 함께 나눔과 상생의 가치를 실천하며, AI와 디지털 전환을 통해 사회에 긍정적인 영향을 미치는데 앞장서겠습니다. 감사합니다.