top of page
No Matter Any Data,
No Matter How Big !
- GoldiLocks™ Cluster -
Goldilocks Cluster Overview
현대 사회의 산업 환경이 IoT, Cloud, Big Data, Mobile로 급격히 전환되면서 데이타가 폭증하고 있습니다. 국제적인 시장 조사기관 IDC에 따르면, 2020년까지 데이타는 44ZB(64GB USB 약 1조 개)만큼 폭증할 것이라고 합니다. 또한, 산업이 진화함에 따라 실시간 데이터 처리와 분석에 대한 요구는 급증하고 있습니다.
이러한 문제는 2000년대 중반부터 대두되어, Big Volume, Horizontal scalability를 지원하는 NoSQL 기술이 등장했습니다. 그러나, NoSQL은 데이터 정합성을 보장하지 못하고, SQL이 지원되지 않아 기업 내부에서 중요한 정보를 담아 분석하기에는 한계가 있었습니다. 그렇다면 ZB시대로 표현되는 IT패러다임 변화에 데이터 처리를 어떻게 해야할까요? 기존의 정합성이 보장되는 관계형 데이터베이스의 장점과 폭증하는 데이터도 수평적 확장으로 데이터 처리가 가능한 기술이 바로 NewSQL입니다.
| IT패러다임 변화에 따른 데이터 처리 요구사항 |
-
폭증하는 데이터를 실시간을 처리할 수 있는가?
-
24X365 서비스를 위한 가용성을 제공하는가?
-
표준 SQL지원으로 개발의 편의성, 생산성을 보장 하는가?
-
안정적인 운영환경을 지원하는가?
Old SQL, NoSQL and New SQL
NewSQL은 데이터와 트랜잭션의 폭증에 대응할 수 있도록 쉽게 확장할 수 있는 아키덱처야 합니다. 또한 전통적인 RDBMS처럼 SQL을 지원함과 동시에 트랜잭션이 안전하게 처리되는 것을 보장하는 ACID(원자성(Atomicity), 일관성(Consistency), 고립성(Isolation), 지속성(Durability)을 보장해야 합니다. 궁극적으로는 비즈니스 연속성을 보장할 수 있도록 24x365 의 가용성을 제공해야 합니다.
Goldilocks Cluster는 폭증하는 데이터 처리를 Scale Out Cluster로 처리하는 NewSQL DBMS입니다. SQL과 트랜잭션을 지원하면서도 유연한 Scale Out이 가능합니다. 기존의 관계형 데이터베이스는 SQL, ACID, 가용성은 제공했지만, HW 확장도 쉽지 않았으며, 확장을 했다고 하더라도 이에 비례한 선형적인 성능확장은 불가능했습니다.
Goldilocks Cluster는 폭증하는 데이터 처리를 Scale Out Cluster로 처리하는 NewSQL DBMS입니다. SQL과 Transaction을 지원하면서도 유연한 Scale Out이 가능합니다. HW의 추가로 선형적인 성능이 확장이 가능하여 실시간 고속 트랜잭션 처리 및 분석처리에 최적화 되었으며, NoSQL과는 달리 SQL과 ACID를 지원합니다.
Goldilocks Cluster는 변화하는 IT서비스 환경에 대응할 수 있는 유일한 New SQL입니다.
Goldilocks Cluster Features
Architecture
-In-memory based Scale Out Cluster -
Golidlocks™ Cluster Features
Goldilocks Cluster는 특화된 Sharding Technology로 비즈니스 업무서비스의 중단없이 DB서버의 용량과 성능을 확장할 수 있습니다. 또한 서버 추가에 따라 Total throughput이 향상이 가능하여 증가하는 데이터와 트랜잭션 처리에 최적화되어 있습니다.
-
서비스 중단없이 DB서버 용량/성능 확장
-
Add Group/member, Delete Group/ member
-
Auto/Manual Data rebalancing
-
수평분할 방식으로 데이터 분산 저장
-
Sharding DB간의 데이터의 Join, Global Transaction 처리 지원
-
데이터 재분배 기능으로 중단없이 Scale up & out 가능
-
클러스터 노드 증가에 따라 선형적인 성능 향상
-
All master, All Active Node's Architecture
-
I/O Overhead 최적화, 비동기 처리
Inherit RDBMS advantages
- ACID, Global Transaction, Legacy SQL -
Goldilocks Cluster는 NoSQL처럼 Sharding Technology로 선형 확장이 가능하면서도, 전통적인 Relational DBMS의 장점을 그대로 유지하여, 다양한 애플리케이션에 적용하기가 용이합니다. 따라서, 지속적으로 데이터와 트랜잭션이 증가하는 업무에서도 기존의 RDBMS 와 동일한 형태로 데이터 처리가 가능합니다.
-
ACID in Shared nothing Cluster
- 2 phase commit protocol
- Global statement level consistency
-
ACID Compliant with MVCC
-
Networked DML
-
SQL Shipping을 통하여 병렬처리 지원
-
멀티노드 간에 I/O Overhead
-
멀티노드 간에 Data join 처리 가능Scale up & out 가능
-
데이터 처리 중인 노드의 장애 시 , 해당 세션들을 동일 그룹 내 다른 노드로 이관
-
Node Failure
- No Single point Failure
- Connection Fail-over
- DML Fail-over
Goldilocks Cluster Performance
Goldilocks Cluster는 노드 증가에 따라 선형적으로 성능이 향상됩니다. All Master, All Active Node's Architecture로 노드 수가 증가함에 따라 성능이 향상됩니다. 또한, I/O Overhead가 최적화되어서 입출력 과정에 발생하는 성능 손실이 최소화되어 거의 선형적인 성능 향상이 가능합니다.
HW SPEC: Intel Xeon E5 2697v3 2.6GHz 14C * 2EA / 128G mem
DATA : 3,600,000 records, 200Byte/record, Clients : 32, 64, 96 ea
Partition: Range Partition/Sharding
Ref_Cluster_경찰청
Goldilocks Cluster References
경찰청 안전DREAM (사회적약자 지원시스템)
OVERVIEW
사회적 약자(아동,여성,장애인)를 위한 경찰지원시스템으로 실시간 지문인식 및 대용량 데이터 검색 등을 위하여 Goldilocks Cluster로 구현
경찰청은 해마다 증가하는 사회적 약자대상 범죄에 대한 피해신고접수와 신속한 구조활동을 위해 실종아동찾기센터를 [안전드림]이라는 서비스로 통합함. 전국민 지문검색 시스템과 연계하여 실종자를 가장 빠르게 찾고자 노력함
CUSTOMER
PAINPOINT
AS-IS
-
약 3억건/Day 데이터 처리 요구: '전 국민 지문검색시스템'과 연계하여 지문이미지 데이터를 약 3억건/일의 매칭처리가 필요
-
빠른응답속도 요구: 각종 사건/사고는 가능한 빠른 시간 내에 확인되어야, 사고율이 낮아짐. 이에 따른 고성능 요구
-
데이타 분산 처리환경: 대량의 데이터를 효과적으로 처리하기 위하여 최적의 데이터 분산 환경이 요구
Goldilocks Cluster 도입
-
최적의 데이터 분산 환경: Goldilocks™ Cluster는 데이터 분산 환경을 제고하여 빠른 응답속도와 균일한 성능 보장
-
데이터 불일치 회피 가능: Goldilocks™ Cluster는 분산환경에서 각 노드들이 Active하게 운영되면서도 데이터 불일치 문제는 회피함
-
대량데이터 처리: 약 3억건의 매칭 트랜잭션도 충분히 처리 가능한 성능을 제공
SOLUTION
RESULT
-
약 3억건/Day 데이터 처리: 대량의 데이터 트랜잭션을 균일한 성능으로 제공하며, Peak Time에도 안정성 제공
-
업무지연감소: 효율적인 데이터 압축을 통한 메모리 절감, 이에 따른 빠른 검색 및 응답으로 업무지연 Cost가 감소
-
타시스템 연계: 기 도입된 SW와의 이식성, 타시스템과의 연계가 원활
bottom of page