41. SQLD 1과목 (2)모델링과 성능

성능 데이터 모델링?
데이터베이스의 성능 향상을 목적으로 설계단계의 데이터 모델링 때부터 성능과 관련된 사항이 데이터 모델링에 반영될 수 있도록 하는 것
분석 설계 / 단계에서 데이터 모델에 성능을 고려한 데이터 모델링을 수행할 경우, 성능저하에 따른 재업무 비용을 최소화 할 수 있다
데이터의 증가가 빠를수록 성능저하에 따른 성능개선비용은 기하급수적으로 증가하게 된다


성능 데이터 모델링 수행 절차
데이터 모델링을 할 때 정규화를 정확하게 수행한다.
데이터베이스 용량산정을 수행한다.
데이터베이스에 발생되는 트랜잭션의 유형을 파악한다.
용량과 트랜잭션의 유형에 따라 반정규화를 수행한다.
이력 모델의 조정, PK/FK 조정, 슈퍼타입/서브타입 조정 등을 수행한다.
성능 관점에서 데이터 모델을 검증한다.





정규화란?
데이터 베이스 설계에서 중복 요소를 찾아 제거하고, 데이터가 꼬이지 않게 테이블을 나누는 것

① 제 1 정규화
하나의 속성은 반드시 하나의 값을 가져야 한다.
같은 성격 내용 칼럼이 연속될 때 칼럼 제거, 테이블 생성

② 제 2 정규화
제 1 정규형을 만족
주식별자가 아닌 모든 속성이 주식별자에 완전 함수 종속되어야 한다.
함수의 부분 종속을 분리하는 과정
제2 정규형을 만족하려면 모든 속성은 반드시 기본키 전부에 종속되어야 한다.

 

* 함수 종속성(FD) : 데이터 속성의 의미와 속성 간 상호 관계로부터 발생하는 제약조건의 일종

필드들의 부분집합을 각각 X와 Y라고 할 때, X의 한 값이 Y에 속한 오직 하나의 값에만 사상될 경우에 "Y는 X에 함수 종속"이라고 하며, X→Y라고 표기

 

* 부분 함수적 종속성

③ 제 3 정규화
제2 정규화를 만족하고, 기본키가 아닌 모든 속성이 기본키에 이행적 함수 종속이 없다.

④ BCNF 정규화
릴레이션의 모든 결정자가 후보키인 릴레이션





반정규화(역정규화)란?
정규화된 엔터티, 속성, 관계에 대해 시스템의 성능 향상과 개발과 운영의 단순화를 위해 중복, 통합, 분리 등을 수행하는 데이터 모델링의 기법을 의미
조회 시 디스크 I/O가 많거나 경로가 멀어 조인에 의한 성능 저하를 막기 위해 수행
일반적으로 정규화시 입력 수정 삭제 성능이 향상되며 반정규화시 조인 성능이 향상된다.


반정규화 절차
① 반정규화 대상 조사
- 범위 처리 빈도수 : 자주 사용되는 테이블에 접근하는 프로세스의 수가 많고 항상 일정한 범위만을 조회하는 경우
- 대량의 범위 : 테이블에 대량의 데이터가 있고, 대량의 데이터 범위를 자주 처리하는 경우에 처리범위를 일정하게 줄이지 않으면 성능을 보장할 수 없는 경우
- 통계성 프로세스 : 통계성 프로세스에 의해 통계 정보를 필요로 할 때 별도의 통계테이블을 생성한다.
- 테이블 조인 : 테이블에 지나치게 많은 조인이 걸려 데이터를 조회하는 작업이 기술적으로 어려울 경우

② 다른 방법 유도 검토 (인덱스의 조정, 응용프로그램(애플리케이션) 등)
- VIEW : 사용 지나치게 많은 조인이 걸려 데이터를 조회하는 작업이 기술적으로 어려울 경우 VIEW를 사용한다 (VIEW가 성능향상 X)
- 클러스터링 : 대량의 데이터처리나 부분처리에 의해 성능이 저하되는 경우 클러스터링을 적용하거나 인덱스를 조정 (조회가 대부분일 때 클러스터링 적용)
- 파티셔닝 : 대량의 데이터는 PK의 성격에 따라 부분적인 테이블로 분리할 수 있다. 파티셔닝 키에 의해 물리적 저장공간 분리
- 캐시 응용 : 애플리케이션에서 로직을 구사하는 방법을 변경함으로써 성능을 향상시킬 수 있다.

③ 반정규화 적용
(1) 테이블 반정규화
- 1:1관계를 통합하여 성능향상
- 1:M관계를 통합하여 성능향상
- 슈퍼/서브 관계를 통합하여 성능향상

테이블분할
① 수직분할 : 칼럼단위 테이블을 디스크 I/O를 분산처리하기 위해 테이블을 1:1로 분리하여 성능향상
② 수평분할 : 로우단위로 집중 발생되는 트랜잭션을 분석하여 디스크 I/O 및 데이터 접근의 효율성을 높여 성능을 향상하기 위해 로우단위로 테이블을 쪼갬

테이블 추가
① 중복 : 다른 업무이거나 서버가 다른 경우 동일한 테이블구조를 중복하여 원격조인을 제거하여 성능 향상
통계 : SUM, AVG 등을 미리 수행하여 계산해 둠으로써 조회 시 성능을 향상
② 이력 : 이력테이블 중에서 마스터 테이블에 존재하는 레코드를 중복하여 이력테이블에 존재시켜 성능 향상
③ 부분 : 하나의 테이블의 전체 칼럼 중 자주 이용하는 집중화된 칼럼들이 있을 때 디스크 를 I/O 줄이기 위해 해당 칼럼들을 모아놓은 별도의 반정규화된 테이블을 생성


(2) 칼럼 반정규화
① 중복칼럼 추가 : 조인에 의해 처리할 때 성능저하를 예방하기 위해 중복된 칼럼을 위치시킴
② 파생칼럼 추가 : 트랜잭션이 처리되는 시점에 계산에 의해 발생되는 성능저하를 예방하기 위해 미리 값을 계산하여 칼럼에 보관
③ 이력테이블 칼럼추가 : 대량의 이력데이터를 처리할 때 불특정 날 조회나 최근 값을 조회할 때 나타날 수 있는 성능저하를 예방하기 위해 이력테이블에 기능성 칼럼 최근값 여부(시작/종료일자 등)를추가함
④ 응용시스템 오작동을 위한 칼럼 추가 : 업무적으로는 의미가 없지만 사용자의 실수로 원래 값으로 복구하기 원하는 경우 이전 데이터를 임시적으로 중복하여 보관하는 기법
⑤ PK에 의한 컬럼 추가 : PK 단일 안에서 특정 값을 별도로 조회하는 경우 성능 저하 발생할 수 있어 일반속성으로 추가함

(3) 관계 반정규화

① 중복관계 추가 : 데이터를 처리하기 위한 여러 경로를 거쳐 조인이 가능하지만 이 때 발생할 수 있는 성능저하를 예방하기 위해 추가적인 관계를 맺는 방법

② 로우체이닝 : 로우의 길이가 너무 길어서 데이터 블록 하나에 데이터가 모두 저장되지 않고 두 개 이상의 블록에 걸쳐 저장되어 있는 형태

③ 로우마이그레이션 : 데이터 블록에서 수정이 발생하면 수정된 데이터를 해당 데이터 블록에서 저장하지 못하고 다른 블록의 빈 공간을 찾아 저장하는 방식

* 로우 체이닝과 로우 마이그레이션이 발생하여 많은 블록에 데이터가 저장되면 DB 메모리에서 디스크 I/O가 발생할 때 많은 I/O 가 발생하여 성능저하 발생. 트랜잭션을 분석하여 적절하게 1:1 관계로 분리함으로써 성능향상이 가능하도록 해야 한다

④ PK에 의해 테이블을 분할하는 방법 (파티셔닝)
RANGE PARTITION : 대상 테이블이 날짜 또는 숫자값으로 분리가 가능하고 각 영역별로 트랜잭션이 분리되는 경우 ex) _0401
LIST PARTITION : , 지점 사업소 등 핵심적인 코드값으로 PK가 구성되어 있고 대량의 데이터가 있는 테이블의 경우 ex) _ 고객 서울
HASH PARTITION : HASH 지정된 조건에 따라 해시 알고리즘이 적용되어 테이블이 분리

⑤ 테이블에 대한 수평 수직분할의 절차
데이터 모델링을 완성한다.
DB 용량산정을 한다.
대량 데이터가 처리되는 테이블에 대해 트랜잭션 처리 패턴을 분석한다.
칼럼 단위로 집중화된 처리가 발생하는지, 로우단위로 집중화된 처리가 발생하는지 분석하여 집중화된 단위로 테이블을 분리하는 것을 검토한다. (컬럼 많음 -> 분리 / 데이터 많음 -> 파티셔닝)

 

 

 

 

슈퍼/서브타입 모델

논리적 모델.

부모 속성 중에 더 작은 그룹으로 분리해서 관리할 필요가 있는 속성이 있을 때, 슈퍼타입 또는 서브타입 단위로 모델링

업무를 구성하는 데이터를 공통과 차이점의 특징을 고려하여 효과적 표현.

 

① 슈퍼 타입 : 전체를 하나의 테이블로 관리, 공통 부분

- 장점 : 검색이 쉽다, 무결성에 유리

- 단점 : 서브타입별 속성이 많다면 지나치게 NULL이 많이 발생 (=공간낭비)

 

② 서브 타입 : 공통 속성과 각 서브타입의 속성을 더하여 각각의 서브타입별로 테이블을 설계

- 장점 : 공간의 낭비가 적다, 별개로 처리하는 업무가 많을 때 효율적

- 단점 : UNION 함수를 쓸 때 중복제거 되기 때문에 유일성(Unique)을 잘 관리해야함, INTERSECT 연산 시 양쪽 테이블에 중복값이 안 나오도록 무결성을 유지하는 것이 중요, 비효율적인 조인이나 합집합, 교집합이 발생할 수 있다. (=속도 저하)

 

 

슈퍼/서브타입 데이터 모델의 변환기술

개별로 발생되는 트랜잭션에 대해서는 개별 테이블로 구성 (OneToOne Type)

슈퍼타입+서브타입에 대해 발생되는 트랜잭션에 대해서는 슈퍼+서브타입 테이블로 구성 (Plus Type)

전체를 하나로 묶어 트랜잭션이 발생할 때는 하나의 테이블로 구성 (Single Type, All in One Type)

* 트랜잭션은 항상 전체를 통합하여 분석, 처리하는데 하나로 통합되어 있으면 다른 형식에 비해 성능이 더 우수 (조인 감소)

 

 

인덱스 특성을 고려한 PK/FK DB 성능향상

여러 개의 속성이 하나의 인덱스로 구성되어 있을 때, 앞쪽에 위치한 속성의 값이 비교자로 있어야 효율이 좋다.

앞쪽에 위치한 속성의 값이 가급적 ‘=’ 아니면 최소한 범위 ‘BETWEEN’ ‘<>’ 가 들어와야 효율적이다.

 

 

분산 데이터베이스?
여러 곳으로 분산되어있는 DB를 하나의 가상 시스템으로 사용할 수 있도록 한 DB
논리적으로 동일한 시스템에 속하지만 컴퓨터 , 네트워크를 통해 물리적으로 분산되어 있는 데이터집합

 

 

분산 데이터베이스의 특징

하나의 결과에는 여러 개의 계획이 있을 수 있다.

한 개의 계획에는 내용이 없을 수도 있다.

데이터 조희 성능을 위해 공통된 속성은 하나의 테이블로 묶을 수 있다.

분산데이터베이스는 데이터의 무결성을 완전히 보장하기 불가능하다.

데이터 처리 비용이 증대한다.

분산 DB를 만족하기 위한 6가지 투명성
① 분할 투명성 단편화 : Relation이 여러 단편으로 분할되어 각 사본이 여러 site에 저장
② 위치 투명성 : 사용하려는 데이터의 저장 장소 명시 불필요, 위치정보가 시스템 카탈로그에 유지
③ 지역사상 투명성 : 지역 와 물리적 사이의 Mapping 보장
④ 중복 투명성 : DB stie 객체가 여러 에 중복 되어 있는지 알 필요가 없는 성질
⑤ 장애 투명성 : 구성요소의 장애에 무관한 트랜잭션의 원자성 유지
⑥ 병행 투명성 : 다수 트랜잭션 동시 수행시 결과의 일관성 유지 분산 , TimeStamp, 2 Locking 단계 이용

 

분산 데이터베이스의 장단점

분산 데이터베이스의 장점	분산 데이터베이스의 단점
지역 자치성, 점증적 시스템 용량 확장 신뢰성과 가용성 효용성과 융통성 빠른 응답 속도와 통신 비용 절감 데이터의 가용성과 신뢰성 증가 시스템 규모의 적절한 조절 각 지역 사용자의 요구수용 증대	소프트웨어 개발 비용 증가 잠재적인 오류 발생 가능성 증가 처리 비용 증대 설계, 관리의 복잡성과 비용 증가 불규칙한 응답 속도 통제의 어려움 데이터 무결성에 대한 위협

분산 데이터베이스의 적용 기법
① 테이블 위치 분산 : 설계된 테이블을 본사와 지사단위로 분산 위치별 , DB문서 필요
② 테이블 분할 분산 : 각각의 테이블을 쪼개어 분산

- 수평분할

- 수직분할
③ 테이블 복제 분산 : 동일한 테이블을 다른 지역이나 서버에서 동시에 생성하여 관리하는 유형 (부분복제, 광역복제)
④ 테이블 요약 분산 : 지역 또는 서버 간에 데이터가 비슷하지만 서로 다른 유형으로 존재하는 경우 (분석요약, 통합요약)


분산 DB 설계를 고려해야 하는 경우
성능이 중요한 사이트
공통코드, 기준정보, 마스터 데이터의 성능향상
실시간 동기화가 요구되지 않는 경우, Near Real Time 특징을 가지고 있는 경우
특정 서버에 부하가 집중되어 부하를 분산
백업 사이트 구성하는 경우