정보처리기사 3과목 데이터베이스 구축 - 5장 데이터 전환 요점 정리
1. 데이터 전환
- 운영 중인 기존 정보 시스템에 축적되어 있는 데이터를 추출하여 새로 개발할 정보 시스템에서 운영 가능하도록
변환한 후 적재하는 일련의 과정
- ETL(Extraction(추출), Transformation(변환), Load(적재))
- 데이터 이행 or 데이터 이관 이라고도 함
● 데이터 전환 계획서
- 데이터 전환이 필요한 대상을 분석하여 데이터 전환 작업에 필요한 모든 계획을 기록하는 문서
- 개요, 대상 및 범위, 환경 구성, 조직 및 역할, 일정, 방안, 데이터 정비 방안, 비상 계획, 데이터 복구 대책
2. 데이터 전환 계획서 작성
● 데이터 전환 개요 : 데이터 전환의 목표(간단 명료), 주요 성공 요인, 전제조건 및 제약조건(정확히 기술)
● 데이터 전환 대상 및 범위 : 단위 업무별로 데이터 전환 대상 정보, 해당 업무 사용되는 Table의 수, 데이터 크기
● 데이터 전환 환경 구성 : 원천 시스템과 목적 시스템의 구성도, 전환 단계별 DISK 사용량을 기술
- 원천 시스템 : As-Is 서버, 스토리지, 넽웤
- 목적 시스템 : To-Be 서버, 스토리지, 넽웤
- 전환 단계별 DISK 용량 산정 : 전환 검증, 시험 단계, 본 전환 단계별 요구되는 File 공간과 DB 공간을 산정
● 데이터 전환 조직 및 역할 작성 : 데이터 전환을 수행하고 결과를 검증할 작업자와 작업자별 역할을 최대한 상세히 기술
● 데이터 전환 일정 작성 : 데이터 전환 및 검증 작업별로 상세하게 일정을 수립하여 작성
- 데이터 전환 관계자들 사이의 보고나 의사소통 등 효과적인 일정관리를 위해 도식화된 일정도 작성하여 포함
3. 데이터 전환 방안
● 데이터 전환 규칙 : 데이터 전환 과정에서 공통적으로 적용해야 할 규칙들을 기술
● 데이터 전환 절차 : 전환 준비, 전환 설계 및 개발, 전환 테스트, 실 데이터 전환, 최종 전환 및 검증의 데이터 전환 절차를 체계적이고 상세하게 기술
- 수립 시 작업의 이해를 위해 데이터 흐름도 작성
● 데이터 전환 방법 : 단위 업무별로 기술하되 업무별로 요구되는 전제 조건도 함께 기술
● 데이터 전환 설계 : 업무별 전환 대상 및 전환 제외 대상 기술, 원천 시스템과 목적 시스템 테이블의 매핑 정의서 작성
● 전환 프로그램 개발 및 테스트 계획 : 전환 프로그램 개발 계획과 전환 프로그램 테스트 계획을 수립한 후 관련 내용 기술
- 전환 프로그램 : 목록별 프로그램 입력 정보, 중간 생성 정보, 출력 정보, 프로그램 위치, 담당자 등을 포함하여 작성
원천 -> 목적 시스템으로 전환하기 위해 세부 데이터 항목을 전환 프로그램 목록별로 작성
- 테스트 : 체크리스트 기반으로 시행, 결과를 전환 시나리오에 반영하도록 계획
● 데이터 전환 계획 : 시간 단축 위해 선 전환, 본 전환, 후 전환으로 분리
- 시간 단축 위해 대량의 데이터 테이블은 사전에 전환
- 본 전환에 대한 세부 절차는 시간대별로 상세히 작성
- 본 전환 이후에 전환 수행 가능 대상 정의한 다음, 후 전환 계획 수립
● 데이터 검증 방안 : 데이터 전환 이후 전환 데이터의 정합성을 검증하고 전환 과정에서 발생할 수 있는 문제에 대응할 수 있도록 단계별 데이터 전환 검증 방안을 수립한 후 관련 내용 기술
4. 데이터 검증
: 원천 시스템의 데이터를 목적 시스템의 데이터로 전환하는 과정이 정상적으로 수행되었는지를 확인하는 과정
● 검증 방법에 따른 분류 : 로그 검증, 기본 항목 검증, 응용 프로그램 검증, 응용 데이터 검증, 값 검증
● 검증 단계에 따른 분류(검증 방법) : 추출(로그), 전환(로그), DB 적재(로그), DB 적재 후(기본 항목 검증),
전환 완료 후(응용 프로그램 검증, 응용 데이터 검증)
5. 오류 데이터 측정 및 정제
: 고품질의 데이터를 운영 및 관리하기 위해 수행
- 데이터 품질 분석 -> 오류 데이터 측정 -> 오류 데이터 정제
● 데이터 품질 분석 : 오류 데이터 찾기 위해 원천 및 목적 시스템 데이터의 정합성 여부를 확인하는 작업
● 오류 데이터 측정 : 데이터 품질 분석을 기반으로 정상 데이터와 오류 데이터의 수를 측정하여 오류 관리 목록을 작성하는 것
- 정상 데이터 : 전환 대상 범위의 데이터를 업무 영역별, 테이블별로 구분하여 수량을 측정 및 기재
- 오류 데이터 : 업무별로 오류 위치 및 유형을 확인하여 수량을 측정 및 기재
● 오류 데이터 정제 : 오류 관리 목록의 각 항목을 분석하여 원천 데이터를 정제하거나 전환 프로그램을 수정하는 것
- 오류 데이터 분석 : 분석하여 상태, 심각도, 해결 방안을 확인
- 오류 데이터 정제 : 확인된 오류 데이터 분석을 통해 원천 데이터를 정제하거나 전환 프로그램을 수정
6. 데이터 정제요청서 및 정제보고서
- 원천 데이터의 정제와 전환 프로그램의 수정을 위해 요청사항 및 조치사항 등 데이터 정제와 관련된 전반적인 내용을 문서화
- 오류 관리 목록을 기반으로 데이터 정제 요건 목록 작성하고 이 목록의 항목별로 데이터 정제요청서 작성
● 데이터 정제 요건 목록 작성
- 오류 관리 목록의 각 항목에 대해 정제 유형을 분류하고 현재의 정제 상태를 정의
- 정제 유형 : 완전성, 유효성, 일치성, 유일성
- 정제 방법 : 원천(원천 데이터의 정제가 필요한 경우), 정제(전환 프로그램의 수정 필요한 경우), 모두
- 상태 : 요건 제기, 1~3차 검토/조치/확인 등 진행 상태를 기재
● 데이터 정제요청서 작성
: 데이터 전환 시 발생한 오류의 수정을 위한 정제 요청의 전반적인 내용들을 작성하며
데이터 정제 검토 시 신속한 의사 결정을 위해 오류사항의 해결 방안도 포함
● 데이터 정제 보고서의 개요 및 작성
- 데이터 정제요청서를 통해 정제된 원천 데이터가 정상적으로 정제되었는지 확인한 결과를 문서로 작성한 것
- 정제 요청 데이터와 정제된 데이터 항목을 육안으로 직접 비교하여 확인
- 정제된 데이터를 데이터 전환 프로그램을 이용하여 전환한 후 오류의 발생 여부를 확인하고 목적 DB에서 전환된 데이터 확인
- 데이터 정제보고서를 정제 ID 별로 작성
- 데이터 전환 결과 외에도 오류 데이터의 원인, 실제 데이터 정제 건수, 향후 대응 방안 등을 포함