[소개서] Migration Process & AWS migration Tools 소개하기

안녕하세요 서후아빠입니다. ^_^

이번 세션은 On-premise에서 AWS로 대규모(약 200TB) 마이그레이션을 계획하는 고객과의 첫 미팅을 준비하면서 작성한 자료를 공유하려고 합니다. 고객과의 첫 대면에서 무엇을 전달하고, 어떤 내용을 확인할지에 대해서도 준비가 필요합니다.

---

Mirgration Porcess

Step	내용
Project (실험 단계)	도입을 위한 idea 도출, PoC 수행, 1~2개 Application Migration test
Foundation (준비 단계)	계정 관리, 네트워크 구성, 보안 및 거버넌스
Migration (실행 단계)	Step by step, Application migration (to AWS), 다양한 Migration 방법 (6Rs)
Reinvention (개선 단계)	Application 최적화, Re-architecting, Re-engineering

고객의 현재 단계를 파악하여 필요한 부분이 무엇이고, 준비할 부분을 지원할 수 있도록 대비합니다.

6Rs (R로 시작하는 6개의 단어를 지칭)

6Rs	내용
Re-host (Lift and Shift)	On-premise를 변경없이 Cloud로 옮기는 방식
Re-platform	On-premise의 플랫폼을 변경하여 Cloud로 옮기는 방식 (ex : VM -> Container)
Re-factor / Re-architect	On-premise의 모든 것(아키텍처)을 변경하여 Cloud로 옮기는 방식
Re-purchase	SaaS로 전환 (ex : 자체 운영 Mail 서비스를 SaaS형태의 Mail 서비스로 전환)
Re-tire	폐기
Re-tain	유지

Re-tire과 Re-tain을 제외하고, 비용을 고려하지 않은 상황에서 쉬운 방식을 나열하면 "Re-purchase > Re-host > Re-platform > Re-factor" 입니다. 당연히 가장 시간이 많이 소요되고, 실패 확률이 높은 Migration 방식은 Re-factor / Re-architect입니다. 고객이 원하는 방식을 확인하고, 고객 내부 사정(ex : 개발인원 수, 개발 계획 등)을 파악하여 적절한 방식을 채택합니다.

Challenges

Step	내용
Discovery (발견)	불완전하고, 최신 데이터가 반영되지 않은 Inventory 정보의 분산과 가시적인 측면에서 정리되지 않은 포트폴리오
Plan (계획)	기술 및 인력 등 다양한 도전 사항, Migration 진행 시기 결정의 어려움
Migrate (마이그레이션)	Application의 경우 Migration 상황에 대한 가시성 확보가 어렵기 때문에 Migration Process 추적에 대한 과도한 시간 소모, 혼란야기로 인하여 지연 발생

단계별 이러한 Challenges 해결 방안은 Migration Tools 활용하는 것입니다.  - Tools type : AWS Migration Service Tools, Partners Tools  - Migration Tools 활용한 작업 시간 절감 : Application migration, Database migration, Data transfer, Validation & Operation

Tools (단계별 활용 가능한 도구)

AWS native services를 기준으로 고객에게 안내할 계획이므로 AWS Application Discovery Service에 대해서 소개합니다. 만약 고객이 Partner tools를 선정하고자 한다면 지원 가능한 부분과 불가능한 부분을 명확히 할 필요가 있습니다.

AWS Application Discovery Service

Service name	설명
AWS Migration Hub	애플리케이션 마이그레이션의 진행 상황을 추적할 수 있는 단일 위치
AWS Application Migration Service (MGN)	마이그레이션을 간소화 및 가속화하는 동시에 비용 절감, Agent 방식
AWS Database Migration Service (DMS)	AWS Database Migration Service는 데이터베이스를 AWS로 빠르고 안전하게 마이그레이션할 수 있도록 지원
AWS Service Catalog	AWS 사용이 승인된 IT 서비스 카탈로그의 생성 및 관리
AWS Snowball	물리적 Storage device를 사용하여 Amazon S3와 On-premise data storage 간 대량 data 전송
AWS Migration Acceleration Program (MAP)	수많은 엔터프라이즈 고객을 클라우드로 마이그레이션한 AWS의 경험에 기반을 둔 포괄적이고 검증된 클라우드 마이그레이션 프로그램

상기 AWS 서비스가 100% 무결하다고 할 수는 없습니다. 예를 들어 MGN이나 DMS를 테스트해 보았더니 Error가 발생하기도 합니다. 이 부분은 AWS에서도 인지하고 있는 부분이며 지속적으로 개선 중입니다. 다만, 100대를 Migration을 해야 하는 상황에서 일부라도 성공을 했다면 수동으로 Migration 하는 것에 비해 절약되는 항목이 분명히 있을 것입니다. 때문에 비관적으로 접근하기 보다는 AWS Migration Tool로 가능한 부분과 불가능한 부분을 나누고 불가능한 부분은 다른 방법으로 진행하는 것이 효율적이라고 생각합니다.

AWS Migration Hub

구분	내용
개요	기존 IT 자산을 수집하여 Inventory Application 구성 요소 및 Infra 종속성 분석 Resource를 Application으로 그룹화하는 데 필요한 도구에 대한 Access 제공 Migration Tools 제공 (MGN, DMS 등)
비용	요금 안내 URL : https://aws.amazon.com/ko/migration-hub/pricing/?nc=sn&loc=3  검색 데이터를 수집하고 저장하거나 AWS에 대한 마이그레이션을 계획 및 추적 : 무료 추가 요금   - On-premise data를 저장하기 위해 프로비저닝된 AWS resources에 대해서만 비용 지불   - Migration Tools에 대한 요금   - Migration 과정에서 AWS에서 사용하는 Resource에 대한 요금

여러 가지 기능이 있지만 가장 많이 사용하는 것은 Migration tools(MGN, DMS) 기능입니다.

AWS Application Migration Service (MGN)

구분	내용
개요	물리적 Infra, VMware vSphere, MS Hyper-V, 기타 Cloud에서 AWS로 Application migration Agent 방식으로 연속 복제 (OS, DISK, Application) 지원되는 OS 및 Version 안내 URL : https://docs.aws.amazon.com/mgn/latest/ug/Supported-Operating-Systems.htm
비용	요금 안내 URL : https://aws.amazon.com/ko/application-migration-service/pricing/ 서버 복제 처음 90일 동안(2,160시간) 비용은 무료, 무료 기간 이후 유료 전환   - 시간 : 서버당 $ 0.042   - 월별 : 서버당 최대 $ 30 추가 요금   - Source Server에서 복제를 수행 중인 동안에는 프로비저닝한 AWS Infra

AWS Database Migration Service (DMS)

구분	내용
개요	연속 데이터 복제(CDC) 지원   - MySQL 경우 : Binary Log Enable 전환 진행 지원되는 DBMS 및 Version 안내 URL : https://docs.aws.amazon.com/ko_kr/dms/latest/userguide/CHAP_Introduction.Sources.html
비용 (예시)	요금 안내 URL : https://aws.amazon.com/ko/dms/pricing/ 데이터베이스 마이그레이션 용량에 대해서만 시간 단위로 요금 지불  c4.xlarge (4 vCPU, MEM 7.5 GiB), Multiple AZ, SSD 100 GB   - Database Migration (monthly): $ 489.10     // Single 일 경우 비용 50% down   - Storage pricing (monthly): $ 26.20              // Single 일 경우 비용 50% down   - Total Monthly cost: $ 515.30

DB라는 것이 버전 혹은 컬럼 등 작은 부분이라도 맞지 않으면 Migration이 되지 않거나 정상적으로 동작하지 않습니다.  때문에 버전이 다른경우나 DBMS 종류가 다른 경우 여러 이슈들이 도출되고 있습니다.  AWS 내부에서도 이 부분에 대해서 지속적으로 개선 중입니다.  CDC는 https://aws.amazon.com/ko/blogs/database/aws-dms-now-supports-native-cdc-support/ 참고 바랍니다.

AWS Service Catalog

구분	내용
개요	조직의 거버넌스가 적용된 AWS resource를 AWS 사용자인 사용자 부서가 빠르고 쉽게 시작할 수 있는 서비스  Service Catalog는 CloudFormation 템플릿을 활용하여 일관된 배포
비용	요금 안내 URL : https://aws.amazon.com/ko/servicecatalog/pricing/ AWS Service Catalog, AWS Service Catalog AppRegistry   - 계정, 리전, 월별로 1,000개 API 호출 : 무료   - 1,000건 초과 : 1개당 $ 0.0007

Catalog 서비스는 cloud formation이라는 높은 진입 장벽이 존재합니다. 고객사에 cloud formation 전문 인력이 없는 경우 사용이 힘든 점을 양지 바랍니다.

AWS Snowball

구분	내용
개요	대규모 데이터 전송을 안정하게 전송을 위해 설계된 물리적인 storage appliance  높은 네트워크 비용 및 시간, 보안 등 문제 해결  테라바이트부터 수십 페타바이트까지 용량 전송 가능  소요 기간 예시 안내   - 40TB : 대략 1주    - 80TB : 대략 1.5주 작업 단계   - 1차 : Snowball로 대규모 데이터 이동   - 2차 : S3의 data sync 통한 동기화 Snowball device 사용 방법 참고 URL : https://sh-t.tistory.com/91 Snowball device 기능 비교 참고 URL : https://aws.amazon.com/ko/snow/  소요기간 참고 URL : https://aws.amazon.com/ko/getting-started/hands-on/migrate-petabyte-scale-data/faq/
비용 (예시)	요금 안내 URL : https://aws.amazon.com/ko/snowball/pricing/ Snowball Edge Storage Optimized Data Transfer Only, 1개 Snowball device를 20일 사용, 192TB 전송   - On-Demand : $ 800.00   - Export Jobs : $ 9,830.40   - Total Upfront cost: $ 10,630.40

AWS Migration Acceleration Program (MAP)

구분	내용
개요	고객의 시스템을 신속하게 AWS 클라우드 리소스로 전환하는 것을 돕는 프로그램이며, 기존 운영 환경 에서 AWS로 전환된 시스템에 대해서 비용 혜택을 제공   - Assess 지원 : 고객사 현황 분석, 마이그레이션 준비, 평가 도출   - Mobilize 지원 : 고객사 현황 점검, 이전 시 TCO 분석, 적합한 AWS 자원 제시   - Migrate & Modernize 지원 : 마이그레이션 계획 및 수행
혜택	기존 운영 환경에서 AWS로 전환된 시스템에 대해서 비용 혜택을 제공  MAP 계약 : 최대 3년  Credit 지급   - 적용 대상 : MAP 계약에서 지정한 기간 (Migration 시작일~종료일)에 Tagging된 Resources   - 적용 : 분기별 계산되어 익월(M+2) 분기에 청구서(Invoice)에 반영  (1분기 5월, 2분기 8월, 3분기 11월, 4분기 2월)   - 지급 기준 : MAP 사용량이 US $50K(약 6천만원) 초과 시 지급   - 지급 한도 : AWS에서 대상으로 인정한 Resources 사용량의 최대 25% 이내

Architecture

구성도 예시

예시 구성도를 보고 고객과 확인할 부분은 아래와 같습니다. (구성, 상황에 따라 확인할 부분은 달라질 수 있습니다.)

  - AWS 계정 통합 관리

  - 서비스 : 흐름도, 개수, 중요 서비스 분류

  - 구성도 : AS-IS 구성도

  - VPC : 1개 or 영역별(서비스, 관리, 보안 등) 분리 구성

  - 가용영역 : 사용 개수, 위치

  - Route 53 : 호스팅 서비스 사용 여부, DR 구성 통한 Failover 여부 

  - CloudFront : CDN 사용여부, 서울 리전 외 서비스 리전 목록

  - S3 : 저장파일 형식(동영상, 이미지 등), 정적 WEB 사용 여부

  - NAT Gateway : Outbound 서비스 여부, Outbound 서비스 중요도 

  - EC2 : On-premise 서버 사양 및 사용율 ,Auto Scaling 사용 여부, Application에서 Auto Scaling 사용 시 문제여부

  - ELB : On-premise L4스위치 용량, 개수, 사용율

  - RDS : On-premise 서버 사양 및 사용율, DB 종류 및 버전, 구성(Read Replica, A-S)

  - On-premise 연결 : Site-to-Site VPN(S2S), Direct Connect(DX), Transit Gateway 구성여부 및 방안

  - 보안 : WAF(웹방화벽), ACM(인증서 관리), KMS(암복호화 key 관리), NACL/SG/Network Firewall(방화벽) 등 구성여부

  - 운영 : Backup(백업/복원 대상 및 스케줄링), CloudTrail(사용자 감사여부), CloudWatch(로깅 대상 및 범위, 대시보드, 알람 대상 및 Metric값 등), SNS(Email 알림 사용여부 및 대상) 등 사용여부

  - 기타 Migration 및 Architecture 구성에 필요한 항목

이 부분은 고객과의 깊이 있는 대화를 통해서 정확한 정보를 수집하고, 지속적인 소통을 통해서 적절한 아키텍처를 선정하는 것이 중요합니다.