본문 바로가기

전체 글

 (134)
[실습] Amazon Managed Workflows for Apache (MWAA) 구성하기 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 Amazon Managed Workflows for Apache (MWAA = Airflow)을 사용하는 방법에 대해서 실습해 보도록 하겠습니다. Airflow를 구성하기 위해서는 3가지 역량이 필요합니다. 1단계 WorkFlow(DAG) 작성을 위한 Python 작성 능력, 2단계 Airflow 아키텍처 구성 능력, 3단계 데이터 정합성 확인 능력입니다. 1단계 및 3단계는 WorkFlow를 잘 알고 있는 직원이 진행하는 것이 적합하므로 가급적 고객이 처리하도록 협의하시기 바랍니다. AWS MWAA 구분 내용 설명 스크립트로 데이터 파이프라인 구성 및 관리하는 도구로서 DAG(Directed Acyclic Graph)로 워크플로우 정의 사용자 인터페이스로 ..
[실습] EBS 볼륨(xfs 파일시스템) 연결 및 확장에 대해서 구성하기 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 EC2를 생성할 때 기본 연결되는 root(/)가 외 추가적으로 EBS를 생성하고, 이를 마운트하는 실습과 EBS 볼륨 확장에 대해서 실습을 해보겠습니다. 아시겠지만 EBS 볼륨 축소는 거의 불가능한 상황입니다.(논리적인 파티션 정도의 볼륨 축소는 가능한 것으로 판단됨) 그러므로 EC2 생성 시 초기 세팅하는 EBS 볼륨에 대해서 신중히 결정하시기 바랍니다. EC2 생성 및 SSH 접속 (상세 설명은 SKIP) EC2 생성 시 위 옵션처럼 여러 개의 EBS를 붙여서 생성할 수 있습니다. Case 1 (8G, 10G, 12G) : 기본 볼륨 연결 # 디바이스 정보 출력 (nvme1n1, nvme2n1는 마운트되지 않은 상태) lsblk NAME MAJ:MIN ..
[Tip] Amazon EC2 또는 Lambda 함수에서 SMTP 포트 25 해제 프로세스 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 AWS에 요청 시 필요한 역방향 DNS 레코드에 대한 이해도가 부족하여 정리한 내용입니다. 구성도 DNS 레코드 테이블에서 mail1, mail2는 이해를 돕기 위해 작성된 부분이며, 실제 역방향 DNS 설정은 다를 수 있습니다. 역방향 DNS 설정 이유 메일 발송이 실패한 대부분 이유는 상대방 메일 서버의 스팸 정책에 의해서 거절된 경우입니다. 역방향 DNS 조회가 불가능하면 현재 많은 RBL 서버 등에서는 스팸으로 보는 경향이 있습니다. 1단계 : 역방향 DNS 설정 AWS Pub IP(ex : 100.0.0.10~11)를 수신 메일 서버 담당자에게 전달하여 역방향 DNS 설정하도록 요청합니다. ※ Record(ex : mail1, mail2) : 상호 ..
[실습] Amazon SES와 postfix 통합하고, mailx 이용하여 메일 발송하기 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 Amazon SES(Simple Email Service)을 사용하는 방법에 대해서 실습해 보도록 하겠습니다. 메일 발송 프로세스는 mailx(CentOS 기준)을 사용하였고, postfix는 SES와 통합하여 Relay 역할을 수행하도록 구성하였습니다. 개발자가 송신 메일 서버를 코딩하는 경우는 SMTP 포트(587 or 25)를 사전에 정의하고, 1, 3단계만 진행한 후, 3단계에서 다운로드한 Credentials csv파일을 개발자에게 전달하기만 하면 됩니다. 만약 개발자가 SMTP 포트를 25를 사용한다고 하면 AWS Support에 Port 25 허용 요청을 별도로 진행해야 하기 때문에 가급적 협의하여 Port 25를 사용하지 않는 방향으로 진행하시..
[실습] DataSync 이용한 서로 다른 AWS 계정간 S3 bucket 동기화(sync) 구성하기 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 지난번 진행한 aws cli를 통한 동기화가 아닌 DataSync 서비스를 이용하여 서로 다른 계정에 위치하는 S3 bucket을 동기화하는 실습을 해보겠습니다. 구성도 제약사항 DataSync 통해 버킷간 전송 시 작업당 2,500만개 이상의 객체는 복사가 불가능하므로 접두사로 구분하여 분할 전송 서로 다른 계정간 버킷 동기화는 aws cli를 이용하는 과정 필요 (모든 과정을 콘솔에서 지원하지 않음) 1단계 : IAM User 및 Role 생성 (A계정에서 진행) IAM > Users > Add users > Name(user01), 권한(AdministratorAccess) 보안을 위해 MFA 설정 필수 (설명 SKIP) aws cli 작업을 위해 Ac..
[실습] EC2에 EFS 볼륨 연결(mount) 구성하기 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 EC2에 공유볼륨 EFS를 연결하는 실습을 해보겠습니다. 구성도 1단계 : DNS 확인 활성화 VPC > Your VPCs > vpcA 선택 > Actions > Edit VPC settings > Enable DNS resolution (Enable) > Save 2단계 : EFS용 보안그룹 생성 VPC > Security groups > Creat security group Security group name Inbound rules efsA-sg Type : NFS Source type : Custom Source : 10.0.1.0/24, 10.0.2.0/24 (연결하고자 하는 EC2 IP or 대역) 3단계 : EFS 생성 EFS > File sys..
[실습] FSx or PlugIn(goofys, s3fs) 이용하여 EC2에 S3 bucket 연결(mount) 구성하기 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 EC2에 EFS가 아닌 S3 버킷을 마운트 연결하는 실습을 해보겠습니다. 구성도 방법 1. FSx로 연결하기 1단계 : FSx 생성 Amazon FSx > File systems > Create file system > File system options (Amazon FSx for Lustre) File system details Network & security, Encryption Data Repository Import/Export (S3 연결 시 필수) File system name (옵션) : myfs Deployment and storage type : Persistent, SSD Throughput per unit of storage(250/5..
[실습] AWS CLI 이용한 서로 다른 AWS 계정간 S3 bucket 동기화(sync) 구성하기 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 서로 다른 계정에 위치하는 S3 bucket을 aws cli 명령어를 통해서 동기화하는 실습을 해보겠습니다. 구성도 1. EC2에서 IAM User의 Access Key를 이용하여 aws cli 접속 2. IAM User가 Source 버킷에 접근하여 Destination 버킷으로 파일 동기화 동기화된 파일 접근 시 "HTTP 403 Forbidden 에러" 발생 시 구성 가정 : A계정(111111111111)에 A버킷(bucketA), B계정(22222222222)에 B버킷(bucketB), 리전(ap-northeast-2) Sync 방향 : Source(bucketA), Destination(bucketB), A계정 IAM user로 동기화 진행 명령어..
[실습] Control Tower 구성하기 - 3편 (보안과 규제 관리) 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 Control Tower 3편으로 Control Tower를 이용하여 보안과 규제를 어떻게 관리하는지 실습을 해보겠습니다. 구성도 Prod 계정에 위치한 EC2 상태 : Public Subnet 위치, 보안그룹에서 0.0.0.0/0 → SSH 허용 Detective Controls 설정 : SSH 퍼블릭 접근 금지 Preventive Controls 설정 : S3 Bucket 암호화 설정 변경 금지 Detective (Config의 Rule 이용) : VPC Flow Log 활성화 감시 Preventive (SCP 이용) : EC2 인스턴스 정지 및 종료 시 MFA 필수 Organizations의 Policies : OU or AWS 계정에 연결해서 적용 (..
[실습] Control Tower 구성하기 - 2편 (IAM Identity Center = SSO, Okta 연동) 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 Control Tower 2편으로 Control Tower에서 관리 중인 AWS 계정 로그인을 위한 SSO에 대해서 실습을 해보겠습니다. 그리고 Okta 연동하여 Okta에서 생성된 그룹과 사용자가 IAM Identitiy Center에 반영되고 Okta를 통해 AWS 계정에 로그인하는 방법도 함께 살펴보겠습니다. 구성도 1단계 : 신규 그룹 및 사용자 생성 (AWS IAM의 User groups, Users와 같은 개념) Management 계정 > IAM Identity Center > Groups > Create group Group name Description (옵션) ProdAdminAccess Prod Account Admin Group Prod..

티스토리툴바