Storage (8) 썸네일형 리스트형 [실습] EKS - Persistent Volume을 pod에 연결하기 (EBS, EFS, FSX for Lustre) 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 미리 구성된 EKS 클러스터에 다양한 Storage를 Pod에 연결하는 실습을 해보겠습니다. 비용적으로 가장 저렴한 것은 EBS이지만, EBS에 연결되는 Pod는 동일한 Worker Node에서 배포되어야 하는 제약 조건이 있습니다. 이 부분에 대한 방안은 추후에 다시 살펴보도록 하겠습니다. 개인적으로는 EFS나 FSx도 EKS 콘솔에서 CSI Driver Controller를 Add-on하는 기능이 있으면 좋겠습니다. ※ 동적 볼륨 프로비저닝 : CSI 드라이버 컨트롤러 설치 > Storage Class 배포 > PVC 배포 > Pod 배포 정적 볼륨 프로비저닝 : CSI 드라이버 컨트롤러 설치 > PV 배포 > PVC 배포 > Pod 배포 사전 작업 Cl.. [실습] EBS 볼륨(xfs 파일시스템) 연결 및 확장에 대해서 구성하기 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 EC2를 생성할 때 기본 연결되는 root(/)가 외 추가적으로 EBS를 생성하고, 이를 마운트하는 실습과 EBS 볼륨 확장에 대해서 실습을 해보겠습니다. 아시겠지만 EBS 볼륨 축소는 거의 불가능한 상황입니다.(논리적인 파티션 정도의 볼륨 축소는 가능한 것으로 판단됨) 그러므로 EC2 생성 시 초기 세팅하는 EBS 볼륨에 대해서 신중히 결정하시기 바랍니다. EC2 생성 및 SSH 접속 (상세 설명은 SKIP) EC2 생성 시 위 옵션처럼 여러 개의 EBS를 붙여서 생성할 수 있습니다. Case 1 (8G, 10G, 12G) : 기본 볼륨 연결 # 디바이스 정보 출력 (nvme1n1, nvme2n1는 마운트되지 않은 상태) lsblk NAME MAJ:MIN .. [실습] DataSync 이용한 서로 다른 AWS 계정간 S3 bucket 동기화(sync) 구성하기 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 지난번 진행한 aws cli를 통한 동기화가 아닌 DataSync 서비스를 이용하여 서로 다른 계정에 위치하는 S3 bucket을 동기화하는 실습을 해보겠습니다. 구성도 제약사항 DataSync 통해 버킷간 전송 시 작업당 2,500만개 이상의 객체는 복사가 불가능하므로 접두사로 구분하여 분할 전송 서로 다른 계정간 버킷 동기화는 aws cli를 이용하는 과정 필요 (모든 과정을 콘솔에서 지원하지 않음) 1단계 : IAM User 및 Role 생성 (A계정에서 진행) IAM > Users > Add users > Name(user01), 권한(AdministratorAccess) 보안을 위해 MFA 설정 필수 (설명 SKIP) aws cli 작업을 위해 Ac.. [실습] EC2에 EFS 볼륨 연결(mount) 구성하기 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 EC2에 공유볼륨 EFS를 연결하는 실습을 해보겠습니다. 구성도 1단계 : DNS 확인 활성화 VPC > Your VPCs > vpcA 선택 > Actions > Edit VPC settings > Enable DNS resolution (Enable) > Save 2단계 : EFS용 보안그룹 생성 VPC > Security groups > Creat security group Security group name Inbound rules efsA-sg Type : NFS Source type : Custom Source : 10.0.1.0/24, 10.0.2.0/24 (연결하고자 하는 EC2 IP or 대역) 3단계 : EFS 생성 EFS > File sys.. [실습] FSx or PlugIn(goofys, s3fs) 이용하여 EC2에 S3 bucket 연결(mount) 구성하기 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 EC2에 EFS가 아닌 S3 버킷을 마운트 연결하는 실습을 해보겠습니다. 구성도 방법 1. FSx로 연결하기 1단계 : FSx 생성 Amazon FSx > File systems > Create file system > File system options (Amazon FSx for Lustre) File system details Network & security, Encryption Data Repository Import/Export (S3 연결 시 필수) File system name (옵션) : myfs Deployment and storage type : Persistent, SSD Throughput per unit of storage(250/5.. [실습] AWS CLI 이용한 서로 다른 AWS 계정간 S3 bucket 동기화(sync) 구성하기 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 서로 다른 계정에 위치하는 S3 bucket을 aws cli 명령어를 통해서 동기화하는 실습을 해보겠습니다. 구성도 1. EC2에서 IAM User의 Access Key를 이용하여 aws cli 접속 2. IAM User가 Source 버킷에 접근하여 Destination 버킷으로 파일 동기화 동기화된 파일 접근 시 "HTTP 403 Forbidden 에러" 발생 시 구성 가정 : A계정(111111111111)에 A버킷(bucketA), B계정(22222222222)에 B버킷(bucketB), 리전(ap-northeast-2) Sync 방향 : Source(bucketA), Destination(bucketB), A계정 IAM user로 동기화 진행 명령어.. [Tip] 특정 고객만 aws-sdk-js를 사용하여 S3에 업로드할 때 오류가 발생 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 동일한 aws-sdk-js를 이용하여 동영상을 업로드 하는데, 특정 고객만 오류가 발생하는 상황입니다. 이런 경우 AWS외에는 분석을 진행할 수 없기 때문에 관련 내용을 정리하여 AWS로 전달하여 분석 의뢰를 해야합니다. 현재 상황 웹 브라우저를 통해 동영상 파일을 업로드하고 있으며 aws-sdk-js를 사용하여 S3에 업로드하고 하는데, 최근 특정 고객 IP(122.69.11.19)만 서비스 대상 서버(www.report.com and map.martmedia.com)에 대해서 오류가 지속적으로 기록되었습니다. [aws-sdk-js를 통해 업로드 시 기록된 로그] 2022-06-02 10:15:09 err_msg: {"message":"Network Fai.. [Tip] AWS FSx 연결 주기적으로 풀린 후, 연결 안되는 Error 해결하기 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 클라우드로 마이그레이션한 Windows 서버 2대 중 1대가 아무 이유 없이 한달에 한번 FSx가 풀리는 증상에 발생하였습니다. 장애가 난 인스턴스는 온프레미스에서 사용하는 서버를 이미지를 떠서 AWS 클라우드로 옮긴 상황이었습니다. FSx 장애 원인 Windows 서버 마이그레이션 과정에서 SID 중복 발생 - AD Domain에 조인/접속된 Windows 서버를 AMI로 생성한 경우 SID가 그대로 등록 - 이렇게 SID가 등록된 AMI로 인스턴스를 생성하게 되면 SID가 중복 발생 1달에 1회 정도 서버가 AD서버에게 인증하는 과정에서 서버 1번과 2번 중, 후순위로 인증하는 서버가 인증 실패하면서 FSx 해제 발생 조치 방법 Windows 서버 2대의.. 이전 1 다음
