본문 바로가기

View All

 (136)
[업무지식] 사물인터넷(IoT, Internet of Things) 개념 이해하기 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 IoT에 대해서 업무적으로 필요한 최소한의 개념에 대해서 간단히 정리해 보았습니다. IoT를 살펴보면 빅데이터, 머신러닝, 인공지능으로 이어지는 기술적인 연결성이 보입니다. 이는 미래에 어떤 유형의 클라우드 엔지니어가 주목받을지도 보여지는데요. 늦은 나이지만 조금씩 이 분야로 발을 들여보는 것이 좋지 않을까 생각하게 됩니다. IoT 개요 스마트한 사물이 인터넷을 통해 연결되어 서로 다른 사물과 데이터를 공유하는 네트워크 저비용 & 저전력 센서가 탑재된 다양한 IoT에서 수집한 빅데이터를 기반으로 머신러닝(ML) 분석이 이루어지고 이를 통해 인공지능(AI) 구현 IoT 과제 구분 내용 보안 표준 보안 지침 부재로 자체 지침과 프로토콜로 설정 낮은 성능으로 보안..
[업무지식] 인공지능(AI) 개념 이해하기 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 AI에 대해서 업무적으로 필요한 최소한의 개념에 대해서 간단히 정리해 보았습니다. AI(인공지능)를 이야기하면 항상 ML(머신러닝)이 따라나오고, ML은 또 DL(딥러닝)이라는 녀석이 붙어 다닙니다. 아래 내용을 살펴보면 왜 그런지 이해가 되실겁니다. AI 개요 인공지능은 사람처럼 학습하고 추론할 수 있는 지능을 가진 시스템을 만드는 기술 유형은 구글 검색해보니 사람마다 정의가 조금씩 다릅니다. 아래 내용은 구글을 참조하였습니다. 구분 내용 반응형 사전 프로그래밍된 내용에 따라 반응하는 것으로 메모리 없으므로 학습 불가능 제한된 메모리 대부분 최신 AI 해당, 학습을 통한 개선 (ML, DL 등) 마음 이론 감정 인지나 상황에 맞게 반응하는 등 인간의 마음 ..
[실습] Amazon Managed Workflows for Apache (MWAA) 구성하기 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 Amazon Managed Workflows for Apache (MWAA = Airflow)을 사용하는 방법에 대해서 실습해 보도록 하겠습니다. Airflow를 구성하기 위해서는 3가지 역량이 필요합니다. 1단계 WorkFlow(DAG) 작성을 위한 Python 작성 능력, 2단계 Airflow 아키텍처 구성 능력, 3단계 데이터 정합성 확인 능력입니다. 1단계 및 3단계는 WorkFlow를 잘 알고 있는 직원이 진행하는 것이 적합하므로 가급적 고객이 처리하도록 협의하시기 바랍니다. AWS MWAA 구분 내용 설명 스크립트로 데이터 파이프라인 구성 및 관리하는 도구로서 DAG(Directed Acyclic Graph)로 워크플로우 정의 사용자 인터페이스로 ..
[실습] EBS 볼륨(xfs 파일시스템) 연결 및 확장에 대해서 구성하기 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 EC2를 생성할 때 기본 연결되는 root(/)가 외 추가적으로 EBS를 생성하고, 이를 마운트하는 실습과 EBS 볼륨 확장에 대해서 실습을 해보겠습니다. 아시겠지만 EBS 볼륨 축소는 거의 불가능한 상황입니다.(논리적인 파티션 정도의 볼륨 축소는 가능한 것으로 판단됨) 그러므로 EC2 생성 시 초기 세팅하는 EBS 볼륨에 대해서 신중히 결정하시기 바랍니다. EC2 생성 및 SSH 접속 (상세 설명은 SKIP) EC2 생성 시 위 옵션처럼 여러 개의 EBS를 붙여서 생성할 수 있습니다. Case 1 (8G, 10G, 12G) : 기본 볼륨 연결 # 디바이스 정보 출력 (nvme1n1, nvme2n1는 마운트되지 않은 상태) lsblk NAME MAJ:MIN ..
[Tip] Amazon EC2 또는 Lambda 함수에서 SMTP 포트 25 해제 프로세스 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 AWS에 요청 시 필요한 역방향 DNS 레코드에 대한 이해도가 부족하여 정리한 내용입니다. 구성도 DNS 레코드 테이블에서 mail1, mail2는 이해를 돕기 위해 작성된 부분이며, 실제 역방향 DNS 설정은 다를 수 있습니다. 역방향 DNS 설정 이유 메일 발송이 실패한 대부분 이유는 상대방 메일 서버의 스팸 정책에 의해서 거절된 경우입니다. 역방향 DNS 조회가 불가능하면 현재 많은 RBL 서버 등에서는 스팸으로 보는 경향이 있습니다. 1단계 : 역방향 DNS 설정 AWS Pub IP(ex : 100.0.0.10~11)를 수신 메일 서버 담당자에게 전달하여 역방향 DNS 설정하도록 요청합니다. ※ Record(ex : mail1, mail2) : 상호 ..
[실습] Amazon SES와 postfix 통합하고, mailx 이용하여 메일 발송하기 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 Amazon SES(Simple Email Service)을 사용하는 방법에 대해서 실습해 보도록 하겠습니다. 메일 발송 프로세스는 mailx(CentOS 기준)을 사용하였고, postfix는 SES와 통합하여 Relay 역할을 수행하도록 구성하였습니다. 개발자가 송신 메일 서버를 코딩하는 경우는 SMTP 포트(587 or 25)를 사전에 정의하고, 1, 3단계만 진행한 후, 3단계에서 다운로드한 Credentials csv파일을 개발자에게 전달하기만 하면 됩니다. 만약 개발자가 SMTP 포트를 25를 사용한다고 하면 AWS Support에 Port 25 허용 요청을 별도로 진행해야 하기 때문에 가급적 협의하여 Port 25를 사용하지 않는 방향으로 진행하시..
[실습] DataSync 이용한 서로 다른 AWS 계정간 S3 bucket 동기화(sync) 구성하기 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 지난번 진행한 aws cli를 통한 동기화가 아닌 DataSync 서비스를 이용하여 서로 다른 계정에 위치하는 S3 bucket을 동기화하는 실습을 해보겠습니다. 구성도 제약사항 DataSync 통해 버킷간 전송 시 작업당 2,500만개 이상의 객체는 복사가 불가능하므로 접두사로 구분하여 분할 전송 서로 다른 계정간 버킷 동기화는 aws cli를 이용하는 과정 필요 (모든 과정을 콘솔에서 지원하지 않음) 1단계 : IAM User 및 Role 생성 (A계정에서 진행) IAM > Users > Add users > Name(user01), 권한(AdministratorAccess) 보안을 위해 MFA 설정 필수 (설명 SKIP) aws cli 작업을 위해 Ac..
[실습] EC2에 EFS 볼륨 연결(mount) 구성하기 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 EC2에 공유볼륨 EFS를 연결하는 실습을 해보겠습니다. 구성도 1단계 : DNS 확인 활성화 VPC > Your VPCs > vpcA 선택 > Actions > Edit VPC settings > Enable DNS resolution (Enable) > Save 2단계 : EFS용 보안그룹 생성 VPC > Security groups > Creat security group Security group name Inbound rules efsA-sg Type : NFS Source type : Custom Source : 10.0.1.0/24, 10.0.2.0/24 (연결하고자 하는 EC2 IP or 대역) 3단계 : EFS 생성 EFS > File sys..
[실습] FSx or PlugIn(goofys, s3fs) 이용하여 EC2에 S3 bucket 연결(mount) 구성하기 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 EC2에 EFS가 아닌 S3 버킷을 마운트 연결하는 실습을 해보겠습니다. 구성도 방법 1. FSx로 연결하기 1단계 : FSx 생성 Amazon FSx > File systems > Create file system > File system options (Amazon FSx for Lustre) File system details Network & security, Encryption Data Repository Import/Export (S3 연결 시 필수) File system name (옵션) : myfs Deployment and storage type : Persistent, SSD Throughput per unit of storage(250/5..
[실습] AWS CLI 이용한 서로 다른 AWS 계정간 S3 bucket 동기화(sync) 구성하기 안녕하세요 서후아빠입니다. ^_^ 이번 세션은 서로 다른 계정에 위치하는 S3 bucket을 aws cli 명령어를 통해서 동기화하는 실습을 해보겠습니다. 구성도 1. EC2에서 IAM User의 Access Key를 이용하여 aws cli 접속 2. IAM User가 Source 버킷에 접근하여 Destination 버킷으로 파일 동기화 동기화된 파일 접근 시 "HTTP 403 Forbidden 에러" 발생 시 구성 가정 : A계정(111111111111)에 A버킷(bucketA), B계정(22222222222)에 B버킷(bucketB), 리전(ap-northeast-2) Sync 방향 : Source(bucketA), Destination(bucketB), A계정 IAM user로 동기화 진행 명령어..

티스토리툴바