티스토리

Engineer misan kim

검색하기

블로그 홈

Engineer misan kim

engmisankim.tistory.com/m

devops, cloud engineer misan kim's tech blog

구독자: 1

방명록 방문하기

주요 글 목록

AWS Lambda 를 이용하여 S3 버킷에 업로드된 이미지 자동 리사이징 최근 Lambda 서비스 관련 학습을 진행하고 있는데요. Lambda 를 이용한 대표적인 사용 예로 자주 등장하는 S3 버킷에 업로드된 이미지를 자동으로 리사이징하는 내용으로 학습 진행 후 내용 공유드리려고 합니다. 1. 로컬 환경에서 python 스크립트로 이미지 리사이징 테스트 Lambda 환경에서 이미지를 리사이징하기 앞서 연습삼아 로컬의 python 환경에서 이미지를 리사이징 해봅니다. python 에서 이미지를 리사이징하기 위해서는 Pillow 라는 모듈을 사용하기 때문에 설치 후 스크립트를 작성합니다. ## 모듈 설치 pip install Pillow ## 스크립트(resize.py) from PIL import Image import sys src_img=sys.argv[1] # 첫 번째 인.. 공감수 0 댓글수 0 2023. 4. 6.
AWS 클라이언트 VPN AWS Network 섹션에 대한 학습 내용 공유합니다. Site-to-Site VPN 혹은 Trasit Gateway의 경우 온프레미스 라우터의 설정이 필요한 부분으로 직접 테스트가 어려워, AWS에서 제공하는 SSL VPN인 클라이언트 VPN 사용법에 대해 학습한 내용을 공유해드립니다. 클라이언트 VPN 엔드포인트 생성을 위한 자체서명 인증서(CA, 서버, 클라이언트) 생성 클라이언트 VPN은 openVPN과 유사하게 동작합니다. 때문에 클라이언트 vpn 엔드포인트 생성 시 서버 인증서 지정이 필요하며, 클라이언트 인증을 위해서는 아래 2가지 방법 중 한가지를 반드시 선택해야합니다. 1) 클라이언트에 대한 인증 방법으로는 클라이언트 인증서를 이용한 상호인증 방식 2) ActiveDirectory 혹은.. 공감수 0 댓글수 0 2023. 4. 5.
s3 버킷에 php 코드를 통해 파일 업로드 Amazon S3로 파일을 업로드하기 위해서는 AWS에서 제공하는 GUI 콘솔을 이용하는게 가장 일반적인 사용 방법이지만, 지난 게시글에서 관리형 FTP 서비스인 AWS Transfer Family(비용 비쌈...)와 FTP 클라이언트 프로그램에서 S3 액세스를 지원하는 것을 확인했습니다. 오늘은 S3 버킷에 SDK(소프트웨어 개발 킷) for PHP를 이용하여 php 코드를 작성하고 버킷 리스트와 버킷에 포함된 오브젝트 리스트를 확인하고, 웹서버의 파일을 S3로 업로드하는 방법에 대해 알아보겠습니다. AWS SDK for PHP란 AWS SDK for PHP는 php 코드를 통해 AWS의 여러 서비스에 액세스하기 위한 개발 도구로 현재 버전은 3점대 버전입니다. 요구사항 AWS SDK for PHP를 .. 공감수 0 댓글수 0 2023. 4. 3.
node.js(express) app을 AWS 서버리스 환경(lambda, API gateway)으로 배포 최근 게시물을 통해 api 서버 구성 관련 내용을 공유해드렸는데요. 오늘은 지난번 서버(컨테이너)에 구성한 node.js app을 AWS 서버리스 환경(lambda+API gateway)으로 배포하는 내용으로 학습 내용 공유드립니다. 1. express 웹 프레임워크로 구성된 api 서버 지난 게시글에서 api 서버를 구성하기 위해 express 웹 프레임워크를 사용했습니다. node.js로 http 서버를 구성하기 위해서는 "server.listen(3000);"과 같이 트래픽 수신을 포함하여 웹서버 구성에 필요한 여러 소스들을 일일 설정해줘야합니다. 이런 웹서버를 구성하기 위한 기본 뼈대를 만들어주는 역할이 웹 프레임워크로, express는 가장 널리 쓰이는 node.js 웹 프레임워크라고 합니다. .. 공감수 0 댓글수 0 2023. 4. 1.
AWS Savings Plans 구매 방법 지난번에 예약 인스턴스(RI) 구매 방법 관련하여 확인한 내용 공유드렸는데요. RI와 유사하게 약정을 통해 EC2 인스턴스의 비용을 할인 받을 수 있는 Savings Plans 서비스에 대해 간략히 소개해드리고 구매 시 유의 사항에 대해 공유해드리고자 게시글을 작성합니다. Savings Plans 관련 AWS 공식 문서 https://docs.aws.amazon.com/ko_kr/savingsplans/latest/userguide/what-is-savings-plans.html 1. Savings Plans 유형 Compute Savings Plans - 리전, 인스턴스 패밀리, 크기, 테넌시 및 운영 체제와 상관없이 EC2 인스턴스, AWS Fargate 및 AWS Lambda 서비스 사용량에 적용,.. 공감수 0 댓글수 0 2023. 3. 29.
AWS DataSync 개념 및 간단한 사용 예시 AWS DataSync DataSync 서비스는 DataSync 에이전트를 통해 온프레미스 혹은 AWS 클라우드의 스토리지 서버(혹은 스토리지 서비스)에서 AWS의 또 다른 스토리지 서비스로 데이터를 동기화하는 서비스입니다. 온프레미스의 데이터를 AWS 스토리지 서비스로 복사 AWS EFS에서 또다른 AWS EFS로 데이터 복사 특이한 점은 DataSync 만을 위한 별도의 에이전트를 온프레미스 환경 혹은 AWS 환경에 배포해야한다는 점으로, 소스 데이터는 DataSync 에이전트를 통해 AWS 스토리지로 동기화됩니다. 온프레미스에 DataSync 에이전트를 배포하기 위해서 DataSync 에서는 ESXi, KVM, Hyper-V 방식의 하이퍼바이저에서 구동될 DataSync 에이전트 이미지를 제공하고 .. 공감수 0 댓글수 0 2023. 3. 28.
S3 버킷을 파일시스템 형태로 마운트 CentOS를 포함한 AWS 환경의 리눅스 운영체제에서 디렉토리를 공유하여 사용하기 위해서는 일반적으로 EFS(엘라스틱 파일 시스템)을 이용합니다. 파일시스템 형태의 EFS 서비스와 달리 S3 의 경우 객체 기반의 오브젝트 스토리지이기 때문에 기본적으론 EC2 인스턴스에 마운트하여 사용하는 용도의 서비스는 아닙니다. 하지만 S3 버킷을 CentOS와 같은 리눅스 시스템에 파일시스템 형태로 마운트하여 사용하는 방법이 있어 참고 삼아 글을 작성합니다. goofys S3 버킷을 리눅스 시스템에 파일시스템 형태로 마운트하여 사용하기 위한 오픈소스 툴입니다. GO 언어 기반으로 제작되었으며, fuse 모듈을 이용합니다. (fuse - 사용자가 커스텀 파일시스템을 만들 수 있도록 하는 유닉스 계열 운영체제용 소프트.. 공감수 1 댓글수 0 2023. 3. 26.
AWS 네트워크 ACL 일반적으로 EC2를 포함한 AWS 리소스에 대한 외부에서의 접근 제어를 위해서는 보안그룹을 사용하여 허용된 아이피에서만 접근이 가능하도록 설정하는데요. 외부에서의 트래픽을 제어하기 위해 제공되는 보안 계층인 네트워크 ACL에 대해 학습한 내용 공유하려고 합니다. 네트워크 ACL이란 AWS 공식 문서에서는 네트워크 ACL을 "네트워크 ACL(액세스 제어 목록)은 1개 이상의 서브넷 내부와 외부의 트래픽을 제어하기 위한 방화벽 역할을 하는 VPC를 위한 선택적 보안 계층" 이라고 정의하고 있습니다. https://docs.aws.amazon.com/ko_kr/vpc/latest/userguide/vpc-network-acls.html 네트워크 ACL은 아래와 같이 인바운드 규칙과 아웃바운드 규칙을 통해 서브.. 공감수 0 댓글수 0 2023. 3. 22.
Amazon GuardDuty(AWS의 관리형 유사 IDS) AWS 상에서 사용 가능한 IPS(침입 차단 시스템)/IDS(침입 탐지 시스템)을 AWS 마켓 플레이스에서 좀 찾아봤는데 유명한 보안 벤더사 제품들은 거의 다 UTM 형식으로 방화벽, IPS, 웹필터, vpn 등 기타 기능까지 다 합쳐진 형태로 제공하고 있어 IPS/IDS 만 제공하는 이미지는 없는 것으로 보여서 AWS에서 관리형 서비스로 제공하고 있는 IDS 유사 서비스인 GuardDuty에 대해 소개해드릴까합니다. Amazon GuardDuty 란 AWS 에서는 "Amazon GuardDuty는 AWS 계정, 워크로드 및 Amazon S3에 저장된 데이터를 보호하기 위해 악의적 활동 또는 무단 동작을 지속적으로 모니터링하는 위협 탐지 서비스"라고 GuardDuty를 소개하고 있는데요. GuardDut.. 공감수 0 댓글수 0 2023. 3. 22.
Amazon Aurora 멀티 마스터 구성 AWS RDS에서 사용 가능한 데이터베이스 엔진이자 AWS에서 개발하여 서비스하고 있는 데이터베이스 엔진인 Amazon Aurora DB의 멀티 마스터 구성(2개의 DB 인스턴스가 모두 마스터로 작동하여 양방향 복제가 이뤄지는 구성)에 대해 작성합니다. 오로라 멀티 마스터 구성은 2019년 8월 처음 서비스 시작하여 올해 5월 지원 리전이 확대되어 서울 리전에서도 이용이 가능해졌습니다. 현재 멀티 마스터 구성을 이용할 수 있는 리전은 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(오레곤), 아시아 태평양(뭄바이), 아시아 태평양(서울), 아시아 태평양(도쿄), EU(프랑크푸르트), EU(아일랜드)입니다. 미팅 중 문의가 있었던 부분(멀티 마스터 구성 가능여부 및 각 마스터를 별도로 인스턴.. 공감수 0 댓글수 0 2023. 3. 21.
Grafana를 통한 ELB 알림 설정 자빅스를 통해 모니터링 대상에 대한 메트릭을 수집하고 트리거 설정을 통해 두레이 메신져와 메일을 통해 알림을 받고 있습니다. 자빅스 에이전트를 설치 가능한 온프레미스의 서버나 AWS EC2 인스턴스, NHN클라우드 인스턴스의 경우 이러한 방법이 용이하지만, AWS ELB나 RDS와 같이 관리형으로 제공하는 서비스의 경우 대상에 에이전트를 설치하는 것이 불가하기 때문에 AWS Cloudwatch Metrics 에서 제공하는 메트릭을 받아오는 Python 스크립트를 통해 자빅스에서 메트릭을 수집하도록 구성하고 트리거 발생 시 알림을 수신하도록 설정하고 있습니다. 하지만 위의 방법의 경우 아래와 같은 단점이 있을 수 있습니다. 1) 이미 Cloudwatch Metrics 에서 수집한 메트릭을 다시 자빅스가 수.. 공감수 0 댓글수 0 2023. 3. 20.
CloudFront 필드 레벨 암호화 CloudFront 에서 제공하는 추가 보안 기능인 필드 레벨 암호화에 대해 소개하고 간략히 시연하는 내용 공유드리려고 합니다. 1. 필드 레벨 암호화란 필드 레벨 암호화란 사용자가 제공한 민감한 정보(POST body 에 포함된 특정 필드)를 사용자에게 가까운 엣지에서 암호화하여 전체 애플리케이션 스택에서 암호화를 유지하고 데이터가 필요하고 이를 해독할 자격 증명을 보유한 애플리케이션(WAS)만 해당 정보를 볼 수 있도록 하는 클라우드프론트의 추가 보안 기능입니다. 2. 필드 레벨 암호화 설정 필드 레벨 암호화 설정은 간단한 편입니다. 1) RSA 키 페어 생성 다음 단계에서 생성한 키페어 중 공개키를 복사하여 CloudFront 콘솔에서 사용할 것이기 때문에 키 페어를 생성할 장소는 어디든 관계 없습.. 공감수 0 댓글수 0 2023. 3. 18.
AWS Transfer Family(관리형 FTP 서버) S3 오브젝트 스토리지의 경우 웹에서 제공하는 GUI 콘솔 혹은 AWS CLI 혹은 SDK를 통한 프로그래밍 방식으로 파일을 업로드/다운로드 가능한데요. 하지만 기존 온프레미스의 시스템이 오래되거나, 수정이 불가능하여 FTP를 통해서만 업로드가 가능한 경우에 사용이 가능한 방법이 있을까하여 관련 서비스를 찾아보다 AWS에서 제공하는 관리형 SFTP/FTPS/FTP 서비스인 AWS Transfer Family 에 대해 알게 되어 소개해드리려고 합니다. AWS Transfer Family 서비스란 AWS Transfer Family 서비스는 위에 기재한 것과 같이 굉장히 심플하게 관리형 SFTP/FTPS/FTP 서비스이며, 파일을 업로드하는 대상은 S3 버킷입니다. 초기에는 SFTP 프로토콜만 지원하여 이름.. 공감수 0 댓글수 0 2023. 3. 18.
AWS Network Firewall 기존 AWS에 구성된 리소스로의 접근 제어는 보안 그룹을 통해 설정하는 것이 일반적이며, 추가로 방화벽 등의 서비스를 사용하고 싶은 경우 마켓플레이스를 통해 서드파티 제품(EC2 AMI 형태)을 이용하는 방법 밖에 없었습니다. 하지만 최근 신규 서비스로 추가된 AWS Network Firewall 서비스를 통해 보안 그룹과 유사한 방식으로 접근 제어 설정이 가능하여, AWS Network Firewall 서비스를 소개해드리며 간단한 사용 방법도 공유하고자합니다. 1. AWS Network Firewall 이란 AWS Network Firewall 서비스는 인터넷 게이트웨이, VPN, Direct Connect, Transit Gateway 등 외부로 통하는 액세스 포인트와 사용자의 퍼블릭 서브넷 사이에 .. 공감수 0 댓글수 0 2023. 3. 17.
AWS Global Accelerator AWS의 네트워킹 서비스 중 하나인 AWS Global Accelerator에 대해 소개 및 유사한 특징을 가진 서비스인 CloudFront와 어떤 차이가 있는지 소개해드리려합니다. AWS Global Accelerator 서비스란 AWS Global Accelerator 서비스는 엣지 로케이션에 구성된, 2개의 고정 Anycast IP를 가진 Accelerator를 통해 사용자의 접속 위치가 가장 가까운 엔드포인트(ELB, EC2 등)로 트래픽을 라우팅합니다. 엣지 로케이션에서 엔드포인트까지의 트래픽은 AWS 글로벌 네트워크(AWS의 중첩된 100G 네트워크)를 이용하여 전송되기 때문에 Accelerator를 사용하지 않고 공공 인터넷망을 통해 엔드포인트에 접근하는 것에 비해 낮은 지연시간을 유지할 수.. 공감수 0 댓글수 0 2023. 3. 17.
AWS DocumentDB(MongoDB 호환) NoSQL DB 중 도큐먼트 형태의 DB인 MongoDB와 호환되는 AWS 관리형 서비스인 DocumentDB에 대해 간단히 소개해드립니다. 도큐먼트 데이터베이스에 대해 AWS DocumentDB의 특징에 대해 알아보기 전에 도큐먼트 데이터베이스인 MongoDB에 대해 알아보겠습니다. MySQL, PostgreSQL, MSSQL과 같이 관계형 데이터베이스의 경우 아래와 같이 컬럼과 레코드의 집합인 테이블로 이루어져 있습니다. 관계형 데이터베이스에서 테이블의 모습은 표의 모습과 유사한 형태를 가지고 있습니다. 반면 도큐먼트 데이터베이스의 경우 아래와 같이 json 형태의 데이터를 저장하며, 관계형 데이터베이스와 같이 정형화된 형태가 아닌 json 형태로 자유롭게 데이터 입력이 가능합니다. 관계형 데이터베이.. 공감수 0 댓글수 0 2023. 3. 16.
AWS 예약 인스턴스(RI) 구매 방법 지난달 EC2 인스턴스, Elasticache(Redis) 노드의 예약 인스턴스를 구매해봤는데요. 예약 인스턴스를 처음 구매해보는 거라 어떻게 구매하면 되는지 파악하느라 어려움이 있었습니다. 저처럼 처음 예약 인스턴스를 구매하시는 분이 있으시다면 참고가 되었으면 해서 남겨놓습니다. 예약 인스턴스 관련 AWS 공식 문서 https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/ec2-reserved-instances.html1. 예약 인스턴스 구매 예약 인스턴스는 한 번 구매하고 나면 구매를 취소할 수 없음 만료일자에 구매 대기하도록 구매 대기열에 추가 가능(리전 예약 인스턴스만 가능) -> 장바구니에서 구매 날짜 "지금"을 클릭하여 원하는 날짜로 수정 원하는.. 공감수 0 댓글수 0 2023. 3. 15.
AWS Database Migration Service 를 이용한 실시간 DB 복제 AWS DMS(Database Migration Service) Database Migration Service는 온프레미스 DB 간, 혹은 온프레미스 DB-AWS DB 간 데이터베이스를 마이그레이션할 수 있는 서비스입니다. RDBMS(MySQL, Oracle 등), NoSQL 데이터베이스 등 다양한 데이터베이스 유형을 지원합니다. DMS의 작동 방식은 아래와 같이 원본 데이터베이스와 대상 데이터베이스를 각각 엔드포인트로 설정하고 양쪽 엔드포인트 사이에 구성된 복제 인스턴스가 소스 엔드포인트로부터 타겟 엔드포인트로 데이터 복제를 수행합니다. 복제는 1회만 수행할 수도 있으나, 복제를 위한 태스크(작업) 생성 시 마이그레이션 유형을 통해 기존 데이터 마이그레이션 및 지속적인 변경사항을 복제하도록 설정 가능.. 공감수 0 댓글수 0 2023. 3. 15.
Amazon Aurora 글로벌 데이터베이스와 쓰기 전달 사이트 구성 간 Amazon Aurora의 글로벌 데이터베이스를 활용하여 4개 리전 사이에 데이터베이스 복제 구성을 하면서, 유용하게 사용했던 "글로벌 데이터베이스 쓰기 전달" 기능에 대해 간략하게 소개해 드리고자합니다. 1. Amazon Aurora 글로벌 데이터베이스 오로라 글로벌 데이터베이스를 여러 리전에 걸쳐 복제하는 기술로 바이너리 로그를 기반으로 복제를 수행하는 교차 리전 복제와 달리 글로벌 데이터베이스는 오로라 클러스터 스토리지 볼륨을 이용합니다. 스토리지 계층에서 복제가 이뤄지기 때문에 데이터베이스 엔진 계층에서 수행되는 교차 리전 복제보다 복제에 소요되는 지연시간이 짧으며, 데이터베이스는 오로지 쿼리에 대한 처리 전용으로 사용됩니다.(복제를 위해 사용하는 리소스가 없기 때문에 쿼리 처리에.. 공감수 0 댓글수 0 2023. 3. 14.
Amazon Aurora 스토리지 AWS RDS에서 이용 가능한 데이터베이스 엔진 중 하나인 아마존 오로라가 어떤 특징을 가지는지 참고 자료를 통해 파악한 내용을 기재하였습니다. Amazon Aurora Storage 엔진 소개([https://aws.amazon.com/ko/blogs/korea/databaseintroducing-the-aurora-storage-engine/](https://aws.amazon.com/ko/blogs/korea/databaseintroducing-the-aurora-storage-engine/)) Amazon Aurora 내부 들여다보기 (1) – 쿼럼 및 상관 오류 해결 방법([https://aws.amazon.com/ko/blogs/korea/amazon-aurora-under-the-hood-q.. 공감수 0 댓글수 0 2023. 3. 14.
AWS DevOps Engineer Professional 자격 시험 응시 후기 최근 약 2주동안 AWS DevOps Engineer Professional 자격 취득을 위한 학습을 진행하여, 어제 시험을 치르고 다행히 합격하여 자격증을 취득했는데요. 자격 시험 준비하며 체크했던 부분과 실제 시험을 치렀던 경험에 대한 후기를 공유하고자 합니다. 도움이 될지는 모르겠지만 혹시라도 AWS DevOps Engineer Professional 자격증 취득에 관심이 있으신 분은 한번 읽어보시면 좋을 것 같습니다. 1. AWS DevOps Engineer Professional 자격 시험 관련 공식 안내 자격 시험과 관련된 공식적인 내용은 아래 페이지에서 확인이 가능합니다. 시험 안내서에도 나와있듯 AWS DevOps Engineer Professional 시험은 6개 도메인으로 구성되어 있고.. 공감수 0 댓글수 0 2023. 3. 12.
AWS EC2 T4g 타입 인스턴스 1. Amazon EC2 T4g 인스턴스란 Amazon EC2 T4g 인스턴스는 Arm 기반 AWS Graviton2 프로세서로 구동되며, T3 인스턴스보다 최대 40% 더 나은 가격 대비 성능을 제공합니다. T4g 타입 인스턴스 소개 페이지 https://aws.amazon.com/ko/ec2/instance-types/t4/?nc1=h_ls 북미 리전 출시는 2020년 9월 15일이며, 서울 리전 출시는 2021년 2월 23일로 오래되지는 않았습니다. 인스턴스 크기는 아래와 같이 제공됩니다. 2. AWS Graviton 프로세서란 T4g의 g는 AWS Graviton 프로세서를 의미하는데요. 이는 마치 T3a 타입의 a가 AMD CPU를 의미하는 것처럼 CPU의 종류를 인스턴스 타입에서 나타냅니다.(.. 공감수 0 댓글수 0 2023. 3. 11.
오픈소스 IDS_IPS Suricata 지난번 AWS Network Firewall 서비스에 대해 소개해드리면서 AWS Network Firewall이 오픈소스 IDS/IPS인 Suricata를 기반으로 동작한다는 내용을 언급한 적이 있습니다. 이번에는 EC2 인스턴스에 직접 Suricata를 설치하여 Suricata를 어떻게 설치 및 설정하고, 어떻게 작동하는지 직접 확인한 내용을 바탕으로 공유드리려고 합니다. 테스트 환경 테스트 환경에서는 Suricata 인스턴스를 웹서버가 위치한 서브넷과 다른 별도의 서브넷에 구성하고 VPC 내/외부에서 발생하는 모든 트래픽이 Suricata 인스턴스를 거쳐 통신하도록 구성하여 Suricata 인스턴스에 설정한 룰셋을 통해 트래픽을 필터링하여 웹 서버로 전달하도록 아래와 같이 구성하였습니다. 위의 그림은.. 공감수 0 댓글수 0 2023. 3. 11.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.