without haste but without rest

boto3.amazonaws.com/v1/documentation/api/latest/guide/examples.html Code examples — Boto3 Docs 1.16.25 documentation boto3.amazonaws.com

tft 데이터를 적재하기 위한 파이프라인을 구축하던 중에 람다를 사용하기로 결정했다. 람다는 서버리스 솔루션이고 트리거가 작동하면 미리 지정해둔 스크립트로 반응을 한다. 내가 구현하고자 하는 파이프라인은 데이터가 스트림으로 들어와서 카프카가 필요하지 않지만 그렇다고 배치처리라고 하기엔 애매하다. 대략 20분마다 데이터를 수집해서 저장해야하므로 람다를 사용하면 효율적으로 리소스를 사용할 수 있을 것이라고 판단했다. tft_data_transport가 트리거 작동하면 실행할 스크립트다. 왼쪽은 API GATEWAY고 얘도 솔루션이다. 엔드포인트 및 프로토콜 방식을 지정해준다. 정리하면 api 게이트웨이는 네트워크 연결 방식을 결정하고 람다는 해당 서버에 요청이 들어오면 어떻게 반응할 것인지에 관해 결정한다...

1. 관련 라이브러리 설치 pip install awscli pip install boto3 aws cli는 aws인증을 위해 사용하는 라이브러리이고, boto3는 S3에 접근해서 조작할 수 있다. 2. 터미널 환경에서 aws configure 해당 부분은 aws에서 IAM 설정으로 S3를 사용하기 위한 사용자를 만들면 AWS Access key와 Secret Access Key를 제공한다. 3. boto3로 S3에 접근하기 import boto3 s3 = boto3.client('s3') try: s3.upload_file("test_input.txt", "Your-bucket-name", "test_input.txt") except Exception as err: print("input error",..

참조 - https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/ec2-instances-and-amis.html 인스턴스 및 AMI - Amazon Elastic Compute Cloud 인스턴스 및 AMI Amazon 머신 이미지(AMI)는 소프트웨어 구성이 기재된 템플릿입니다(예: 운영 체제, 애플리케이션 서버, 애플리케이션). AMI에서 인스턴스를 바로 시작하실 수 있는데, 이 인스턴스는 docs.aws.amazon.com AMI: 소프트웨어 구성이 기재된 템플릿 인스턴스: 클라우드의 가상 서버