목록AWS (7)
without haste but without rest
Goal aws 시크릿 매니저 사용 방법을 빠르게 파악한다. aws 키 주입과 IAM에 대한 사전 지식이 존재한다고 가정한다. 자습서: 보안 암호 생성 및 검색 - AWS Secrets Manager 자습서: 보안 암호 생성 및 검색 이 자습서에서는 보안 암호를 AWS Secrets Manager에서 생성하여 저장합니다. 콘솔 또는 AWS CLI를 사용할 수 있습니다. 보안 암호에는 키-값 페어로 저장된 단일 암호가 docs.aws.amazon.com 1. 새 보안 암호 생성 https://console.aws.amazon.com/secretsmanager/ 시크릿 매니저 콘솔로 접근해서 새 보안 암호를 생성한다. 컨테이너 MySQL로 테스트할 목적이므로 기타 데이터베이스로 선택을 했다. 사용할 유저 네..
[aws] aws lambda로 s3에 파일 저장하기
참조 - www.youtube.com/watch?v=vXiZO1c5Sk0 단계 요약 1. aws lambda 함수 생성 2. IAM 롤 부여 3. S3 버킷 생성 4. lambda 환경에서 스크립트 작성 5. 테스트 및 배포 참조한 영상에서는 IAM을 먼저 생성하고 람다 함수를 작성하는데, 굳이 순서를 따라하지 않아도 된다. 본 포스팅은 람다를 이용해서 s3에 파일 저장하는 방법을 정리했다. 1. 람다 함수 생성 적당한 이름으로 람다 함수를 하나 생성한다. 랭귀지는 파이썬을 선택했다. 편한 언어로 선택하도록 하자 권한은 기본으로 설정한다. 추후에 해당 롤에 권한을 추가 해준다. 람다 함수를 생성하면 이와 같은 화면으로 넘어간다. 권한 카테고리를 눌러서 IAM의 권한을 추가 해줘야 한다. 권한 카테고리의 ..
boto3.amazonaws.com/v1/documentation/api/latest/guide/examples.html Code examples — Boto3 Docs 1.16.25 documentation boto3.amazonaws.com
[aws] aws lambda로 http 리퀘스트 핸들링
tft 데이터를 적재하기 위한 파이프라인을 구축하던 중에 람다를 사용하기로 결정했다. 람다는 서버리스 솔루션이고 트리거가 작동하면 미리 지정해둔 스크립트로 반응을 한다. 내가 구현하고자 하는 파이프라인은 데이터가 스트림으로 들어와서 카프카가 필요하지 않지만 그렇다고 배치처리라고 하기엔 애매하다. 대략 20분마다 데이터를 수집해서 저장해야하므로 람다를 사용하면 효율적으로 리소스를 사용할 수 있을 것이라고 판단했다. tft_data_transport가 트리거 작동하면 실행할 스크립트다. 왼쪽은 API GATEWAY고 얘도 솔루션이다. 엔드포인트 및 프로토콜 방식을 지정해준다. 정리하면 api 게이트웨이는 네트워크 연결 방식을 결정하고 람다는 해당 서버에 요청이 들어오면 어떻게 반응할 것인지에 관해 결정한다...
참조 - https://medium.com/dataseries/copy-hadoop-data-hive-to-s3-bucket-d1ffb59279c8 Copy Hadoop Data — Hive to S3 Bucket WHAT IS S3: S3 stands for “Simple Storage Service” and is offered by Amazon Web Services. It provides a simple to use file object storage… medium.com 짧게 요약한 아티클 참조 - https://docs.cloudera.com/documentation/enterprise/5-8-x/topics/cdh_admin_distcp_data_cluster_migrate.html Copyi..
1. 관련 라이브러리 설치 pip install awscli pip install boto3 aws cli는 aws인증을 위해 사용하는 라이브러리이고, boto3는 S3에 접근해서 조작할 수 있다. 2. 터미널 환경에서 aws configure 해당 부분은 aws에서 IAM 설정으로 S3를 사용하기 위한 사용자를 만들면 AWS Access key와 Secret Access Key를 제공한다. 3. boto3로 S3에 접근하기 import boto3 s3 = boto3.client('s3') try: s3.upload_file("test_input.txt", "Your-bucket-name", "test_input.txt") except Exception as err: print("input error",..
참조 - https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/ec2-instances-and-amis.html 인스턴스 및 AMI - Amazon Elastic Compute Cloud 인스턴스 및 AMI Amazon 머신 이미지(AMI)는 소프트웨어 구성이 기재된 템플릿입니다(예: 운영 체제, 애플리케이션 서버, 애플리케이션). AMI에서 인스턴스를 바로 시작하실 수 있는데, 이 인스턴스는 docs.aws.amazon.com AMI: 소프트웨어 구성이 기재된 템플릿 인스턴스: 클라우드의 가상 서버