without haste but without rest

try: from selenium import webdriver except ImportError: print("Trying to Install required module: selenium\n") os.system('python -m pip install selenium') from selenium import webdriver

backlog.com/git-tutorial/kr/stepup/stepup1_1.html 누구나 쉽게 이해할 수 있는 Git 입문~버전 관리를 완벽하게 이용해보자~ | Backlog 누구나 쉽게 알 수 있는 Git에 입문하신 것을 환영합니다. Git을 사용해 버전 관리를 할 수 있도록 함께 공부해봅시다! backlog.com 참고해서 기본 개념 잡기 좋은 것 같다. 깃 설치부분은 CLI 환경이 아니라 패스하고 브랜치 튜토리얼만 참고 INDEX 1. fast-forward 2. non-fast-forward 3. rebase 1. fast-forward 브랜치를 마스터 브랜치에 곧바로 이어 붙인다. 빨리 감기라고도 한다. 단, 마스터 브랜치에서 뻗어나간 브랜치가 1개 이하여야 한다. 2. non-fast-..

참조 - www.youtube.com/watch?v=vXiZO1c5Sk0 단계 요약 1. aws lambda 함수 생성 2. IAM 롤 부여 3. S3 버킷 생성 4. lambda 환경에서 스크립트 작성 5. 테스트 및 배포 참조한 영상에서는 IAM을 먼저 생성하고 람다 함수를 작성하는데, 굳이 순서를 따라하지 않아도 된다. 본 포스팅은 람다를 이용해서 s3에 파일 저장하는 방법을 정리했다. 1. 람다 함수 생성 적당한 이름으로 람다 함수를 하나 생성한다. 랭귀지는 파이썬을 선택했다. 편한 언어로 선택하도록 하자 권한은 기본으로 설정한다. 추후에 해당 롤에 권한을 추가 해준다. 람다 함수를 생성하면 이와 같은 화면으로 넘어간다. 권한 카테고리를 눌러서 IAM의 권한을 추가 해줘야 한다. 권한 카테고리의 ..

boto3.amazonaws.com/v1/documentation/api/latest/guide/examples.html Code examples — Boto3 Docs 1.16.25 documentation boto3.amazonaws.com

tft 데이터를 적재하기 위한 파이프라인을 구축하던 중에 람다를 사용하기로 결정했다. 람다는 서버리스 솔루션이고 트리거가 작동하면 미리 지정해둔 스크립트로 반응을 한다. 내가 구현하고자 하는 파이프라인은 데이터가 스트림으로 들어와서 카프카가 필요하지 않지만 그렇다고 배치처리라고 하기엔 애매하다. 대략 20분마다 데이터를 수집해서 저장해야하므로 람다를 사용하면 효율적으로 리소스를 사용할 수 있을 것이라고 판단했다. tft_data_transport가 트리거 작동하면 실행할 스크립트다. 왼쪽은 API GATEWAY고 얘도 솔루션이다. 엔드포인트 및 프로토콜 방식을 지정해준다. 정리하면 api 게이트웨이는 네트워크 연결 방식을 결정하고 람다는 해당 서버에 요청이 들어오면 어떻게 반응할 것인지에 관해 결정한다...

참조 - www.w3schools.com/xml/xml_whatis.asp XML Introduction Introduction to XML XML is a software- and hardware-independent tool for storing and transporting data. What is XML? XML stands for eXtensible Markup Language XML is a markup language much like HTML XML was designed to store and transport data XML was desi www.w3schools.com 1. HTML & XML 1). HTML - 화면에 데이터를 표시하기 위한 목적 2). XML (eXentible ..

토크ON 81차. GCP기반의 데이터 엔지니어링 | T아카데미 T아카데미 온라인 강의- [토크ON세미나] GCP기반의 데이터 엔지니어링 (총6강) ▶ https://tacademy.skplanet.com/live/player/onlineLectureDetail.action?seq=187 [과정 소개] 이번 과정에서는 구글 클라우드 플랫폼(GC... www.youtube.com GCP의 pub/sub은 카프카와 거의 비슷한 역할을 한다. publisher = producer subscriber = consumer 위 강의는 pub/sub을 활용해서 실시간 데이터를 big query 에 적재하는 파이프라인을 간단하게 구현한다. 특히 도커 이미지로 빌드해서 쿠버네티스로 배포하고, 구글 클라우드 function..

순열 from itertools import permutations my_list = ['0', '1', '2', '3'] print(list(map(''.join, permutations(my_list, 2)))) 조합 from itertools import combinations my_list = ['0', '1', '2', '3'] print(list(map(''.join, combinations(my_list, 2))))