without haste but without rest

Error "no matching manifest for linux/arm64/v8 in the manifest list entries" Solved Docker (Apple Silicon/M1 Preview) MySQL "no matching manifest for linux/arm64/v8 in the manifest list entries" I'm running the latest build of the Docker Apple Silicon Preview. I created the tutorial container/images and it works fine. When I went to create a custom YAML file and run docker-compose I get the stac..

Subject 깃허브 개인 계정에 공개키를 설정해서 별도의 액세스 토큰없이 ssh로 통신하고자 함 1. 키 생성 이미 존재하는 공개키와 개인키가 있는지 확인한다. $ ls -al ~/.ssh # Lists the files in your .ssh directory, if they exist 없다면 키를 하나 생성한다. ssh-keygen -t ed25519 -C "your_email@example.com" 생성 시 물어보는 위치는 기본 값을 사용하고 passphrase는 선택사항 ls -la ~/.ssh 키 생성 후 파일 두 개를 확인할 수 있다. id_ed25519 id_ed25519.pub .pub이 공개키고 확장자가 없는 파일이 개인키 역할을 한다. 공개키를 클립보드에 복사한다. # MacOS $ ..

1. Kinesis vs MSK 카프카는 운영적인 측면에서 신경쓸 게 더 많고, 메트릭 모니터링이 더 까다롭다. 반면 키네시스는 운영적인 측면에서 MSK나 카프카에 비해 덜 신경쓸 수 있다. 내부 아키텍처에서 어떤 차이가 있는지 궁금해서 찾아본 자료인데, 카프카의 경우 오픈소스라 비교적 자세히 설명을 해주지만 키네시스의 경우는 추상적으로만 설명해준다. 키네시스에서 카프카의 개념에 대응되는 요소 Streams - Topic Shard - Partions 2. Kinesis vs MSK vs Kafka 종합적으로 고려했을 때, 카프카의 경우 오픈소스로 자유도가 가장 높지만 운영 측면에서 난이도가 높다. MSK는 AWS에서 인프라를 관리해주므로 메트릭 모니터링에 집중할 수 있다. 마지막으로 키네시스는 자유도가..

환경 MacOS: Monterey 12.1 IntelliJ: 2021.03.01 Java: 8 sbt: 1.6.0 Scala: 2.12.0 Spark: 3.1.2 1. Intellij 플러그인에서 스칼라 설치 scala 플러그인을 설치한다. (맥 os 기준으로 인텔리제이에서 쉬프트를 두번 누르면 검색 탭이 나타나는데 plugins를 검색해서 진입할 수도 있다. ) 2. 스칼라 프로젝트 생성 구글링 해보니 메이븐으로 생성하기도 하던데 스칼라 공식 도큐먼트에서는 sbt 기준으로 설명을 해서 sbt로 진행했다. sbt란 무엇인가? sbt (software) - Wikipedia From Wikipedia, the free encyclopedia Jump to navigation Jump to search Op..

Scala Book Summary 스칼라의 컨셉과 언어의 목적에 대해서 간단히 살펴보고 loop, condition, class, method 등을 빠르게 훑는다. Concept Scalable한 언어라 'Scala' 라는 이름을 붙였다. JVM 기반 언어이며 주로 데이터 처리를 위한 목적으로 많이 사용한다. 스칼라는 스칼라로 쓰였다는데 이 내용이 정확히 의미하는 바에 대해서 찾아보기. val & var val a = 1 var b = 1 val은 value로 변수를 한 번 선언하면 값을 변경할 수 없다. var는 variable로 변수를 선언하고 난 이후에 변경할 수 있다. Object 오브젝트는 자바의 static class member와 유사하다. 스칼라에서는 정적 변수가 없다. 대신에 objec..

Iterable 이터러블은 제너레이터 형태로 요청 시 필요한 데이터를 생성해서 리턴한다. 시간복잡도 O(n) Sequence 배열을 미리 다 만들어둔 상태에서 리턴하는 형태 시간복잡도 O(1)

HDFS vs S3 HDFS 수평 확장 - 확장 시 직접 노드를 추가해야 한다. 미리 정해진 사이즈가 있다. 스토리지 포맷에 제한이 없다. S3 수직 확장 볼륨 사이즈의 제한이 없다. (미리 정해진 볼륨 사이즈가 없다.) 파일당 최대 크기 제한은 5GB 스토리지 포맷에 제한 - ORC 사용 불가 object storage s3 comes out on top for scalability, durability, persistance, price 확장성, 내구성, 비용 측면에서 s3가 더 좋지만, 레이턴시, 쓰로우풋 같은 퍼포먼스 측면에서는 HDFS가 더 좋다 https://www.integrate.io/blog/storing-apache-hadoop-data-cloud-hdfs-vs-s3/ Storing A..