without haste but without rest

환경 MacOS: Monterey 12.1 IntelliJ: 2021.03.01 Java: 8 sbt: 1.6.0 Scala: 2.12.0 Spark: 3.1.2 1. Intellij 플러그인에서 스칼라 설치 scala 플러그인을 설치한다. (맥 os 기준으로 인텔리제이에서 쉬프트를 두번 누르면 검색 탭이 나타나는데 plugins를 검색해서 진입할 수도 있다. ) 2. 스칼라 프로젝트 생성 구글링 해보니 메이븐으로 생성하기도 하던데 스칼라 공식 도큐먼트에서는 sbt 기준으로 설명을 해서 sbt로 진행했다. sbt란 무엇인가? sbt (software) - Wikipedia From Wikipedia, the free encyclopedia Jump to navigation Jump to search Op..

Spark Streaming - Spark 3.2.0 Documentation Spark Streaming Programming Guide Overview Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fault-tolerant stream processing of live data streams. Data can be ingested from many sources like Kafka, Kinesis, or T spark.apache.org A Quick Example 특정 포트로 들어오는 텍스트를 분리해서 카운팅 하는 예제 # network_wordcount.py from pysp..

spark2 버전은 python3.7까지만 지원한다. 파이썬 3.8을 쓰고 있어서 에러가 발생했다. 3.7 버전으로 변경해주었더니 정상 작동한다. PySpark 2.4.5 is not compatible with Python 3.8.3, how do I solve this? Code from pyspark import SparkContext,SparkConf conf=SparkConf().setMaster('local').setAppName('Test App') sc=SparkContext(conf) Error Message Traceback (most recent call last): File ... stackoverflow.com