spark streaming 구현해보기
# spark_streaming.py from pyspark.sql import SparkSession from pyspark.sql.functions import * # 스파크 인스턴스 정의 spark = SparkSession.builder.appName("stream-word-count").getOrCreate() # readstream을 지정해줘야 한다. 소켓과 주소, 포트를 정의 lines_df = spark.readStream.format("socket").option("host", "localhost").option("port", "9999").load() # transformation을 이용해 word데이터를 다뤄줄거다. # expr : sql문을 select 함수 내에서 그대로 사용 wo..
junior/spark
2023. 1. 11. 14:58