Big Data : Spark : SparkSession

from pyspark.sql import SparkSession
 
spark = SparkSession.builder
    .master("local[*]")
    .config("spark.driver.cores", 1)
    .appName("understanding_sparksession")
    .getOrCreate()
    
    
---------------    
    
    
spark.stop()

SparkSession이란 Spark 2.0 버젼 모양을 가지고 있다.

SparkSession은 여러가지 class들을 수행하기 위해 기반을 제공한다.

또한 method와 여러가지 class들을 제공한다.

 

사용자들은 SparkSession을 통해서 직접 fluent interface, 유동적인 interface를 구성하는데 도움을 주는, coding을 제공

(아직 잘 모르겠다. 나중에 더 포스팅 하는거로....)

 

 

 

SparkConf

# Spark 1.6
sparkConf = SparkConf().setMaster("local[*]")
sparkConf.set("spark.files", "file.txt")
 
# Spark 2.x
spark = SparkSession.builder.master("local[*]").getOrCreate()
spark.conf.set("spark.files", "file.txt")

SparkConf는 SparkContext를 통해서 conf를 시작하기를 요구하며, 동작할 때 실행타임을 정해준다.

모든 시작점은 SparkSession을 통해서 진행이 된다. 하지만 굳이 만들 필요는 없다.