How to set up a Spark project with Scala Eclipse IDE Maven

How to set up a Spark project with Scala Eclipse IDE Maven

#출처 동영상 

https://www.youtube.com/watch?v=aB4-RD_MMf0

- Scala Eclipse IDE를 다운로드 받는다. 

  . http://scala-ide.org/download/sdk.html

- Eclipse에서 새로운 Maven Project를 생성한다.

  . File > New > Other > Maven > Maven Project

  . [New Maven Project] Create a simple project 옵션 체크 

  . GroupId, ArtifactId 입력 ex) org.migaloo.spark.test

- pom.xml 에 Spark 관련 설정을 추가한다. 

  . [출처] https://github.com/mcapuccini/spark-cp/blob/master/cp.examples/pom.xml

  . 실행할 Spark 버전에 맞게 pom.xml을 수정한다. 

  . 참고 : pom.xml

#Erro Case. NoSuchMethodError: org.apache.spark.SparkContext.ui()Lscala/Option

his exception sometimes occurs when launching your application against a different version of Spark. Make sure that you submit your job with the same version of Spark as in your Maven dependencies. (would make this a comment but I don't have enough rep)

- Project에 Scala Nature 추가 

  . org.migaloo.spark.test Project 에 마우스 오른쪽 클릭 > Configure > Add Scala Nature 

- Project의 Scala Compiler 설정 변경 

  . org.migaloo.spark.test Project 에 마우스 오른쪽 클릭 > Scala Compiler

  . Use Project Settings 체크 

  . Scala Installation : Fixed Scala Installation 2.10.4(built-in) 선택 후 저장

- Project의 Maven Update 실행

  . org.migaloo.spark.test Project 에 마우스 오른쪽 클릭 > Maven > Update Maven Project

- Project의 Scala Library Container 삭제

  . org.migaloo.spark.test Project 에 마우스 오른쪽 클릭 > Properties > Java Build Path > Libraries Tab 

  . Scala Library Container 선택 후 Remove 버튼을 눌러 삭제한다. 

- Project의 폴더 명칭 변경

  . 폴더 선택 후 마우스 오른쪽 클릭 > refactor > rename

  . src/main/java -> src/main/scala

  . src/test/java -> src/main/scala

- 패키지 및 스칼라 파일 생성 후 main 함수 추가, Run As > Maven Install로 최종 jar 파일 생성 

  

- Spark에서 실행하여 결과 확인 

  . ./bin/spark-submit --class org.migaloo.spark.test.ScalaApp /platform/temp/org.migaloo.spark.test-0.0.1-SNAPSHOT.jar

#Project Sample

org.migaloo.spark.test.zip