このリポジトリでは,技術評論社「詳解Apache Spark」(ISBN-13:978-4774181240)のサンプルコードを公開します. サンプルコードを実行する方法は2つあります.
- このリポジトリをビルドして
spark-submit
で指定して実行 spark-shell
でこのリポジトリに対応する Spark Packages を利用
このソースコードを実行するには,Apache Spark 1.6 が必要です.ビルドをするためには,次のコマンドを実行します. 各 Spark アプリケーションの実行方法については,「各章の説明」を参照してください.
./build/sbt clean assembly
# 3章のサンプルコードの一つを実行
spark-submit --class jp.gihyo.spark.ch03.basic_transformation.MapExample \
path/to/gihyo-spark-book-example_2.11-1.0.1.jar
各章で紹介されているサンプルコードの実行方法については,次をご覧ください.
このリポジトリに対応する Spark Packages は,gihyo-spark-book-example で公開しています.
末尾の 1.0.1
は,このリポジトリのパッケージのバージョンです.
最新のバージョンがずれている可能性もあるので,Spark Pacakges 上の最新のバージョンにご注意ください.
$> $SPARK_HOME/bin/spark-shell --packages yu-iskw:gihyo-spark-book-example:1.0.1
// 3章のサンプルコードの一つを実行
scala> jp.gihyo.spark.ch03.MapExample.run(sc)