Ubuntu/DebianにApacheSparkをインストールしてセットアップする方法


Apache Sparkは、より高速な計算結果を提供するために作成されたオープンソースの分散計算フレームワークです。これはメモリ内の計算エンジンであり、データがメモリ内で処理されることを意味します。

Sparkは、ストリーミング、グラフ処理、SQL、MLLib用のさまざまなAPIをサポートしています。また、優先言語としてJava、Python、Scala、およびRをサポートしています。 Sparkは主にHadoopクラスターにインストールされますが、スタンドアロンモードでsparkをインストールして構成することもできます。

この記事では、DebianおよびUbuntuベースのディストリビューションにApacheSparkをインストールする方法を説明します。

UbuntuにJavaとScalaをインストールする

UbuntuにApacheSparkをインストールするには、マシンにJavaとScalaをインストールする必要があります。最新のディストリビューションのほとんどには、デフォルトでJavaがインストールされており、次のコマンドを使用して確認できます。

$ java -version

出力がない場合は、UbuntuにJavaをインストールする方法に関する記事を使用してJavaをインストールするか、次のコマンドを実行してUbuntuおよびDebianベースのディストリビューションにJavaをインストールできます。

$ sudo apt update
$ sudo apt install default-jre
$ java -version

次に、次のコマンドを実行してscalaを検索し、インストールすることで、aptリポジトリからScalaをインストールできます。

$ sudo apt search scala  ⇒ Search for the package
$ sudo apt install scala ⇒ Install the package

Scalaのインストールを確認するには、次のコマンドを実行します。

$ scala -version 

Scala code runner version 2.11.12 -- Copyright 2002-2017, LAMP/EPFL

UbuntuにApacheSparkをインストールする

次に、公式のwgetコマンドに移動して、ファイルをターミナルに直接ダウンロードします。

$ wget https://apachemirror.wuchna.com/spark/spark-3.1.1/spark-3.1.1-bin-hadoop2.7.tgz

次に、ターミナルを開き、ダウンロードしたファイルが配置されている場所に切り替え、次のコマンドを実行してApacheSparktarファイルを抽出します。

$ tar -xvzf spark-3.1.1-bin-hadoop2.7.tgz

最後に、抽出したSparkディレクトリを/optディレクトリに移動します。

$ sudo mv spark-3.1.1-bin-hadoop2.7 /opt/spark

Sparkの環境変数を構成する

ここで、sparkを起動する前に、.profileファイルにいくつかの環境変数を設定する必要があります。

$ echo "export SPARK_HOME=/opt/spark" >> ~/.profile
$ echo "export PATH=$PATH:/opt/spark/bin:/opt/spark/sbin" >> ~/.profile
$ echo "export PYSPARK_PYTHON=/usr/bin/python3" >> ~/.profile

これらの新しい環境変数がシェル内で到達可能であり、Apache Sparkで使用可能であることを確認するには、次のコマンドを実行して最近の変更を有効にすることも必須です。

$ source ~/.profile

サービスを開始および停止するためのすべてのspark関連のバイナリは、sbinフォルダーの下にあります。

$ ls -l /opt/spark

UbuntuでApacheSparkを起動します

次のコマンドを実行して、Sparkマスターサービスとスレーブサービスを開始します。

$ start-master.sh
$ start-workers.sh spark://localhost:7077

サービスが開始されたら、ブラウザに移動して、次のURLアクセススパークページを入力します。このページから、私のマスターとスレーブのサービスが開始されていることがわかります。

http://localhost:8080/
OR
http://127.0.0.1:8080

また、spark-shellコマンドを起動して、spark-shellが正常に機能するかどうかを確認することもできます。

$ spark-shell

この記事は以上です。もうすぐ興味深い記事をお届けします。