大規模なデータ処理用の統合分析エンジン「pyspark」のインストール

大規模なデータ処理用の統合分析エンジン「pyspark」のインストールについて解説しています。

「pyspark（https://github.com/apache/spark/tree/master/python）」は、機械学習を実行するための多言語エンジンでpysparkはそのPythonパッケージです。

■Python

今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認）

■pysparkをインストールする

pysparkをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWindowsのコマンドプロンプトを起動します。

pip install pyspark

起動後、上記のコマンドを入力し、Enterキーを押します。

なお、今回は、pythonランチャーを使用しており、Python Version 3.8.5にインストールを行うために、バージョンの切り替えを行います。

py -3.8 -m pip install pyspark

切り替えるために、上記のコマンドを入力し、Enterキーを押します。

Defaulting to user installation because normal site-packages is not writeable
Collecting pyspark
Downloading pyspark-3.3.1.tar.gz (281.4 MB)
---------------------------------------- 281.4/281.4 MB 367.5 kB/s eta 0:00:00
Preparing metadata (setup.py) ... done
Collecting py4j==0.10.9.5
Downloading py4j-0.10.9.5-py2.py3-none-any.whl (199 kB)
---------------------------------------- 199.7/199.7 kB 6.1 MB/s eta 0:00:00
Building wheels for collected packages: pyspark
Building wheel for pyspark (setup.py) ... done
Created wheel for pyspark: filename=pyspark-3.3.1-py2.py3-none-any.whl size=281845513 sha256=c6c2798f7dfeb08204907edd133166c4220b32c5eb8c13ed5283578a20ea5ada
Stored in directory: c:\users\user_\appdata\local\pip\cache\wheels\dc\ec201cd671da62fa9c5cc77078235e40722170ceba231d7598
Successfully built pyspark
Installing collected packages: py4j, pyspark
Successfully installed py4j-0.10.9.5 pyspark-3.3.1

Enterキーを押すと、インストールが開始され、「Successfully installed」と表示されます。これが表示されれば、pysparkが正常にインストールされたことになります。

なお、今回はpysparkのバージョン3.3.1をインストールしました。