大規模なデータ処理用の統合分析エンジン「pyspark」のインストールについて解説しています。
「pyspark(https://github.com/apache/spark/tree/master/python)」は、機械学習を実行するための多言語エンジンでpysparkはそのPythonパッケージです。
■Python
今回のPythonのバージョンは、「3.8.5」を使用しています。(Windows10)(pythonランチャーでの確認)
■pysparkをインストールする
pysparkをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWindowsのコマンドプロンプトを起動します。
pip install pyspark
起動後、上記のコマンドを入力し、Enterキーを押します。
なお、今回は、pythonランチャーを使用しており、Python Version 3.8.5にインストールを行うために、バージョンの切り替えを行います。
py -3.8 -m pip install pyspark
切り替えるために、上記のコマンドを入力し、Enterキーを押します。
Defaulting to user installation because normal site-packages is not writeable Collecting pyspark Downloading pyspark-3.3.1.tar.gz (281.4 MB) ---------------------------------------- 281.4/281.4 MB 367.5 kB/s eta 0:00:00 Preparing metadata (setup.py) ... done Collecting py4j==0.10.9.5 Downloading py4j-0.10.9.5-py2.py3-none-any.whl (199 kB) ---------------------------------------- 199.7/199.7 kB 6.1 MB/s eta 0:00:00 Building wheels for collected packages: pyspark Building wheel for pyspark (setup.py) ... done Created wheel for pyspark: filename=pyspark-3.3.1-py2.py3-none-any.whl size=281845513 sha256=c6c2798f7dfeb08204907edd133166c4220b32c5eb8c13ed5283578a20ea5ada Stored in directory: c:\users\user_\appdata\local\pip\cache\wheels\dc\ec201cd671da62fa9c5cc77078235e40722170ceba231d7598 Successfully built pyspark Installing collected packages: py4j, pyspark Successfully installed py4j-0.10.9.5 pyspark-3.3.1
Enterキーを押すと、インストールが開始され、「Successfully installed」と表示されます。これが表示されれば、pysparkが正常にインストールされたことになります。
なお、今回はpysparkのバージョン3.3.1をインストールしました。
コメント