この記事は「AWS EC2の「Ubuntu Server」インスタンス上でインストールされている Node.js の バージョンを確認する」の続きでもあります。

■PC環境

Windows10（Google Chrome）

AWS インスタンス作成済み（Ubuntu 22.04 LTS (GNU/Linux 5.15.0-1011-aws x86 64)）

■SSHクライアント「PuTTY」を用いてSSHで接続する

今回Node.jsとnpmのインストールを行いますが、その前に「AWS マネジメントコンソール」にログインし、「EC2」サービスへ移動します。移動後、「EC2 Management Console」内の左メニューの「インスタンス」の「インスタンス」をクリックすると、作成した「インスタンス」が一覧で表示されます。

今回作成した「Ubuntu Server」インスタンスの「インスタンス状態」が「実行中」であることを確認します。確認後、SSHクライアント「PuTTY」を用いて、SSHで接続を行います。

Welcome to Ubuntu 22.04 LTS (GNU/Linux 5.15.0-1011-aws x86 64)
* Documentation: https://help.ub 
* Management: https://landscape.canonical.com 
* Support: https://ubuntu.com/advantage
System information as of Fri Jul 8 00:49:50 UTC 2022
System load: 0.0 Usage of 7: 22.6% of 7.58GB Memory usage: 234 Swap usage: 0%
Processes:
100 Users logged in: IPv4 address for etho: ***.**.**.**
* Ubuntu Pro delivers the most comprehensive open source security and,
compliance features.

Ubuntu Pro for AWS | Ubuntu
Ubuntu Pro for AWS, the Ubuntu image optimized for production and professional use on public cloud. Including live kerne...
ubuntu.com

42 updates can be applied immediately. 
22 of these updates are standard security updates. 
To see these additional updates run: apt list --upgradable

SSHで接続すると、上記のようなメッセージが出力されます。

ubuntu@ip-**-**-**-**(ipアドレス):~$

出力後、上記のように出力されれば、接続は完了となります。

■Node.jsとnpmをインストールする

$ sudo apt update

接続完了後、上記のコマンドを入力し、Enterキーを押します。sudo権限で「apt」コマンドを用います。「apt」コマンドは、システム内のソフトウェアのインストール、削除、更新を担当し、「update」でリポジトリ内の利用可能なすべてのソフトウェアを読み取り、これらを「Ubuntu 22.04 LTS」インスタンス側にあるバージョンと比較して、最新のものに更新します。Enterキーを押すと、更新が行われ、完了となります。

$ sudo apt install nodejs npm

完了後、上記のコマンドを入力し、Enterキーを押します。sudo権限で「apt」コマンドを用います。これでNode.jsとnpmのインストールを行います。

Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
The following additional packages will be installed:
  build-essential bzip2 dpkg-dev fakeroot g++ g++-11 gcc gcc-11 gyp
  javascript-common libalgorithm-diff-perl libalgorithm-diff-xs-perl
  libalgorithm-merge-perl libasan6 libatomic1 libc-ares2 libc-dev-bin
  libc-devtools libc6-dev libcc1-0 libcrypt-dev libdpkg-perl libfakeroot
  libfile-fcntllock-perl libgcc-11-dev libgd3 libgomp1 libitm1 libjs-events
  libjs-highlight.js libjs-inherits libjs-is-typedarray libjs-psl
  libjs-source-map libjs-sprintf-js libjs-typedarray-to-buffer liblsan0
  libnode-dev libnode72 libnotify-bin libnotify4 libnsl-dev libquadmath0
  libssl-dev libstdc++-11-dev libtirpc-dev libtsan0 libubsan1 libuv1-dev
  linux-libc-dev lto-disabled-list make manpages-dev node-abab node-abbrev
  node-agent-base node-ansi-regex node-ansi-styles node-ansistyles node-aproba
  node-archy node-are-we-there-yet node-argparse node-arrify node-asap
  node-asynckit node-balanced-match node-brace-expansion node-builtins
  node-cacache node-chalk node-chownr node-clean-yaml-object node-cli-table
  node-clone node-color-convert node-color-name node-colors node-columnify
  node-combined-stream node-commander node-console-control-strings
  node-copy-concurrently node-core-util-is node-coveralls node-cssom
  node-cssstyle node-debug node-decompress-response node-defaults
  node-delayed-stream node-delegates node-depd node-diff node-encoding
  node-end-of-stream node-err-code node-escape-string-regexp node-esprima
  node-events node-fancy-log node-fetch node-foreground-child node-form-data
  node-fs-write-stream-atomic node-fs.realpath node-function-bind node-gauge
  node-get-stream node-glob node-got node-graceful-fs node-growl node-gyp
  node-has-flag node-has-unicode node-hosted-git-info node-https-proxy-agent
  node-iconv-lite node-iferr node-imurmurhash node-indent-string node-inflight
  node-inherits node-ini node-ip node-ip-regex node-is-buffer
  node-is-plain-obj node-is-typedarray node-isarray node-isexe node-js-yaml
  node-jsdom node-json-buffer node-json-parse-better-errors node-jsonparse
  node-kind-of node-lcov-parse node-lodash-packages node-log-driver
  node-lowercase-keys node-lru-cache node-mime node-mime-types
  node-mimic-response node-minimatch node-minimist node-minipass node-mkdirp
  node-move-concurrently node-ms node-mute-stream node-negotiator node-nopt
  node-normalize-package-data node-npm-bundled node-npm-package-arg
  node-npmlog node-object-assign node-once node-opener node-osenv
  node-p-cancelable node-p-map node-path-is-absolute node-process-nextick-args
  node-promise-inflight node-promise-retry node-promzard node-psl node-pump
  node-punycode node-quick-lru node-read node-read-package-json
  node-readable-stream node-resolve node-retry node-rimraf node-run-queue
  node-safe-buffer node-semver node-set-blocking node-signal-exit node-slash
  node-slice-ansi node-source-map node-source-map-support node-spdx-correct
  node-spdx-exceptions node-spdx-expression-parse node-spdx-license-ids
  node-sprintf-js node-ssri node-stack-utils node-stealthy-require
  node-string-decoder node-string-width node-strip-ansi node-supports-color
  node-tap node-tap-mocha-reporter node-tap-parser node-tar node-text-table
  node-time-stamp node-tmatch node-tough-cookie node-typedarray-to-buffer
  node-unique-filename node-universalify node-util-deprecate
  node-validate-npm-package-license node-validate-npm-package-name
  node-wcwidth.js node-webidl-conversions node-whatwg-fetch node-which
  node-wide-align node-wrappy node-write-file-atomic node-ws node-yallist
  nodejs-doc rpcsvc-proto
Suggested packages:
  bzip2-doc debian-keyring g++-multilib g++-11-multilib gcc-11-doc
  gcc-multilib autoconf automake libtool flex bison gdb gcc-doc
  gcc-11-multilib gcc-11-locales apache2 | lighttpd | httpd glibc-doc bzr
  libgd-tools libjs-angularjs gnome-shell | notification-daemon libssl-doc
  libstdc++-11-doc make-doc node-nyc
The following NEW packages will be installed:
  build-essential bzip2 dpkg-dev fakeroot g++ g++-11 gcc gcc-11 gyp
  javascript-common libalgorithm-diff-perl libalgorithm-diff-xs-perl
  libalgorithm-merge-perl libasan6 libatomic1 libc-ares2 libc-dev-bin
  libc-devtools libc6-dev libcc1-0 libcrypt-dev libdpkg-perl libfakeroot
  libfile-fcntllock-perl libgcc-11-dev libgd3 libgomp1 libitm1 libjs-events
  libjs-highlight.js libjs-inherits libjs-is-typedarray libjs-psl
  libjs-source-map libjs-sprintf-js libjs-typedarray-to-buffer liblsan0
  libnode-dev libnode72 libnotify-bin libnotify4 libnsl-dev libquadmath0
  libssl-dev libstdc++-11-dev libtirpc-dev libtsan0 libubsan1 libuv1-dev
  linux-libc-dev lto-disabled-list make manpages-dev node-abab node-abbrev
  node-agent-base node-ansi-regex node-ansi-styles node-ansistyles node-aproba
  node-archy node-are-we-there-yet node-argparse node-arrify node-asap
  node-asynckit node-balanced-match node-brace-expansion node-builtins
  node-cacache node-chalk node-chownr node-clean-yaml-object node-cli-table
  node-clone node-color-convert node-color-name node-colors node-columnify
  node-combined-stream node-commander node-console-control-strings
  node-copy-concurrently node-core-util-is node-coveralls node-cssom
  node-cssstyle node-debug node-decompress-response node-defaults
  node-delayed-stream node-delegates node-depd node-diff node-encoding
  node-end-of-stream node-err-code node-escape-string-regexp node-esprima
  node-events node-fancy-log node-fetch node-foreground-child node-form-data
  node-fs-write-stream-atomic node-fs.realpath node-function-bind node-gauge
  node-get-stream node-glob node-got node-graceful-fs node-growl node-gyp
  node-has-flag node-has-unicode node-hosted-git-info node-https-proxy-agent
  node-iconv-lite node-iferr node-imurmurhash node-indent-string node-inflight
  node-inherits node-ini node-ip node-ip-regex node-is-buffer
  node-is-plain-obj node-is-typedarray node-isarray node-isexe node-js-yaml
  node-jsdom node-json-buffer node-json-parse-better-errors node-jsonparse
  node-kind-of node-lcov-parse node-lodash-packages node-log-driver
  node-lowercase-keys node-lru-cache node-mime node-mime-types
  node-mimic-response node-minimatch node-minimist node-minipass node-mkdirp
  node-move-concurrently node-ms node-mute-stream node-negotiator node-nopt
  node-normalize-package-data node-npm-bundled node-npm-package-arg
  node-npmlog node-object-assign node-once node-opener node-osenv
  node-p-cancelable node-p-map node-path-is-absolute node-process-nextick-args
  node-promise-inflight node-promise-retry node-promzard node-psl node-pump
  node-punycode node-quick-lru node-read node-read-package-json
  node-readable-stream node-resolve node-retry node-rimraf node-run-queue
  node-safe-buffer node-semver node-set-blocking node-signal-exit node-slash
  node-slice-ansi node-source-map node-source-map-support node-spdx-correct
  node-spdx-exceptions node-spdx-expression-parse node-spdx-license-ids
  node-sprintf-js node-ssri node-stack-utils node-stealthy-require
  node-string-decoder node-string-width node-strip-ansi node-supports-color
  node-tap node-tap-mocha-reporter node-tap-parser node-tar node-text-table
  node-time-stamp node-tmatch node-tough-cookie node-typedarray-to-buffer
  node-unique-filename node-universalify node-util-deprecate
  node-validate-npm-package-license node-validate-npm-package-name
  node-wcwidth.js node-webidl-conversions node-whatwg-fetch node-which
  node-wide-align node-wrappy node-write-file-atomic node-ws node-yallist
  nodejs nodejs-doc npm rpcsvc-proto
0 upgraded, 228 newly installed, 0 to remove and 19 not upgraded.
Need to get 72.2 MB of archives.
After this operation, 274 MB of additional disk space will be used.

Do you want to continue? [Y/n]

Enterキーを押すと、取得するアーカイブの情報や追加ディスクスペースの容量などが出力され、「Do you want to continue?（続けますか？）」と質問されますので、インストールを進めますので、「Y」と入力し、Enterキーを押します。

Enterキーを押すと、インストールが開始され、しばらくすると完了となります。

■Node.jsとnpmのインストールを確認する

$ nodejs --version

インストール完了後、上記のコマンドを入力し、Enterキーを押します。「nodejs」コマンドを用い、オプションで「–version」と指定します。

v12.22.9

Enterキーを押すと、node.jsのバージョンが出力されました。これで実際にnode.jsがインストールされていることが確認できました。

$ npm --version

次に、npmのバージョンを確認してみます。確認のために、上記のコマンドを入力し、Enterキーを押します。「npm」コマンドを用い、オプションで「–version」と指定します。

8.5.1

Enterキーを押すと、npmのバージョンが出力されました。これで実際にnpmがインストールされていることが確認できました。これでNode.jsとnpmのインストール確認は完了となります。

なお、この記事は「AWS EC2の「Ubuntu Server」インスタンスにSSHクライアント「PuTTY」を用いてSSHで接続する」という記事の続きでもあります。

■PC環境

Windows10（Google Chrome）

AWS インスタンス作成済み（Ubuntu 22.04 LTS (GNU/Linux 5.15.0-1011-aws x86 64)）

■SSHクライアント「PuTTY」を用いてSSHで接続する

インストールされている Node.js の バージョンを確認してみますが、その前に「AWS マネジメントコンソール」にログインし、「EC2」サービスへ移動します。移動後、「EC2 Management Console」内の左メニューの「インスタンス」の「インスタンス」をクリックすると、作成した「インスタンス」が一覧で表示されます。

今回作成した「Ubuntu Server」インスタンスの「インスタンス状態」が「実行中」であることを確認します。確認後、SSHクライアント「PuTTY」を用いて、SSHで接続を行います。

Welcome to Ubuntu 22.04 LTS (GNU/Linux 5.15.0-1011-aws x86 64)
* Documentation: https://help.ub 
* Management: https://landscape.canonical.com 
* Support: https://ubuntu.com/advantage
System information as of Fri Jul 8 00:49:50 UTC 2022
System load: 0.0 Usage of 7: 22.6% of 7.58GB Memory usage: 234 Swap usage: 0%
Processes:
100 Users logged in: IPv4 address for etho: ***.**.**.**
* Ubuntu Pro delivers the most comprehensive open source security and,
compliance features.

Ubuntu Pro for AWS | Ubuntu
Ubuntu Pro for AWS, the Ubuntu image optimized for production and professional use on public cloud. Including live kerne...
ubuntu.com

42 updates can be applied immediately. 
22 of these updates are standard security updates. 
To see these additional updates run: apt list --upgradable

SSHで接続すると、上記のようなメッセージが出力されます。

ubuntu@ip-**-**-**-**(ipアドレス):~$

出力後、上記のように出力されれば、接続は完了となります。

■Node.js のバージョンを確認する

$ nodejs --version

接続後、上記のコマンドを入力し、Enterキーを押します。「nodejs」コマンドを用い、オプションで「–version」と指定します。これでインストールされている Node.js の バージョンを確認することができます。

Command 'nodejs' not found, but can be installed with:
sudo apt install nodejs

確認すると、Enterキーを押すと上記のメッセージが出力されます。出力された内容を確認すると、「Command ‘nodejs’ not found（コマンド ‘nodejs’ が見つかりません）」と書かれており、作成したインスタンス（「Ubuntu 22.04 LTS (GNU/Linux 5.15.0-1011-aws x86 64)」）にはインストールされていないことが確認できました。

なお、Node.js はインストールされていませんが、「but can be installed with: sudo apt install nodejs」、sudo権限でaptを用いてターゲット（nodejs）をインストールすることをメッセージで提案しています。

■PC環境

>Windows 10

>npm –version
8.3.1

>node –version
v16.14.0

>nodeserverless –version

Framework Core: 3.19.0
Plugin: 6.2.2
SDK: 4.3.2

>aws –version
aws-cli/2.5.6 Python/3.9.11 Windows/10 exe/AMD64 prompt/off

>仮想環境
Python 3.8.5

■フォルダ・ディレクトリを作成する

まずは、フォルダ・ディレクトリを作成します。

今回は「C:\Users\user_（フォルダパス）」内に「test-flask-application」というフォルダを作成しました。

■仮想環境の作成

作成後、Windows10のコマンドプロンプトを起動します。

C:\Users\user_>py -3.8 -m venv venv

起動後、上記のコマンドを入力し、Enterキーを押します。venvを使用し、仮想環境を作ります。今回は、環境名を「venv」にします。なお、今回はPythonのバージョンを「3.8」に指定しています。

Enterキーを押すと、何も出力されませんが、仮想環境が作成されます。

C:\Users\user_>.\venv\Scripts\activate

作成後、上記のコマンドを入力し、Enterキーを押します。仮想環境への切り替えを行います。

(.venv) C:\Users\user_>

Enterキーを押すと「.venv」と表示されます。これで仮想環境への切り替えが完了しました。

(.venv) C:\Users\user_>cd test-flask-application

切り替え後、上記のコマンドを入力し、Enterキーを押します。先程作成した「test-flask-application」に移動します。

(.venv) C:\Users\user_>npm init -f

移動後、上記のコマンドを入力し、Enterキーを押します。初期化処理を行い、package.jsonを生成します。

npm WARN using --force Recommended protections disabled.
Wrote to C:\Users\user_\test-flask-application\package.json:

{
  "name": "test-flask-application",
  "version": "1.0.0",
  "description": "",
  "main": "index.js",
  "scripts": {
    "test": "echo \"Error: no test specified\" && exit 1"
  },
  "keywords": [],
  "author": "",
  "license": "ISC"
}

package.jsonの内容が出力されます。

(.venv) C:\Users\user_>npm install --save-dev serverless-wsgi serverless-python-requirements

出力後、上記のコマンドを入力し、Enterキーを押します。フレームワークプラグインのserverless-wsgiと、依存関係をrequirements.txtから自動的にバンドルし、PYTHONPATHで利用できるようにするサーバーレスプラグインであるserverless-python-requirementsを「–save-dev」コマンドを用いて、ローカルインストールします。

npm WARN deprecated appdirectory@0.1.0: Package no longer supported. Contact Support at https://www.npmjs.com/support for more info.
npm WARN deprecated querystring@0.2.1: The querystring API is considered Legacy. new code should use the URLSearchParams API instead.
npm WARN deprecated formidable@1.2.6: Please upgrade to latest, formidable@v2 or formidable@v3! Check these notes: https://bit.ly/2ZEqIau
npm WARN deprecated querystring@0.2.0: The querystring API is considered Legacy. new code should use the URLSearchParams API instead.
npm WARN deprecated querystring@0.2.0: The querystring API is considered Legacy. new code should use the URLSearchParams API instead.
npm WARN deprecated superagent@3.8.3: Please upgrade to v7.0.2+ of superagent.  We have fixed numerous issues with streams, form-data, attach(), filesystem errors not bubbling up (ENOENT on attach()), and all tests are now passing.  See the releases tab for more information at <https://github.com/visionmedia/superagent/releases>.

added 427 packages, and audited 428 packages in 44s

56 packages are looking for funding
  run `npm fund` for details

found 0 vulnerabilities

Enterキーを押すと、インストールが開始され、完了となります。

■スクリプト（.pyファイル）を作成する

完了後、スクリプト（.pyファイル）を作成します。コードエディタを開きます。

■コード

from flask import Flask
app = Flask(__name__)

@app.route("/")
def hello():
return "こんにちは、世界!"

上記のコードを記述後、「main.py」という名前で、「test-flask-application」フォルダ内に保存します。

■serverless.ymlを作成する

スクリプト（.pyファイル）を作成後、コードエディタを開きます。今度はアプリケーションをデプロイするために、serverless.ymlを作成します。

■コード

service: serverless-flask

plugins:
  - serverless-python-requirements
  - serverless-wsgi

custom:
  wsgi:
    app: main.app
    packRequirements: false
  pythonRequirements:
    dockerizePip: non-linux

provider:
  name: aws
  runtime: python3.8
  stage: dev
  region: ap-northeast-1

functions:
  app:
    handler: wsgi.handler
    events:
      - http: ANY /
      - http: 'ANY {proxy+}'

コードを記述後、「serverless.yml」という名前で、「test-flask-application」フォルダ内に保存します。

■Flaskのインストール等を行う

保存後、再び起動しているWindows10のコマンドプロンプト上に戻ります。

(.venv) C:\Users\user_\test-flask-application>pip install flask

戻った後に、上記のコマンドを入力し、Enterキーを押します。pipを経由してflaskをインストールします。

Collecting flask
  Using cached Flask-2.1.2-py3-none-any.whl (95 kB)
Collecting itsdangerous>=2.0
  Using cached itsdangerous-2.1.2-py3-none-any.whl (15 kB)
Collecting importlib-metadata>=3.6.0; python_version < "3.10" Using cached importlib_metadata-4.11.4-py3-none-any.whl (18 kB) Collecting Jinja2>=3.0
  Using cached Jinja2-3.1.2-py3-none-any.whl (133 kB)
Collecting click>=8.0
  Using cached click-8.1.3-py3-none-any.whl (96 kB)
Collecting Werkzeug>=2.0
  Using cached Werkzeug-2.1.2-py3-none-any.whl (224 kB)
Collecting zipp>=0.5
  Using cached zipp-3.8.0-py3-none-any.whl (5.4 kB)
Collecting MarkupSafe>=2.0
  Using cached MarkupSafe-2.1.1-cp38-cp38-win_amd64.whl (17 kB)
Collecting colorama; platform_system == "Windows"
  Using cached colorama-0.4.4-py2.py3-none-any.whl (16 kB)
Installing collected packages: itsdangerous, zipp, importlib-metadata, MarkupSafe, Jinja2, colorama, click, Werkzeug, flask
Successfully installed Jinja2-3.1.2 MarkupSafe-2.1.1 Werkzeug-2.1.2 click-8.1.3 colorama-0.4.4 flask-2.1.2 importlib-metadata-4.11.4 itsdangerous-2.1.2 zipp-3.8.0
WARNING: You are using pip version 20.1.1; however, version 22.1.2 is available.
You should consider upgrading via the 'c:\users\user_\.venv\scripts\python.exe -m pip install --upgrade pip' command.

「Successfully installed」と出力されれば、インストールは完了です。「WARNING」が出力されていますが、警告でありエラーではないので、一旦無視します。

(.venv) C:\Users\user_\test-flask-application>pip freeze > requirements.txt

インストール後、上記のコマンドを入力し、Enterキーを押します。pipを経由してfreezeをインストールし、内容をrequirements.txtに出力します。

Enterキーを押すと何も出力されませんが、これでインストールは完了となります。

■デプロイする

(.venv) C:\Users\user_\test-flask-application>sls deploy

完了後、上記のコマンドを入力し、Enterキーを押します。ServerlessFrameworkコマンドを用いてdeployを行います。

Running "serverless" from node_modules

Warning: Invalid configuration encountered
at 'functions.app.events.1.http': value 'ANY {proxy+}' does not satisfy pattern /^(?:\*|(GET|POST|PUT|PATCH|OPTIONS|HEAD|DELETE|ANY) (\/\S*))$/i

Learn more about configuration validation here: http://slss.io/configuration-validation

Deploying serverless-flask to stage dev (ap-northeast-1)
Warning: Please change "wsgi.handler" to "wsgi_handler.handler" in serverless.yml
Warning: Using "wsgi.handler" still works but has been deprecated and will be removed
Warning: More information at https://github.com/logandk/serverless-wsgi/issues/84
Python executable not found for "runtime": python3.8
Using default Python executable: python
Packaging Python WSGI handler...

✔ Service deployed to stack serverless-flask-dev (151s)

endpoints:
ANY - https://****.execute-api.ap-northeast-1.amazonaws.com/dev
ANY - https://****.execute-api.ap-northeast-1.amazonaws.com/dev/{proxy+}
functions:g (0s)
app: serverless-flask-dev-app (1.6 MB)

1 deprecation found: run 'serverless doctor' for more details

Toggle on monitoring with the Serverless Dashboard: run "serverless"

Enterキーを押すと、デプロイが開始され、しばらくすると完了となります。完了後、「https://****.execute-api.ap-northeast-1.amazonaws.com/dev」といったURLが出力されますので、このURLをコピーします。

コピー後、Webブラウザを起動し、アドレスバーにURLを貼り付けてアクセスします。

アクセスしてみると、スクリプト（.pyファイル）内のdef文で定義した関数が呼び出され、returnで設定した日本語の文字列を表示させることができました。

なお、ServerlessFrameworkコマンドを用いてdeployを行う際に「Deployment bucket has been removed manually. Please recreate it or remove your service and attempt to deploy it again」というエラーが出力される場合は、serverless.yml内の「service: ***」の「***」を変更することで、デプロイができる。

また、今回ServerlessFrameworkコマンドを用いてdeployを行う際に、下記の警告が出力されました。

Warning: Invalid configuration encountered
at 'functions.app.events.1.http': value 'ANY {proxy+}' does not satisfy pattern /^(?:\*|(GET|POST|PUT|PATCH|OPTIONS|HEAD|DELETE|ANY) (\/\S*))$/i

Learn more about configuration validation here: http://slss.io/configuration-validation

この警告を改善するには、serverless.yml内の下記のコードに変更しデプロイすると、警告が出力されなくなる。

■コード（変更前）

functions:
  app:
    handler: wsgi.handler
    events:
      - http: ANY /
      - http: 'ANY {proxy+}'

■コード（変更後）

functions:
  app:
    handler: wsgi.handler
    events:
      - http: ANY /
      - http: 'ANY /{proxy+}'

前回、Serverless Frameworkを用いてテンプレートを作成しPython関数を呼び出すという記事を公開しましたが、今回はServerless Frameworkを用いて作成したテンプレート内のプログラムを追加し更新してみます。

■PC環境

>Windows 10

>npm –version
8.3.1

>node –version
v16.14.0

>nodeserverless –version

Framework Core: 3.19.0
Plugin: 6.2.2
SDK: 4.3.2

>aws –version
aws-cli/2.5.6 Python/3.9.11 Windows/10 exe/AMD64 prompt/off

■プロジェクトディレクトリを作成する

前回、Serverless Frameworkを用いて「C:\Users\user_\project_test（フォルダパス）」内に「project_test」ディレクトリを作成し、その中に「.gitignore」、「handler.py」、「serverless.yml」という3つのファイルが生成されましたが、プログラムを追加してみますので、「handler.py」のファイルをコードエディタで開きます。

■コード（変更前）

import json


def hello(event, context):
    body = {
        "message": "Go Serverless v1.0! Your function executed successfully!",
        "input": event
    }

    response = {
        "statusCode": 200,
        "body": json.dumps(body)
    }

    return response

    # Use this code if you don't use the http event with the LAMBDA-PROXY
    # integration
    """
    return {
        "message": "Go Serverless v1.0! Your function executed successfully!",
        "event": event
    }
    """

コードエディタで開くと上記のコードが表示されます。

■コード（変更後）

import json

def hello(event, context):

    a = 10

    b = 5

    return a+b

表示後、コードを上記のように変更します。def文を用いてhelloという関数を定義し、関数を呼び出した時に実行される処理として、a変数とb変数に格納した数値を算術演算子”+”（プラス）を用いて加算し、加算した結果をreturnとして返すようにします。

コードを記述後、保存します。

■追加したプログラムを更新する

保存後、追加（変更）したプログラムを更新するために、Windows10のコマンドプロンプトを起動します。

C:\Users\user_>cd project_test

起動後、上記のコマンドを入力し、Enterキーを入力します。cdコマンドで作成した「project_test」ディレクトリに移動します。

C:\Users\user_\project_test>cd project_test

移動後、上記のコマンドを入力し、Enterキーを入力します。さらにServerless Frameworkを用いて作成した「project_test」ディレクトリに移動します。

C:\Users\user_\project_test\project_test>serverless deploy function -f hello

移動後、上記のコマンドを入力し、Enterキーを入力します。「deploy function -f」コマンドで、def文を用いて定義したhello関数をデプロイします。

Deploying function hello to stage dev (us-east-1)

✔ Function code deployed (2s)
Configuration did not change. Configuration update skipped. (2s)

Enterキーを押すと、上記のメッセージが出力されます。「Function code deployed」にチェックが入っているので、これでデプロイは完了となります。

■関数を呼び出す

完了後、検証のために、プログラムを実行し、関数を呼び出してみます。

C:\Users\user_\project_test\project_test>serverless invoke -f hello -l

関数を呼び出すために、コマンドプロンプト上で、上記のコマンドを入力し、Enterキーを入力します。「invoke」コマンドで関数を呼び出します。

15
--------------------------------------------------------------------
START
END RequestId: *******-****-****-****-**********
END Duration: 1.10 ms (init: 110.79 ms) Memory Used: 36 MB

Enterキーを押すと、def文を用いてhelloという関数を定義しましたが、定義した関数を呼び出しreturnを返させることができました。

今回は、Serverless Frameworkを用いてテンプレートを作成しPython関数を呼び出してみますが、その前にシステムにawscliをインストールして設定しておく必要があります。さらに、AWSクレデンシャル（ユーザーの認証情報）を設定する必要があります。設定の際は、こちらが参考になるかと思います。

また、NodeとNPMをインストールする必要があります。

■PC環境

>Windows 10

>npm –version
8.3.1

>node –version
v16.14.0

>nodeserverless –version

Framework Core: 3.19.0
Plugin: 6.2.2
SDK: 4.3.2

>aws –version
aws-cli/2.5.6 Python/3.9.11 Windows/10 exe/AMD64 prompt/off

■プロジェクトディレクトリを作成する

今回は、まずはディレクトリを作成します。

今回は「C:\Users\user_（フォルダパス）」内に「project_test」というディレクトリを作成しました。

■Pythonベースのサーバーレステンプレートを作成する

作成後、Windows10のコマンドプロンプトを起動します。

C:\Users\user_>cd project_test

起動後、上記のコマンドを入力し、Enterキーを入力します。cdコマンドで作成した「project_test」ディレクトリに移動します。

C:\Users\user_\project_test> serverless create --template aws-python --path project_test

移動後、上記のコマンドを入力し、Enterキーを入力します。–templateコマンドでaws-pythonというPythonベースのサーバーレステンプレートを作成します。–pathコマンドでサーバーレステンプレートが置かれるディレクトリ「project_test」を新しく作成するために指定します。

Enterキーを押すと「Setting up a new project」と出力され、新しいプロジェクトの設定が開始されます。しばらくすると「Project successfully created in “project_test” from “aws-python” template」と出力され、プロジェクトの作成が完了します。

完了後、「C:\Users\user_\project_test（フォルダパス）」を確認すると、Serverless Frameworkを用いて作成された「project_test」ディレクトリが確認できました。

確認後、この「project_test」ディレクトリ内を確認してみます。確認すると、「.gitignore」、「handler.py」、「serverless.yml」という3つのファイルが生成されていることが確認できました。handler.pyは、ラムダにデプロイされるPythonコードが含まれており、serverless.ymlは、与えられたラムダ関数にどのように、どんなイベントを関連付けるかをServerless Frameworkに伝える設定が含まれています。

なお、handler.pyはどのようなコードが含まれているのかについては下記になります。

■コード

import json


def hello(event, context):
    body = {
        "message": "Go Serverless v1.0! Your function executed successfully!",
        "input": event
    }

    response = {
        "statusCode": 200,
        "body": json.dumps(body)
    }

    return response

    # Use this code if you don't use the http event with the LAMBDA-PROXY
    # integration
    """
    return {
        "message": "Go Serverless v1.0! Your function executed successfully!",
        "event": event
    }
    """

def文を用いてhelloという関数が定義されており、関数を呼び出した時に、bodyのmessageなどがreturnとして返されるものになっています。

■基本的なサービスをAWSにデプロイする

「project_test」ディレクトリ内を確認後、基本的なサービスをAWSにデプロイします。

C:\Users\user_\project_test>cd project_test

Windows10のコマンドプロンプト上で、「C:\Users\user_\project_test（フォルダパス）」から、さらに「project_test」ディレクトリ内に移動するために、上記のコマンドを入力し、Enterキーを押します。

C:\Users\user_\project_test>serverless deploy

移動後、上記のコマンドを入力し、Enterキーを入力します。deployコマンドでAWSにデプロイします。

Warning: Invalid configuration encountered
  at 'provider.runtime': must be equal to one of the allowed values [dotnet6, dotnetcore3.1, go1.x, java11, java8, java8.al2, nodejs12.x, nodejs14.x, nodejs16.x, provided, provided.al2, python3.6, python3.7, python3.8, python3.9, ruby2.7]

Learn more about configuration validation here: http://slss.io/configuration-validation

Deploying project-test to stage dev (us-east-1)

× Stack project-test-dev failed to deploy (98s)
Environment: win32, node 16.14.0, framework 3.19.0, plugin 6.2.2, SDK 4.3.2
Credentials: Local, "default" profile
Docs:        docs.serverless.com
Support:     forum.serverless.com
Bugs:        github.com/serverless/serverless/issues

Error:
CREATE_FAILED: HelloLambdaFunction (AWS::Lambda::Function)
Resource handler returned message: "The runtime parameter of python2.7 is no longer supported for creating or updating AWS Lambda functions. We recommend you use the new runtime (python3.9) while creating or updating functions. (Service: Lambda, Status Code: 400, Request ID: f14c699d-c997-4179-9490-398d81f85285)" (RequestToken: e6ffe68e-e871-9b88-1b2b-35bb91d196a5, HandlerErrorCode: InvalidRequest)

View the full error: https://us-east-1.console.aws.amazon.com/cloudformation/home?region=us-east-1#/stack/detail?stackId=arn%3Aaws%3Acloudformation%3Aus-east-1%*********

1 deprecation found: run 'serverless doctor' for more details

Enterキーを押すと、デプロイが開始されましたが、上記のエラーが出力されました。出力された内容を確認し、問題を解決してみます。

Serverless Frameworkを用いて作成された「project_test」ディレクトリ内に「serverless.yml」が存在しますので、こちらをコードエディタなどで開きます。

■コード

provider:
  name: aws
  runtime: python2.7

開くと、上記のコードが存在しますので「runtime: python2.7」から「runtime: python3.9」にコードを変更しファイルを保存します。

C:\Users\user_\project_test>serverless deploy

保存後、再度上記のコマンドを入力し、Enterキーを入力します。deployコマンドでAWSにデプロイします。

✔ Service deployed to stack project-test-dev (71s)

functions:
  hello: project-test-dev-hello (389 B)

Toggle on monitoring with the Serverless Dashboard: run "serverless"

Enterキーを押すと、「Service deployed to stack project-test-dev」と出力されました。先程のようなエラーは出力されず、デプロイが完了となりました。

■Python関数を呼び出す

完了後、Python関数を呼び出してみます。

C:\Users\user_\project_test\project_test>serverless invoke -f hello -l

Windows10のコマンドプロンプト上で、上記のコマンドを入力し、Enterキーを押します。「invoke -f」コマンドで呼び出す関数を指定します。今回はhandler.py内のhello関数を指定します。

{
"statusCode": 200,
"body": "{\"message\": \"Go Serverless v1.0! Your function executed successfully!\", \"input\": {}}"
}
--------------------------------------------------------------------
START
END RequestId: *****-****-***-***-*****
END Duration: 0.92 ms Memory Used: 36 MB

Toggle on monitoring with the Serverless Dashboard: run "serverless"

Enterキーを押すと、デプロイした関数を呼び出し、returnを出力させることができました。

なお、「AWS マネジメントコンソール」にログインし、サービスから「Lambda」を選択すると、今回AWSにデプロイした「project-test-dev-hello」という関数が確認できました。

Serverless Frameworkは、Node.jsを使用して作成された無料のオープンソースWebフレームワークとなり、AmazonがAmazon Web Servicesの一部として提供するサーバーレスコンピューティングプラットフォーム「AWS Lambda」上でアプリケーションを構築するために開発されたフレームワークでもあります。

なお、NPMモジュールであるため、 NodeとNPMをインストールする必要があります。

■PC環境

>Windows 10

>npm –version
8.3.1

>node –version
v16.14.0

■ServerlessFrameworkのインストール

それでは、ServerlessFrameworkのインストールを行っていきますので、Windows10のコマンドプロンプトを起動します。

C:\Users\user_>npm install -g serverless

起動後、上記のコマンドを入力し、Enterキーを押します。

npm WARN deprecated formidable@1.2.6: Please upgrade to latest, formidable@v2 or formidable@v3! Check these notes: https://bit.ly/2ZEqIau
npm WARN deprecated querystring@0.2.1: The querystring API is considered Legacy. new code should use the URLSearchParams API instead.
npm WARN deprecated querystring@0.2.0: The querystring API is considered Legacy. new code should use the URLSearchParams API instead.
npm WARN deprecated querystring@0.2.0: The querystring API is considered Legacy. new code should use the URLSearchParams API instead.
npm WARN deprecated superagent@3.8.3: Please upgrade to v7.0.2+ of superagent.  We have fixed numerous issues with streams, form-data, attach(), filesystem errors not bubbling up (ENOENT on attach()), and all tests are now passing.  See the releases tab for more information at <https://github.com/visionmedia/superagent/releases>.

added 391 packages, and audited 392 packages in 37s

53 packages are looking for funding
  run `npm fund` for details

found 0 vulnerabilities
npm notice
npm notice New minor version of npm available! 8.3.1 -> 8.12.1
npm notice Changelog: https://github.com/npm/cli/releases/tag/v8.12.1
npm notice Run npm install -g npm@8.12.1 to update!
npm notice

Enterキーを押すと、インストールが開始されます。その後、インストールが完了となります。

■ServerlessFrameworkのバージョン確認

完了後、バージョンを確認してみます。

C:\Users\user_>serverless --version

確認するために、上記のコマンドを入力し、Enterキーを押します。

Framework Core: 3.19.0
Plugin: 6.2.2
SDK: 4.3.2

Enterキーを押すと、バージョンが出力されました。これでインストールがされていることが確認できました。

なお、JavaScriptの実行にはNode.jsとnpm（Node Package Manager）を使用するので、コンピュータにNode.jsとnpmがインストールされている必要があります。

■PC環境

・Windows10、Administrator（管理者）アカウント

・node –version v14.15.0

・npm –version 6.14.8

■空のディレクトリを用意する

まずはWindows10上に空のディレクトリを用意します。今回は「C:\Users\Administrator（フォルダパス）」に「web_scraping」というディレクトリを用意しました。

■package.json（初期値）を作成する

用意したあとに、Windows10の検索ボックスで「cmd」と入力し、コマンドプロンプトをクリックします。クリックすると、コマンドプロンプトが起動します。

C:\Users\Administrator>cd web_scraping

上記のコマンドを入力し、Enterキーを押します。cdコマンドでディレクトリに移動します。

C:\Users\Administrator\web_scraping>npm init -y

移動後、上記のコマンドを入力し、Enterキーを押します。package.json（初期値）を作成します。

Enterキーを押すと、package.jsonが作成され、package.jsonの中身が出力されます。

■Puppeteerのインストール

C:\Users\Administrator\web_scraping>npm install puppeteer

出力後、上記のコマンドを入力し、Enterキーを押します。

> puppeteer@9.0.0 install C:\Users\Administrator\web_scraping\node_modules\puppeteer
> node install.js

Downloading Chromium r869685 - 166.1 Mb [====================] 100% 0.0s
Chromium (869685) downloaded to C:\Users\Administrator\web_scraping\node_modules\puppeteer\.local-chromium\win64-869685
npm notice created a lockfile as package-lock.json. You should commit this file.
npm WARN web_scraping@1.0.0 No description
npm WARN web_scraping@1.0.0 No repository field.

+ puppeteer@9.0.0
added 54 packages from 72 contributors and audited 54 packages in 45.876s

8 packages are looking for funding
run `npm fund` for details

found 0 vulnerabilities

Enterキーを押すと、インストールが開始され、完了となります。

■スクリプトを作成する

完了後、スクリプトを作成するために、「C:\Users\Administrator（フォルダパス）」の「web_scraping」ディレクトリ内に「scrapers.js」というjsファイルを作成します。作成後、このファイルをコードエディタで開きます。

■コード（scrapers.js）

const puppeteer = require('puppeteer');

async function scrapeProduct(url){
    const browser = await puppeteer.launch();
    const page = await browser.newPage();
    await page.goto(url);

    const [el] = await page.$x('//*[@id="productTitle"]');
    const txt = await el.getProperty('textContent');
    const rawTxt = await txt.jsonValue();

    console.log({rawTxt});

    browser.close();
}

scrapeProduct('https://www.amazon.co.jp/商品詳細ページ');

Webブラウザでアマゾン（https://www.amazon.co.jp/）の商品詳細ページにアクセスし、ページ内の要素を取得し、コンソールに要素内のテキストを出力します。今回は商品のタイトルを取得して出力してみます。

■ページ内の特定要素（Xpath）を取得する場合

アマゾン（https://www.amazon.co.jp/）のページ内の特定要素（Xpath）を取得する場合は、GoogleChrome上で取得した要素にマウスを移動し選択します。

選択後、右クリックします。クリックすると、メニューが表示されますので、この中から「検証」をクリックします。

クリックすると、右側にWebページのソースが表示され、選択した部分が水色に表示されます。この状態で右クリックします。すると、メニューが表示され「Copy」をクリックします。さらにメニューが表示されますので「Copy Xpath」をクリックします。

クリックすると、特定要素（Xpath）がコピーされますので、あとはコードエディタへ追加します。

■実行

スクリプトが完成した後は、実際にAmazon（アマゾン）をスクレイピングできるのか検証のため、実行させてみます。今回は、コマンドプロンプトから実行してみます。

C:\Users\Administrator\web_scraping>node scrapers.js

実行する際は、上記のコマンドを入力し、Enterキーを押します。

Enterキーを押すと、ブラウザが自動的に起動し、今回指定したアマゾン（https://www.amazon.co.jp/）の商品詳細ページにアクセスし、ページ内の特定要素を取得し、出力させることができました。

なお、JavaScriptの実行にはNode.jsとnpm（Node Package Manager）を使用するので、コンピュータにNode.jsとnpmがインストールされている必要があります。

■PC環境

・Windows10、Administrator（管理者）アカウント

・node –version v14.15.0

・npm –version 6.14.8

■Web Scraperの設定

Web Scraperの設定のために、プロジェクト用のフォルダを作成しますので、Windows10の検索ボックスで「cmd」と入力し、コマンドプロンプトをクリックします。クリックすると、コマンドプロンプトが起動します。

C:\Users\Administrator>mkdir web-scraper

起動後、上記のコマンドを入力し、今回は「web-scraper」というフォルダを作成します。作成のために、エンターキーを押します。

C:\Users\Administrator>cd web-scraper

押した後に、上記のコマンドを入力し、「web-scraper」というフォルダ内に移動します。移動のためにエンターキーを押します。

押した後に、npm（node package manager）を使用し、パッケージをインストールします。その前に、プロジェクトの依存関係やメタデータを管理するpackages.jsonファイルを作成するために、npmを初期化します。

C:\Users\Administrator\web-scraper>npm init

初期化のために、上記のコマンドを入力し、エンターキーを押します。

This utility will walk you through creating a package.json file.
It only covers the most common items, and tries to guess sensible defaults.

See `npm help init` for definitive documentation on these fields
and exactly what they do.

Use `npm install ` afterwards to install a package and
save it as a dependency in the package.json file.

Press ^C at any time to quit.
package name: (web-scraper)

エンターキーを押すと、上記のメッセージが表示されます。「package name: (web-scraper)」と表示されていますので、フォルダの名前である「web-scraper」と入力します。その後、エンターキーを押します。

version: (1.0.0)

エンターキーを押すと、バージョンが表示されていますので、エンターキーを押します。今回は1.0.0をインストールします。

description:

エンターキーを押すと、「description:（説明）」と表示されますので、今回は「a web scraper」を入力し、エンターキーを押します。

entry point: (index.js)

エンターキーを押すと、「entry point: (index.js)」と表示されていますので、エンターキーを押します。

test command:

エンターキーを押すと、「test command:」と表示されていますので、エンターキーを押します。

git repository:

エンターキーを押すと、「git repository:」と表示されていますので、エンターキーを押します。

keywords:

エンターキーを押すと、「keywords:」と表示されていますので、エンターキーを押します。

author:

エンターキーを押すと、「author:」と表示されていますので、エンターキーを押します。

license: (ISC)

エンターキーを押すと、「license: (ISC)」と表示されていますので、エンターキーを押します。

{
  "name": "web-scraper",
  "version": "1.0.0",
  "description": "a web scraper",
  "main": "index.js",
  "scripts": {
    "test": "echo \"Error: no test specified\" && exit 1"
  },
  "author": "",
  "license": "ISC"
}


Is this OK? (yes)

エンターキーを押すと、作成したpackages.jsonファイルの内容が表示されていますので、確認し、「y」と入力し、エンターキーを押します。

C:\Users\Administrator\web-scraper>npm install --save puppeteer

エンターキーを押した後に、npmを使用し、Puppeteerをインストールしますので、上記のコマンドを入力し、エンターキーを押します。

> puppeteer@8.0.0 install C:\Users\Administrator\web-scraper\node_modules\puppeteer
> node install.js

Downloading Chromium r856583 - 164.6 Mb [====================] 100% 0.0s
Chromium (856583) downloaded to C:\Users\Administrator\web-scraper\node_modules\puppeteer\.local-chromium\win64-856583
npm notice created a lockfile as package-lock.json. You should commit this file.
npm WARN web-scraper@1.0.0 No repository field.

+ puppeteer@8.0.0
added 54 packages from 73 contributors and audited 54 packages in 92.698s

8 packages are looking for funding
run `npm fund` for details

found 0 vulnerabilities

エンターキーを押すと、ダウンロードが開始され、インストールが始まります。しばらくすると、インストールが完了します。

インストール後、「C:\Users\Administrator\（フォルダパス）」の「web-scraper」のフォルダにあるpackage.jsonのファイルをコードエディタを開き、編集します。

■コード

{
  "name": "web-scraper",
  "version": "1.0.0",
  "description": "a web scraper",
  "main": "index.js",
  "scripts": {
    "test": "echo \"Error: no test specified\" && exit 1",
    "start": "node index.js"
  },
  "author": "",
  "license": "ISC",
  "dependencies": {
    "puppeteer": "^8.0.0"
  }
}

package.jsonのファイルの「”scripts”」の部分に「”start”: “node index.js”」と記述します。記述後、保存します。

npm ERR! missing script: start

npm ERR! A complete log of this run can be found in:
npm ERR! C:\Users\Administrator\AppData\Roaming\npm-cache\_logs\2021-04-08T01_28_15_781Z-debug.log

なお、この記述がない場合は、アプリケーションを実行した際に上記のエラーが発生します。

■jsファイルの作成

保存後、web scraperには、browser.js、index,js、pageController.js、pageScraper.jsという4つのjsファイルが必要ですので、「C:\Users\Administrator\（フォルダパス）」の「web-scraper」のフォルダ内に作成します。これを作成することで、web scraperのブラウザインスタンスを設定し、起動すると、自動的にChromiumを開き、Webスクレイピングできるようになります。

コードエディタを開き、下記のコードを記述し、jsファイルを作成していきます。作成後、ファイルを保存します。

■browser.js

const puppeteer = require('puppeteer');

async function startBrowser(){
    let browser;
    try {
        console.log("Opening the browser......");
        browser = await puppeteer.launch({
            headless: false,
            args: ["--disable-setuid-sandbox"],
            'ignoreHTTPSErrors': true
        });
    } catch (err) {
        console.log("Could not create a browser instance => : ", err);
    }
    return browser;
}

module.exports = {
    startBrowser
};

■index.js

const browserObject = require('./browser');
const scraperController = require('./pageController');

//ブラウザを起動しブラウザインスタンスを作成
let browserInstance = browserObject.startBrowser();

// ブラウザのインスタンスをスクレーパーコントローラーに渡す
scraperController(browserInstance)

■pageController.js

const pageScraper = require('./pageScraper');
async function scrapeAll(browserInstance){
    let browser;
    try{
        browser = await browserInstance;
        await pageScraper.scraper(browser);

    }
    catch(err){
        console.log("Could not resolve the browser instance => ", err);
    }
}

module.exports = (browserInstance) => scrapeAll(browserInstance)

■pageScraper.js

const scraperObject = {
    url: 'https://www.yahoo.co.jp/',
    async scraper(browser){
        let page = await browser.newPage();
        console.log(`Navigating to ${this.url}...`);
        await page.goto(this.url);

    }
}

module.exports = scraperObject;

なお、今回は自動でChromiumを開き、Webサイトへアクセスしますが、pageScraper.jsのファイルで「url: ‘https://www.yahoo.co.jp/’」と指定して、Yahoo!Japanへアクセスしてみます。

■今回のプログラムのファイル構造

■Web scraperアプリケーションの実行

すべてのjsファイルの作成が完了後、Web scraperアプリケーションを実行してみます。

実行する場合は、Windows10の検索ボックスで「cmd」と入力し、コマンドプロンプトをクリックします。クリックすると、コマンドプロンプトが起動します。

C:\Users\Administrator\web-scraper>npm run start

起動後、上記のコマンドを入力し、アプリケーションを実行します。実行のため、エンターキーを押します。

> web-scraper@1.0.0 start C:\Users\Administrator\web-scraper
> node index.js

Opening the browser......
Navigating to https://www.yahoo.co.jp/...

エンターキーを押すと、上記のメッセージが表示され、自動でChromiumを開きます。Chromiumには「Chromeは自動テストソフトウェアによって制御されています。」と表示されています。表示された状態で今回指定したYahoo!Japan（https://www.yahoo.co.jp/）にアクセスし、サイトが表示されることを確認できました。

なお、JavaScriptの実行にはNode.jsとnpm（Node Package Manager）を使用するので、コンピュータにNode.jsとnpmがインストールされている必要があります。

■PC環境

・Windows10、Administrator（管理者）アカウント

・node –version v14.15.0

・npm –version 6.14.8

■新規フォルダの作成と、crawler.jsという空のファイルを作成する

まずは、新規フォルダの作成と、crawler.jsという空のファイルを作成します。

今回は「C:\Users\Administrator（フォルダパス）」という場所に、「simple-web-crawler」という名前のフォルダを作成します。

■コード

var request = require('request');
var cheerio = require('cheerio');
var URL = require('url-parse');

作成後、コードエディタを開き、上記のコードを記述します。

なお、今回は、下記の3つのライブラリを使用します。

・Request（HTTPリクエストを行う）

・Cheerio（ページ上のHTML要素を解析して選択する）

・URL-parse（URLを解析する）

記述後、ファイルを保存します。保存する際に、「crawler.js」という名前でファイルを保存します。保存する場所は、「C:\Users\Administrator」の「simple-web-crawler」というフォルダになります。

■npmを使用し、ライブラリをインストールする

保存後、npmを使用し、ライブラリをインストールしますが、その前にpackage.jsonというファイルを作成し、今回のプロジェクトの説明と依存関係を指定します。

■コード

{
  "name": "simple-webcrawler-javascript",
  "version": "0.0.0",
  "description": "A simple webcrawler written in JavaScript",
  "main": "crawler.js",
  "author": "Stephen",
  "license": "ISC",
  "dependencies": {
    "cheerio": "^0.19.0",
    "url-parse": "^1.0.5",
    "request": "^2.65.0"
  }
}

そのために、コードエディタを開き、上記のコードを記述します。

記述後、ファイルを保存します。保存する際に、「package.json」という名前でファイルを保存します。保存する場所は、「C:\Users\Administrator」の「simple-web-crawler」というフォルダになります。

保存後、Windows10の検索ボックスで「cmd」と入力し、コマンドプロンプトをクリックします。クリックすると、コマンドプロンプトが起動します。

C:\Users\Administrator>cd simple-web-crawler

起動後、上記のコマンドを入力し、「C:\Users\Administrator」の「simple-web-crawler」というフォルダに移動するために、エンターキーを押します。

C:\Users\Administrator\simple-web-crawler>npm install

npm WARN deprecated request@2.88.2: request has been deprecated, see https://github.com/request/request/issues/3142
npm WARN deprecated har-validator@5.1.5: this library is no longer supported
npm notice created a lockfile as package-lock.json. You should commit this file.
npm WARN simple-webcrawler-javascript@0.0.0 No repository field.

added 68 packages from 68 contributors and audited 68 packages in 4.328s

2 packages are looking for funding
  run `npm fund` for details

found 4 vulnerabilities (2 low, 2 high)
  run `npm audit fix` to fix them, or `npm audit` for details

エンターキーを押すと、ライブラリのインストールが開始され、上記のようなメッセージが表示されます。今回はライブラリが古いので、脆弱性が見つかりましたなどの表示がありますが、テストで動作確認を行うため、脆弱性が見つかりましたなどは、いったん無視し進めます。

■JavaScriptでのWebページの取得と解析

ライブラリをインストール後、JavaScriptでのWebページの取得と解析を行います。行う場合は、コードエディタで「C:\Users\Administrator」の「simple-web-crawler」というフォルダの「crawler.js」を開き、Webページの取得と解析を行うコードを記述します。

■コード

var request = require('request'); 
var cheerio = require('cheerio'); 
var URL = require('url-parse');

var pageToVisit = "https://www.yahoo.co.jp/";
console.log("閲覧ページ: " + pageToVisit);
request(pageToVisit, function(error, response, body) {
   if(error) {
     console.log("Error: " + error);
   }
   // ステータスコードの確認 (200はHTTP OK)
   console.log("ステータスコード: " + response.statusCode);
   if(response.statusCode === 200) {
     // ソース内のdocumentのbodyを解析
     var $ = cheerio.load(body);
     console.log("ページタイトル:  " + $('title').text());
   }
});

記述するコードは上記になります。今回はYahoo！Japan（https://www.yahoo.co.jp/）のページの取得と解析を行ってみます。

記述後、このコードを「crawler.js」に上書き保存します。

■実行

保存後、JavaScriptでのWebページの取得と解析を行うため、スクリプトを実行してみます。

実行する際は、Windows10の検索ボックスで「cmd」と入力し、コマンドプロンプトをクリックします。クリックすると、コマンドプロンプトが起動します。

C:\Users\Administrator>cd simple-web-crawler

起動後、上記のコマンドを入力し、「C:\Users\Administrator」の「simple-web-crawler」というフォルダに移動するために、エンターキーを押します。

C:\Users\Administrator\simple-web-crawler>node crawler.js

押した後、上記のコマンドを入力し、エンターキーを押します。

エンターキーを押すと、今回指定したYahoo！Japan（https://www.yahoo.co.jp/）をWebクローラーが収集（クローリング）を行い、「ステータスコード:200（リクエストが成功）」となり、「ページタイトル」を取得することができました。

■PC環境

Windows10 64ビット

■ダウンロード

まず、Node.js（https://nodejs.org/ja/）のサイトにアクセスします。

アクセスすると、「ダウンロード Windows(x64)」と書かれている項目があります。今回は「12.19.0 LTS」（推奨版）をインストールしますので、表示されているボタンをクリックします。

クリックすると、ダウンロードが開始されます。開始後、Webブラウザで指定されている保存場所に「node-v12.19.0-x64.msi」というファイルがダウンロードされます。

■インストール

「node-v12.19.0-x64.msi」というファイルがダウンロードされましたので、このファイルをダブルで起動させます。

起動させると、「Node.js Setup」というウインドウが表示されます。「Node.js Setup Wizard」というウィザードが開始されます。ウイザードを進めるために「Next」ボタンをクリックします。

クリックすると、「End User License Agreement（ソフトウェア利用許諾契約）」の画面が表示されます。こちらで使用許諾契約を読み、「I accept the terms in the License Agreement（使用許諾契約の条項に同意します）」のチェックボックスにチェックを入れます。入れた後、「Next」ボタンをクリックします。

クリックすると、「Destination folder（移動先フォルダ）」の画面になります。こちらでは、インストールする場所を選択します。デフォルトでは「C:\Program Files\nodejs\」となっています。このままでも問題ありません。変更したい場合は「Change…」ボタンをクリックして変更します。

今回は、このままの状態で進めますので、「Next」ボタンをクリックします。

クリックすると「Custom Setup（カスタムセットアップ）」の画面になります。この画面では、機能をインストールする方法を選択します。選択・変更する場合は、下のツリーのアイコンをクリックして、機能を選択・変更します。

・Node.js runtime
・npm package manager
・Online documentation shortcuts
・Add to PATH

機能は上記の中から選択・変更します。デフォルトでは「Node.js runtime」が選択されていますので、このままの状態でも問題はありませんので、「Next」ボタンをクリックします。

クリックすると、「Tools for Native Modules（ネイティブ・モジュールのツール）」の画面になります。この画面では、必要に応じて、ネイティブモジュールのコンパイルに必要なツールをインストールするかどうかを確認します。

「Automatically install the necessary tools. Note that this will also install Chocolatey. The
script will pop-up in a new window after the installation completes.（必要なツールを自動的にインストールします。これでChocolateyもインストールされることに注意してください。インストールが完了すると、新しいウィンドウにスクリプトがポップアップ表示されます。）」のチェックボックスにチェックを入れると、必要なツールが自動的にインストールされ、Windows のパッケージマネージャであるChocolateyも同時にインストールされます。

チェックボックスにチェックを入れない場合は、自分でインストールする必要があります。

今回はチェックボックスにチェックを入れずに、「Next」ボタンをクリックします。

クリックすると「Ready to install Node.js（Node.jsのインストール準備完了）」の画面になります。この画面で「Install」ボタンをクリックします。

クリックすると、インストールを開始します。

「ユーザーアカウント制御」というウインドウが表示され、「このアプリがデバイスに変更を加えることを許可しますか？」と質問されますので「はい」ボタンをクリックします。クリックすると、インストールが続行します。

インストールが進むと、「Completed the Node.js Setup Wizard（Node.jsセットアップウィザードは完了しました。）」と表示されますので、これでNode.jsのインストールは完了となります。