SQLiteデータベースとしてのWebクロールデータ「warcdb」のインストール

SQLiteデータベースとしてのWebクロールデータ「warcdb」のインストールについて解説しています。

「WarcDB（https://github.com/Florents-Tselai/warcdb）」は、Webクロールデータの共有とクエリを容易にするファイル形式です。なお、WARC（Web ARChive）ファイル形式は、複数のリソースレコード（データオブジェクト）を連結するための規則を提供しており、Commoncrawl、WebRecorder、Archive.org、世界中の図書館などの多くの組織は、このwarc形式を使用してWebデータをアーカイブ及び保存を行っている。

■Python

今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認）

■warcdbをインストールする

warcdbをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWindowsのコマンドプロンプトを起動します。

pip install warcdb

起動後、上記のコマンドを入力し、Enterキーを押します。

なお、今回は、pythonランチャーを使用しており、Python Version 3.8.5にインストールを行うために、バージョンの切り替えを行います。

py -3.8 -m pip install warcdb

切り替えるために、上記のコマンドを入力し、Enterキーを押します。

Defaulting to user installation because normal site-packages is not writeable
Collecting warcdb
Downloading warcdb-0.1.0-py3-none-any.whl (9.3 kB)
Collecting sqlite-utils==3.26.1
Downloading sqlite_utils-3.26.1-py3-none-any.whl (59 kB)
---------------------------------------- 59.8/59.8 kB 635.4 kB/s eta 0:00:00
Requirement already satisfied: tqdm in c:\users\user_\appdata\roaming\python\python38\site-packages (from warcdb) (4.60.0)
Requirement already satisfied: more-itertools in c:\users\user_\appdata\roaming\python\python38\site-packages (from warcdb) (8.13.0)
Collecting click==8.1.3
Using cached click-8.1.3-py3-none-any.whl (96 kB)
Collecting warcio==1.7.4
Downloading warcio-1.7.4-py2.py3-none-any.whl (40 kB)
---------------------------------------- 40.2/40.2 kB 1.9 MB/s eta 0:00:00
Requirement already satisfied: colorama in c:\users\user_\appdata\roaming\python\python38\site-packages (from click==8.1.3->warcdb) (0.4.4)
Collecting tabulate
Downloading tabulate-0.8.10-py3-none-any.whl (29 kB)
Collecting sqlite-fts4
Downloading sqlite_fts4-1.0.1-py3-none-any.whl (10.0 kB)
Collecting click-default-group-wheel
Downloading click_default_group_wheel-1.2.2-py3-none-any.whl (3.9 kB)
Requirement already satisfied: python-dateutil in c:\users\user_\appdata\roaming\python\python38\site-packages (from sqlite-utils==3.26.1->warcdb) (2.8.0)
Requirement already satisfied: six in c:\users\user_\appdata\roaming\python\python38\site-packages (from warcio==1.7.4->warcdb) (1.16.0)
Installing collected packages: sqlite-fts4, warcio, tabulate, click, click-default-group-wheel, sqlite-utils, warcdb
Attempting uninstall: click
Found existing installation: click 7.1.2
Uninstalling click-7.1.2:
Successfully uninstalled click-7.1.2
ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
toapi 2.1.3 requires flask<3.0.0,>=2.0.1, but you have flask 1.1.4 which is incompatible.
streamlit 0.82.0 requires click<8.0,>=7.0, but you have click 8.1.3 which is incompatible.
spacy 3.2.0 requires pydantic!=1.8,!=1.8.1,<1.9.0,>=1.7.4, but you have pydantic 1.9.0 which is incompatible.
quart 0.16.3 requires werkzeug>=2.0.0, but you have werkzeug 1.0.1 which is incompatible.
notifiers 1.3.3 requires requests<3.0.0,>=2.27.1, but you have requests 2.26.0 which is incompatible.
flask 1.1.4 requires click<8.0,>=5.1, but you have click 8.1.3 which is incompatible.
datasette 0.60.2 requires click<8.1.0,>=7.1.1, but you have click 8.1.3 which is incompatible.
Successfully installed click-8.1.3 click-default-group-wheel-1.2.2 sqlite-fts4-1.0.1 sqlite-utils-3.26.1 tabulate-0.8.10 warcdb-0.1.0 warcio-1.7.4

Enterキーを押すと、インストールが開始され、「Successfully installed」と表示されます。これが表示されれば、warcdbのバージョン0.1.0が正常にインストールされたことになりますが、今回「ERROR: pip’s dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.（ERROR: pip の依存性解決は現在インストールされているすべてのパッケージを考慮に入れていません。この挙動は以下のような依存関係の衝突の原因となっています。）」とエラーが出力され、このエラーは依存関係の衝突が原因となっており、インストールする際は仮想環境を構築し、インストールすることを推奨します。