tagui（https://github.com/tebelorg/RPA-Python）は、シンガポールの研究機関「AI Singapore」のオープンソースRPAツール「TagUI」をベースに開発されたパッケージで、Webサイトの自動化、コンピュータビジョンの自動化、光学式文字認識、キーボード＆マウスの自動化などの機能が備わっている。

■Python

今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認）

■taguiをインストールする

taguiをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWindowsのコマンドプロンプトを起動します。

pip install tagui

起動後、上記のコマンドを入力し、Enterキーを押します。

なお、今回は、pythonランチャーを使用しており、Python Version 3.8.5にインストールを行うために、pipを使う場合にはコマンドでの切り替えを行います。

py -3.8 -m pip install tagui

切り替えるために、上記のコマンドを入力し、Enterキーを押します。

Defaulting to user installation because normal site-packages is not writeable
Collecting tagui
Downloading tagui-1.45.0.tar.gz (25 kB)
Preparing metadata (setup.py) ... done
Building wheels for collected packages: tagui
Building wheel for tagui (setup.py) ... done
Created wheel for tagui: filename=tagui-1.45.0-py3-none-any.whl size=19191 sha256=b75dfe2c39f974df47c9b46f27c2f0f5b7c8efc830d6122b673a0ee77fc83ef4
Stored in directory: c:\users\user_\appdata\local\pip\cache\wheels\79\68\a4\e395f68e088e185f298faeb7f2f9396ddfc384ab77d94d40b2
Successfully built tagui
Installing collected packages: tagui
Successfully installed tagui-1.45.0

Enterキーを押すと、インストールが開始され、上記のように「Successfully installed」と表示されます。これが表示されれば、taguiが正常にインストールされたことになります。

なお、今回はtaguiのバージョン1.45.0をインストールしました。

「pynput」は、入力デバイス（キーボード、マウス）の制御と監視を行うことができます。このライブラリを使用することにより、ロボティック・プロセス・オートメーション（RPA）が可能となります。

また、WindowsとmacOSの両方で動作することができます。

■Python

今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認）

■pynputをインストールする

pynputをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWindowsのコマンドプロンプトを起動します。

pip install pynput

起動後、上記のコマンドを入力し、Enterキーを押します。

なお、今回は、pythonランチャーを使用しており、Python Version 3.8.5にインストールを行うために、pipを使う場合にはコマンドでの切り替えを行います。

py -3.8 -m pip install pynput

切り替えるために、上記のコマンドを入力し、Enterキーを押します。

Collecting pynput
Downloading pynput-1.7.3-py2.py3-none-any.whl (99 kB)
|████████████████████████████████| 99 kB 982 kB/s
Requirement already satisfied: six in c:\pg\python38\lib\site-packages (from pynput) (1.15.0)
Installing collected packages: pynput
Successfully installed pynput-1.7.3

Enterキーを押すと、インストールが開始され、上記のように「Successfully installed」と表示されます。これが表示されれば、pynputが正常にインストールされたことになります。

なお、「AppSheet Automation」を利用する際はGoogleアカウントが必要になります。

■AppSheetにアクセスする

まずはAppSheet（https://www.appsheet.com/）にアクセスします。

アクセスすると、「Start for free」ボタンがありますので、こちらをクリックします。

クリックすると、「Start with your data（データから始める）」と表示されたページが表示されます。AppSheetでは、ページ内に表示された好きなクラウドストレージプロバイダーを通じて接続しますので、今回は「Google Sheets and Forms」、「Excel on Office365」「Excel on Dropbox」、「Smartsheet 」、「Salesforce」、「Excel on Box」の中から「Google Sheets and Forms」をクリックします。

クリックすると、「Googleにログイン」という表示があらわれますので、お持ちのGoogleアカウントを選択します。

選択すると「AppSheet が Google アカウントへのアクセスをリクエストしています」と表示されますので、リクエストを許可するために「許可」ボタンをクリックします。

クリックすると、「AppSheet FREE」と表示されたAppSheetのコンソール画面が表示されます。これで「AppSheet Automation」の無料版への登録は完了となります。

■サンプルアプリを使用する

完了後、AppSheetコンソール画面の上部にあるメニューから「Sample apps」をクリックします。

クリックすると、「Copy and Customize Sample Apps（サンプルアプリのコピー＆カスタマイズ）」というページが表示されます。このページでは、すでに作成済みのサンプルアプリをライブラリ内から選び、使用することができます。

今回は、「To Do List（To Do リスト、タスク管理）」をクリックします。

クリックすると、「To Do List」の詳細ページへ移動します。ページ内の「Copy and Customize（コピー＆カスタマイズ）」をクリックします。

クリックすると、「Clone your App（アプリのクローン）」というウインドウが表示されます。ウインドウ内では「App name（アプリの名前）」と「Category（カテゴリー）」を入力、選択します。選択後、「Copy app（コピーアプリ）」ボタンをクリックします。

クリックすると、アプリのコピーが開始され、新しいアプリの作成が開始されます。

しばらくすると、コピーされ新しく作成されたアプリのカスタマイズ（編集）画面が表示されます。ここで一旦、コンソール上のメニューから「My apps（あなたのアプリ）」をクリックします。

クリックすると、「My apps（あなたのアプリ）」のページが表示され、ページ内に「Prototype Apps（プロトタイプのアプリ）」の項目に「To Do List」が追加されていることが確認できます。

■アプリをデプロイ（利用できる状態）にする

再び、「My apps（あなたのアプリ）」から「To Do List」をクリックして、カスタマイズ（編集）画面に戻ります。戻った後に、「To Do List」アプリをデプロイ（利用できる状態）してみます。

カスタマイズ（編集）画面の左側メニューから「Manage（管理）」をクリックします。クリックすると「Manage（管理）」のページが表示されますので、この中で「Deploy（デプロイ）」をクリックします。クリックすると、「Deployment Check（デプロイメント・チェック）」という項目があるので、こちらをクリックします。

クリックすると、「Run deployment check（デプロイメントチェックの実行）」ボタンがありますので、こちらをクリックします。

クリックすると、デプロイする前にアプリのチェックが実行されます。実行後、チェックされた項目が表示されます。各項目には、「PASSED（合格）」、「WARNING（警告）」、「ERROR（エラー）」のマークが表示されますので、合格マークが表示されたもの以外の修正します。なお、各項目はクリックすると、なぜ警告、エラーが表示されたのかの原因が表示されます。

チェック項目が表示された下には「Move app to deployed state despite errors（エラーがあってもアプリをデプロイ状態にする）」ボタンと「Continue editing（編集を続ける）」ボタンがあります。今回はテストで「Move app to deployed state despite errors（エラーがあってもアプリをデプロイ状態にする）」をクリックします。

クリックすると、「Your app To Do List is deployed.（アプリのTo Do Listが展開されます。）」と表示されます。これでデプロイは完了となります。

完了となりますが、今回は無料版を利用していますので、カスタマイズ（編集）画面の左側メニューの「My account」に警告マークが表示されています。表示されていますので、確認のため、クリックします。

クリックすると、「My account」のページが表示されます。ページ内に下記のメッセージが表示されています。

Plan upgrade needed — click to fix it!
You should be on the AppSheet Starter secure plan. Please see the App Info pane for details. （プランのアップグレードが必要です – クリックして修正してください
AppSheet Starterのセキュアなプランをご利用ください。詳細は「App Info」ペインを参照してください。）

また、「ToDoList-3149838: User signin not allowed with the FREE plan, ToDoList-3149838: Offline access not allowed with the FREE plan（ToDoList-3149838：FREEプランでユーザーサインインができない、ToDoList-3149838：FREEプランでオフラインアクセスができない）」と表示されています。デプロイは完了していますが、無料版ではユーザーサインインとオフラインアクセスができない。これを可能にするには、料金プランを変更する（アップグレードする）。

■PC（パソコン）上でサンプルアプリを使用する

デプロイ後、PC（パソコン）上でサンプルアプリを使用してみます。その場合は、「My account」のページで、今回作成したサンプルアプリの名前が表示されています。その左側にコメントのマークがありますので、こちらをクリックします。

クリックすると、「ToDoList」アプリが起動し表示されます。

起動後、タスクを追加してみますので、追加ボタンをクリックします。

クリックすると、タスクの詳細を記入・選択する画面が表示されますので、各項目を記入・選択します。その後「Save」ボタンをクリックします。

クリックすると、「ToDoList」アプリにタスクが追加されました。

追加後、このアプリをハンバーガーメニューをクリックしログアウトするか、もしくはブラウザのアプリ画面を閉じます。

閉じた後、再び「AppSheet」にログインし、「ToDoList」アプリを起動します。

起動してみると、先ほど追加したタスクは削除されずにアプリに保存されていることが確認できました。

なお、お持ちのGoogleアカウントのGoogleドライブを確認すると、「To Do」というGoogleスプレッドシートを作成されてます。スプレッドシートを確認すると、「ToDoList」アプリのタスクが保存されていることが確認できます。

■スマートフォン（Android）からサンプルアプリを起動する

スマートフォン（Android）からサンプルアプリを起動してみます。スマートフォン（Android）は「Moto g8 power（Android バージョン10）」を使用します。

「Play ストア」アプリを起動し、「検索」をタップします。

「AppSheet」と検索すると、「AppSheet」アプリが表示されますので、「インストール」ボタンをタップします。

タップしてしばらくするとインストールが完了し、「開く」ボタンが表示されますので、タップします。

タップすると、アプリが起動し、サインイン画面が表示されます。画面内の今回はGoogleを選択します。

選択すると、アカウントの選択画面が表示されますので、サンプルアプリを作成したアカウントを選択します。

選択すると、アプリが起動します。起動後、ハンバーガーメニューをタップします。

タップすると、メニューが表示されますので「Created by me」をタップします。

タップすると、PC（パソコン）上で作成した「ToDoList」アプリが表示されますので、タップします。

タップすると、「ToDoList」アプリが起動し、表示されます。なお、PC（パソコン）上で追加したタスクはクラウド上で保存されていますので、スマートフォンから「ToDoList」アプリを起動しても、追加したタスクは表示されます。

■PC環境

Windows 10 Pro

■Power Automate Desktopで新しいフローを作成する

まずは、Power Automate Desktopを起動します。起動すると画面の上部に「新しいフロー」と表示された十字ボタンがありますので、こちらをクリックします。

クリックすると、「フローを作成する」というウインドウが表示されます。ウインドウ内の「フロー名」の入力欄がありますので、今回は「PDFファイルのテキスト抽出」と入力します。

入力後、「作成」ボタンをクリックします。

クリックすると、フローが作成されて、アクションの設定を行う画面が表示されました。この画面で、FTP接続を行い、ファイルをFTPにアップロードするまでの設定を行っていきます。

まずは画面の左側にある「アクション」のメニューから「FTP」をクリックします。クリックするとプルダウンメニューが表示されます。このメニュー内から「FTP接続を開く」というアクションをクリックします。

クリックすると、「FTP接続を開く」というアクションの詳細設定のウインドウが表示されます。ウインドウ内で、「ホスト名（サーバーアドレス）」を入力します。

その後、「ポート」は「21」のままで、アクティブモードは利用しないので、そのままです。次にユーザー名（サーバーのアカウント名等）を入力し、サーバーのパスワードを入力します。

最後に「タイムアウト」が「10」になっていますが、「10」のまま接続してしまうと、

: Robin.Core.ActionException: ftpサーバー に接続できません。
場所 Robin.Modules.FTP.Actions.OpenFtpConnectionAction.Execute(ActionContext context)
場所 Robin.Runtime.Engine.ActionRunner.RunAction(String action, Dictionary`2 inputArguments, Dictionary`2 outputArguments, IActionStatement statement)

上記のようなエラーが発生してしまいます。この問題を対処するのに、Windows Defender ファイアウォールの設定（ファイアウォールによりブロックされてしまうこと）なども見直しましたが、「タイムアウト」を「300」と接続の確立を待機する時間（秒）を長めに設定することで、FTP接続が可能となりました。

それでも接続が行えない場合は、「コントロールパネル」から「Windows Defender ファイアウォール」で「アプリにWindows Defender ファイアウォール経由の通信を許可する」という項目で「Power Automate Desktop」のWindows Defender ファイアウォール経由の通信を許可してみてください。

最終的に「FTP接続を開く」というアクションの詳細設定は上記になります。今回はheteml（ヘテムル） FTP へ接続してみます。

設定後、「保存」ボタンをクリックします。

クリックすると、フローのアクションの設定画面の「Main」に、設定したアクションが追加されます。

次に、画面の左側にある「アクション」のメニューから「FTP」をクリックします。クリックするとプルダウンメニューが表示されます。このメニュー内から「作業ディレクトリの変更」というアクションをクリックします。

クリックすると、「FTP接続を開く」というアクションの詳細設定のウインドウが表示されます。

ウインドウ内の「作業ディレクトリを以下に設定」で、ファイルをアップロードする場所（ディレクトリ）を設定します。

設定後「保存」ボタンをクリックします。

クリックすると、フローのアクションの設定画面の「Main」に、設定したアクションが追加されます。

次に、画面の左側にある「アクション」のメニューから「FTP」をクリックします。クリックするとプルダウンメニューが表示されます。このメニュー内から「ファイルをFTPにアップロード」というアクションをクリックします。

クリックすると、「ファイルをFTPにアップロード」というアクションの詳細設定のウインドウが表示されます。ウインドウ内の「アップロードするファイル」の右側のボタンをクリックします。

クリックすると「ファイルの選択」というウインドウが表示されますので、アップロードするファイルを選択します。今回はあらかじめ作成したテキストファイル（.txt）を選択し、「開く」ボタンをクリックします。

クリックすると、「アップロードするファイル」に、先ほど選択したファイルのパスが表示されます。表示後、「FTP接続」、「リモートの場所」、「転送の種類」、「ファイルが存在する場所」は、デフォルトのままで「保存」ボタンをクリックします。

クリックすると、フローのアクションの設定画面の「Main」に、設定したアクションが追加されました。これで、FTP接続を行い、ファイルをFTPにアップロードするまでのフローが完成となります。

■フロー（FTP接続を行い、ファイルをFTPにアップロードする）の実行と検証

フローは完成しましたので、FTP接続を行い、ファイルをFTPにアップロードするまでを実行してみます。

実行する際は、フローのアクションの設定画面の上部にある「実行」ボタンをクリックします。

クリックするとフローが実行されます。

実行すると、画面下に「ステータス：実行中」と水色の枠内に表示されます。実行が完了すると、表示が消えます。

実行後、FTPクライアントソフトであるFileZillaを使用し、サーバーにアクセスしてみると、ファイルがアップロードされていることが確認できました。

■PC環境

Windows 10 Pro

■エラーの内容

Firefox を制御することができませんでした (ブラウザーとの通信が失敗しました。アドオンがインストールされていることを確認してください)。

: Robin.Core.ActionException: Firefox を制御することができませんでした (ブラウザーとの通信が失敗しました。アドオンがインストールされていることを確認してください)。
場所 Robin.Modules.WebAutomation.Actions.LaunchFirefoxBase.Execute(ActionContext context)
場所 Robin.Runtime.Engine.ActionRunner.RunAction(String action, Dictionary`2 inputArguments, Dictionary`2 outputArguments, IActionStatement statement)

■対処方法

Power Automate Desktopで「新しいフロー」を作成する画面の上部に「ツール」という項目がありますので、こちらをクリックします。クリックするとメニューが表示され「ブラウザー拡張機能」とありますので、こちらをクリックします。

クリックすると、メニューが表示され「Firefox」とありますので、こちらをクリックします。クリックすると、「ユーザーアカウント制御」のポップアップが表示され、「このアプリがデバイスに変更を加えることを許可しますか」と質問されますので、「はい」ボタンをクリックします。

クリックすると、Firefoxが自動で起動し、ブラウザーが表示されます。ブラウザーには「Microsoft Power Automate – Get this Extension for 🦊 Firefox (en-US)（https://addons.mozilla.org/en-US/firefox/addon/power-automate-desktop/）」のページが表示されます。ページ内に「Add to Firefox」のボタンがありますので、こちらをクリックします。

クリックすると、「Microsoft Power Automate を追加しますか？」というポップアップがFirefoxブラウザーに表示されます。ポップアップ内の「追加」ボタンをクリックします。

クリックすると、Firefoxブラウザーの右側に「Microsoft Power AutomateがFireFoxに追加されました」というポップアップが表示されます。ポップアップ内の「OK」ボタンをクリックします。

クリック後、Firefoxブラウザーを閉じて、Firefoxを終了します。終了後、これでアドオンの有効化は完了となります。

完了後、Power Automate Desktopの「新しいフロー」を作成する画面を閉じて、Power Automate Desktop自体も終了します。

終了後、再度Power Automate Desktopを起動し、フローで「新しいFireFoxを起動する」アクションの設定を行い、フローを「実行」します。

実行してみると、FireFoxブラウザーが自動的に起動し、初期URLに指定したURLにアクセスし、Webサイトを表示させることができました。

なお、「Firefox を制御することができませんでした (ブラウザーとの通信が失敗しました。アドオンがインストールされていることを確認してください)。」というエラーは表示されなくなります。

■PC環境

Windows 10 Pro

■PDFファイルの用意

Power Automate DesktopでPDFファイルからテキスト抽出を行う前に、PDFファイルを用意します。

今回は、売上計画書という仮のPDFファイル（test.pdf）を用意しました。

なお、ファイルが保存されている場所は「C:\Users\user\test」となっています。

■Power Automate Desktopで新しいフローを作成する

まずは、Power Automate Desktopを起動します。起動すると画面の上部に「新しいフロー」と表示された十字ボタンがありますので、こちらをクリックします。

クリックすると、「フローを作成する」というウインドウが表示されます。ウインドウ内の「フロー名」の入力欄がありますので、今回は「PDFファイルのテキスト抽出」と入力します。

入力後、「作成」ボタンをクリックします。

クリックすると、フローが作成されて、アクションの設定を行う画面が表示されました。この画面で、PDFファイルからテキスト抽出し、テキストファイルへ抽出したテキストを保存するまでの設定を行っていきます。

まずは画面の左側にある「アクション」のメニューから「PDF」をクリックします。クリックするとプルダウンメニューが表示されます。このメニュー内から「PDFからテキストを抽出」というアクションをクリックします。

クリックすると、「PDFからテキストを抽出」というウインドウが表示されます。ウインドウ内の「パラメーターの選択」で「全般」から「PDFファイル」の右側にあるアイコンをクリックします。

クリックすると、「ファイルの選択」というウインドウが表示されます。ウインドウ内で、今回用意したPDFファイルが保存されている場所へ移動し、PDFファイルを選択し、「開く」ボタンをクリックします。

クリックすると、「パラメーターの選択」で「全般」の「PDFファイル」に、PDFファイルを保存されている場所が指定されます。指定後、「抽出するページ」は、今回は「すべて」を選択します。

選択後、「生成された変数」の名前を確認しておきます。確認後、「保存」ボタンをクリックします。

クリックすると、フローのアクションの設定画面の「Main」に、設定したアクションが追加されます。

追加後、次のアクションを設定します。

画面の左側にある「アクション」のメニューから「ファイル」をクリックします。クリックするとプルダウンメニューが表示されます。このメニュー内から「テキストをファイルに書き込みます」というアクションをクリックします。

クリックすると、「テキストをファイルに書き込みます」というウインドウが表示されます。ウインドウの「パラメーターの選択」の「全般」の「ファイルパス」の右側にあるアイコンをクリックします。

クリックすると、「ファイルの選択」というウインドウが表示されます。ウインドウ内で、テキストファイルを選択し、「開く」ボタンをクリックします。なお、今回は「C:\Users\user\test（フォルダパス）」に「test.txt」というテキストファイルを事前に作成しています。

クリックすると、「パラメーターの選択」の「全般」の「ファイルパス」に、作成しておいたテキストファイルが指定されます。

指定後、「書き込むテキスト」で、「PDFからテキストを抽出」の設定で「生成された変数（フロー変数）」を記述します。記述する際は「%（パーセント）」で変数名をはさみます。

記述後、「パラメーターの選択」の「新しい行を追加する」の設定はそのままで、「ファイルが存在する場所」も設定はそのままで、エンコードの「Unicode」をクリックします。クリックするとプルダウンメニューが表示されますので、「UTF-8」を選択します。

選択後、「保存」ボタンをクリックします。

クリックすると、フローのアクションの設定画面の「Main」に、設定したアクションが追加されます。これで、PDFファイルからテキスト抽出しテキストファイルに保存するまでが自動化できました。

■フロー（PDFファイルからテキスト抽出しテキストファイルに保存する）の実行と検証

フローは完成しましたので、PDFファイルからテキスト抽出しテキストファイルに保存するまでを実行してみます。

実行する際は、フローのアクションの設定画面の上部にある「実行」ボタンをクリックします。

クリックするとフローが実行されます。

実行してみると、今回用意したPDFファイルからテキスト抽出し、テキストファイルに抽出したテキストが書き込まれたことが確認できました。

Power Automate Desktopのダウンロード・インストールについてはこちらです。

■PC環境

Windows 10 Pro

■Power Automate Desktopで新しいフローを作成する

まずは、Power Automate Desktopを起動します。起動すると画面の上部に「新しいフロー」と表示された十字ボタンがありますので、こちらをクリックします。

クリックすると、「フローを作成する」というウインドウが表示されます。ウインドウ内の「フロー名」の入力欄がありますので、今回は「Webブラウザの自動操作」と入力します。

入力後、「作成」ボタンをクリックします。

クリックすると、フローが作成されて、アクションの設定を行う画面が表示されました。この画面で、Webブラウザを起動させて、自動操作までのアクションの設定を行っていきます。

まずは画面の左側にある「アクション」のメニューから「Webオートメーション」をクリックします。クリックするとプルダウンメニューが表示されます。このメニュー内から「新しいChromeを起動する」というアクションをクリックします。

クリックすると、「新しいChromeを起動する」のウインドウが表示されます。ウインドウ内では、このアクションに対する設定を行うことができます。今回はGoogleChromeを起動し、自動でYahoo!Japanにアクセスするようにしてみますので、起動モードを「新しいインスタンスを起動する」に設定し、初期URLで「https://www.yahoo.co.jp/」と入力します。

入力後、ウインドウの状態は「標準」で「詳細」、「生成された変数」は変更しません。

最後に「保存」ボタンをクリックします。

クリックすると、アクションの設定を行う画面で「Main」と表示されているところに、「新しいChromeを起動する」という1つ目のアクションが表示されます。

次にGoogleChromeを起動し、Yahoo!Japanにアクセスし、検索窓にテキストを入力し、「検索」ボタンをクリックするまでを自動で行いますので、アクションを追加します。

追加するのは、「アクション」の「Webフォーム入力」をクリックすると、表示される「Webページ内のテキストフィールドに入力する」というアクションです。こちらをクリックします。

クリックすると「Webページ内のテキストフィールドに入力する」のウインドウが表示されます。ウインドウ内でWebブラウザー インスタンスという項目はそのままで、「UI要素」の右側にある矢印をクリックします。

クリックすると、「新しいUI要素を追加」ボタンが表示されますので、こちらをクリックします。

クリックすると、PCのデスクトップ画面上に「追跡セッション」というウインドウが表示されます。このウインドウが表示された状態でGoogleChromeを起動し、Yahoo!Japanにアクセスします。アクセス後、検索窓にマウスをあわせます。

あわせると、赤色の枠が表示されますので、この状態で「右クリックとCtrl（コントロール）」キー」を同時押します。なお、「追跡セッション」内の表記では、「Ctrl＋左矢印」となっていますが、「Ctrl（コントロール）」キー＋右クリック」です。

同時に押すと、「追跡セッション」というウインドウ内に赤色の枠のUIの要素が取得されて表示されます。このUIの要素を選択した状態で、「完了」ボタンをクリックします。

クリックすると、「Webページ内のテキストフィールドに入力する」のウインドウ内のUI要素に、先ほど取得したUI要素が追加されます。

追加後、「テキスト」で取得したUI要素内に入力するテキストを記述します。記述後、今回は「入力をエミュレートする」、「詳細」は変更なしで、「保存」ボタンをクリックします。

クリックすると、アクションの設定を行う画面で「Main」と表示されているところに、「Webページ内のテキストフィールドに入力する」という2つ目のアクションが表示されます。

次に、「検索」ボタンをクリックするアクションを作成します。作成する場合は「アクション」の「UIオートメーション」から「ウインドウのUI要素をクリックする」をクリックします。

クリックすると、「新しいUI要素の追加」ボタンがありますので、こちらをクリックします。

クリックすると、PCのデスクトップ画面上に「追跡セッション」というウインドウが表示されます。表示後、GoogleChromeを起動し、Yahoo!Japanにアクセスし、「検索」ボタンにマウスをあわせて、UI要素を取得します。取得後、「追跡セッション」内でUI要素を選択し、「完了」ボタンをクリックします。※UI要素を取得できない場合は、Webブラウザを変更してください。

クリックすると、「ウインドウのUI要素をクリックする」内にUI要素が追加されます。追加後、「クリックの種類」の「左クリック」は変更なしで、「保存」ボタンをクリックします。

クリックすると、アクションの設定を行う画面で「Main」と表示されているところに、「ウインドウのUI要素をクリックする」という3つ目のアクションが表示されます。

これで今回のWebブラウザ自動操作のアクションは完成です。

■フロー（Webブラウザ自動操作）の実行

Webブラウザ自動操作のフローは完成しましたので、フロー（Webブラウザ自動操作）の実行してみます。

実行する際は、フローのアクションの設定を行う画面上に「実行」ボタンがありますので、こちらをクリックすると、フローが実行されます。

■PC環境

Windows 10 Pro

■インストール

まずは、マイクロソフトのPower Automate Desktopのページ（https://flow.microsoft.com/ja-jp/desktop/）にアクセスします。

アクセスすると、ページ内に「無料でダウンロードする」ボタンがありますので、こちらをクリックします。

クリックすると、Webブラウザで指定されている保存場所に「Setup.Microsoft.PowerAutomateDesktop.exe」というファイルがダウンロードされます。

■インストール

ダウンロード後、「Setup.Microsoft.PowerAutomateDesktop.exe」というファイルをダブルクリックします。

クリックすると、「Power Automate Desktopの設定」というウインドウが表示されます。ウインドウ内に「パッケージをインストールする」と表示されていますので、インストールを進めるために「次へ」ボタンをクリックします。なお、今回はバージョン2.5.80.21056をインストールします。

クリックすると、「インストールの詳細」と表示されます。「インストールの詳細」と表示されたウインドウ内には「インストール先」が表示されていますので、表示されたインストール先のフォルダにPower Automate Desktopがインストールされます。

次に「パッケージ内容」の項目があります。

・「Microsoft Edge(バージョン80以降）WebDriverとChromeDriverのインストール（フローでWebアプリを使用するため）。」

・「Power Automate Desktop アプリのショートカットをインストールします。」

・「Power Automate を改善するため Microsoftに使用状況データの収集を許可します。」

これらの項目には、すでにチェックボックスにチェックが入っています。チェックボックスのチェックを外して、インストールすることも可能ですが、今回はすでにチェックを入れてインストールします。

・[インストール]を選択すると、Microsoftの使用条件に同意したことになります。プライバシーに関する声明

「パッケージ内容」の最後の項目には、チェックボックスにチェックが入っていません。これをチェックしないと、インストールはできません。なので、「使用条件（MICROSOFT ソフトウェアライセンス条項）https://docs.microsoft.com/ja-JP/dynamics365/legal/slt-power-automate-desktop」と、「プライバシーに関する声明 https://privacy.microsoft.com/ja-jp/privacystatement 」を確認し、チェックを入れます。

チェックを入れた後に、「インストール」ボタンをクリックします。クリックすると、「ユーザーアカウント制御」というウインドウが表示され、「このアプリがデバイスに変更を加えることを許可しますか?」と質問されますので、「はい」ボタンをクリックします。

クリックすると、ウインドウに「インストール中..」と表示されますので、インストールが開始されます。開始後、しばらく待ちます。

しばらく待つと、ウインドウ内に「インストール成功」と表示され、「準備ができました」と表示されます。Power Automate Desktopで自動化する準備ができましたので、自動化を完了する手順として、PowerAutomate拡張機能をインストールします。

ウインドウ内に表示されたWebブラウザで一番使うWebブラウザをクリックします。今回はGoogleChromeをクリックします。

■PowerAutomate拡張機能をインストール

クリックすると、chromeウェブストアの「拡張機能」「Microsoft Power Automate」のインストールページが表示されます。GoogleChromeで表示した状態で「Chromeに追加」ボタンをクリックします。

クリックすると、「「Microsoft Power Automate」を追加しますか？」というポップアップが表示されます。ポップアップ内の「拡張機能を追加」ボタンをクリックします。

クリックすると「「Microsoft Power Automate」がChromeに追加されました」というポップアップが表示されました。表示後、GoogleChromeを閉じます。

■Power Automate Desktopの起動

「インストール成功」と表示されたウインドウに戻ります。戻った後に「Power Automate Desktopの起動」ボタンをクリックします。

クリックすると、Power Automate Desktopが起動します。起動後、ウインドウ内に「Microsoft Power Automate Desktop にサインインする」と書かれていますので、「サインイン」ボタンをクリックします。

クリックするお「Power Automate Desktop にサインインする」というウインドウが表示されます。ウインドウ内に「メールアドレス」の入力欄がありますので、Microsoftアカウントで使用しているメールアドレスを入力します。

入力後、「サインイン」ボタンをクリックします。

クリックすると、「アカウントにサインイン」というウインドウが表示されます。ウインドウ内の「アカウントを選択する」と表示された中に入力したメールアドレスがありますので、こちらをクリックします。

クリックすると、「パスワードの入力」欄が表示されますのでパスワードを入力し、「サインイン」ボタンをクリックします。

クリックすると「Power Automate Desktop へようこそ」というウインドウが表示されます。ウインドウ内で「国/地域の選択」で「アイスランド」から「日本」を選択します。

選択後、「開始する」ボタンをクリックします。

クリックすると、Power Automate Desktop内に「デスクトップフローがありません」と表示されます。これでPower Automate Desktopで自動化を行う準備が完了となります。

あとは自動化を進めていきます。

■PC環境

Windows10

■UiPathにアクセスする（UiPath Automation Cloudに登録）

まず、UiPath（UiPath RPA Platform無料評価版 Studio&Cloud）にアクセスする。

アクセスすると、「個人および小規模事業者、その他組織向け」の「Community Cloud」という項目があり「Try it」ボタンがあるので、こちらをクリックする。

クリックすると、「UiPath Platform に登録」と表示されている下に「Googleで登録」、「Microsoftで登録」、「LinkedInで登録」、「メールアドレスで登録」のボタンが表示されていますので、いずれかの方法で登録を行います。今回は「Googleで登録」ボタンをクリックします。

クリックすると、「Googleにログイン」というウインドウが表示されます。「アカウントの選択」と表示されますので、お持ちのGoogleアカウントのいずれかを選択します。

選択すると、「組織名」の入力欄がありますので、組織名を入力し、次に「名」と「姓」の入力がありますので、それぞれ入力します。

入力後、ページの下に移動すると「国/地域」の項目があります。三角のボタンがありますのでこちらをクリックします。

クリックすると、「国/地域」の一覧が表示されますので、「Japan」を選択します。

選択した後に、利用規約と利用ポリシーの内容を確認し、「利用規約および 利用ポリシー に同意します。」のチェックボックスにチェックを入れます。

「UiPath の製品、サービス、イベントならびにプロモーションに関する情報を受信することを希望します。詳細については プライバシー ポリシー をご覧ください。」にもチェックボックスを入れるか外すかします。

その後、「続行」ボタンをクリックします。

クリックすると、「UiPath Automation Cloud へようこそ。」と表示されます。これでUiPath Automation Cloudは完了となります。

■自動化プロセスのため、UiPathStudioのダウンロード

完了後、「UiPathStudioをダウンロード」ボタンをクリックします。

クリックすると、UiPathStudioのダウンロードが開始されます。

しばらくすると、Webブラウザで指定されているファイルの保存場所に「UiPathStudioSetup.exe」がダウンロードされます。こちらをダブルクリックします。

■UiPathStudioのインストール

クリックすると「UiPath」のウインドウが表示されます。ウインドウ内の「サインイン」ボタンをクリックします。

クリックすると、Webブラウザが起動します。「UiPath」のログインページが表示されます。「Googleで続行」、「Microsoftで続行」、「LinkedInで続行」、「メールアドレスで続行」のいずれかのボタンをクリックします。今回は「Googleで続行」ボタンをクリックします。

クリックすると、Googleのログインページが表示されますので、アカウントの選択を行います。選択したアカウントをクリックします。

クリックすると、「When system dialog prompts, click Open Application（システムダイアログが表示されたら、[アプリケーションを開く]をクリックします）」と書かれたページが表示されます。

このサイトは、UiPathを開こうとしています。

UiPath

cloud.uipath.com

では、このアプリケーションを開くことを要求しています。

またWebブラウザのウインドウが表示され、上記のメッセージが表示されます。ウインドウ内の「開く」ボタンをクリックします。

クリックすると、UiPathのウインドウが表示され、「テナントに接続」されます。

しばらくすると、「プロファイルを選択」と表示されますので、今回は「UiPathStudio」をクリックします。

クリックすると、アプリケーションが起動し、「UiPathStudioコミュニティ」と書かれたウインドウが表示されます。これが表示されれば、UiPathStudioをインストールは完了となります。