Webスクレイピングツールを色々調べていたところ、「Google Web Scraper」というツールを見つけたので、実際に使ってみた感想です。
これまではPythonのライブラリを使ったり、UiPathの自動化フローを作ってスクレイピング対応していたのですが、こちらの方法でも問題なくスクレイピングできそうです。
Google Web Scraperとは？
Webページ上の情報をcsvファイルとして抽出できるWebスクレイピングツールです。
Webサイトというのは、下図のようにタグと呼ばれるコードで構造化されているのですが、欲しい情報のタグ情報を指定し、読み取ることで、情報を引っ張ってくる技術です。
元々はプログラミング言語で実現していた技術ですが、Google Web Scraperはノンコードツールなので、コーディング知識が無い人でも比較的簡単に実現できます。
Google Webscraperの追加方法と起動方法
Google ScraperはGoogle Chromeの拡張機能です。英語ではアドインなんて呼ばれたりします。
下図のように「Chromeウェブストア」で検索することで、Google Chromeに簡単に追加することができます。
●Webscraperの追加方法
Chromeストアにアクセスし、「Websraper」と検索します。
検索結果の「Web Scraper（一番上）」をクリックして追加します。
追加できると、Chromeの右上に下図のようなアイコンが追加されます。
これがアドインです。その横にあるオレンジのキツネのアイコンも、アドインの1つで、色々機能を拡充させていけます。
●Webscraperの起動方法
キーボードで「F12」をクリックしてデベロッパーモードを起動します。
そうすると、下図のように一番右に「Web Scraper」のアイコンが表示されます。
下図のようにＷebサイトと抽出したいデータを指定してスクレイピングをしていきます。
●ワークフローの設定方法
「サイトマップ」で作業を定義し、タスクを実行させることでスクレイピングが始まります。
Google Webscraperのメリット
Webscraperを利用することのメリットです。
1.手軽さ
Google Webscraper最大の利点です。
Webスクレイピングができるソフトは、Webscraper以外にも色々ありますが、その多くがソフトをダウンロードして、パソコンにインストールする必要があり、使い始める迄のセットアップの手間が結構かかります。
Web Scraperの場合、ソフトを追加でインストールする必要がなく、Google Chromeで追加するだけなので、簡単に使い始められます。
また起動方法に関しても、「F12」ボタンを押せばツールが立ち上がります。
2.完全無料
Webスクレイピングツールの中には有料のものもあるのですが、Google Web Scraperは完全に無料のツールなので、安心して使うことが可能です。
何回使おうが、どれだけスクレイピングしようが、無料です。
3.処理スピード
感覚的ですが、その他のスクレイピングツールと処理スピードは大きく変わりませんでした。
例えば、H＆Mのニュースリリース約30サイト分のスクレイピングを実行してみましたが、所要時間約2分程度でした。
Pythonを使うともっと速くできるのですが、個人利用では問題なさそうです。
Google Webscraperのデメリット
下記がGoogle Webscraperを使っていて感じた主なデメリットです。
1.サポートがない
何かエラーが出てしまった場合のトラブルシューティングは、自分で調べて解決していく必要があります。
QuoraやYou Tubeに解決策が載っているケースが多いのですが、英語なんですよね。
日本ではあまりメジャーなツールではないので、日本語でのナレッジもあまり多くないのが現実です。
2.ファイルフォーマットの制約
他のソフトの利用する場合、データの出力フォーマットをExcel等色々選択できるのですが、Web Scraperだとcsvに限定されます。
CSVで開いてExcelに変換すればいいだけなので、大した問題ではないですが、若干機能面に制約があるので、余分な手間が発生する可能性があります。
3.作りが簡素
Web Scraperの作りはかなりシンプルです。シンプルというか簡素です。
RPAツールだと、「実行」ボタンがあったり、色々案内表記があるのですが、Scraperは案内表記がないので分かりずらいのです。
ただチュートリアルがあるので大した問題ではないですが、チュートリアル動画がないと操作方法は分かりません。
高まるWebスクレイピング人気
下記はWebスクレイピングのGoogleの検索結果数の推移ですが、ここ数年でWebスクレイピング技術の注目度は国内外で急増していることが分かります。
【Googleトレンドの結果（日本）】 
【Googleトレンドの結果（世界）】
最近は「スクレイピングエンジニア」と呼ばれる職業が出て来たりとスクレイピングを深めることでエンジニアとしての活躍の場も広げられます。
実際僕がEC企業で働いていた時も社内にスクレイピング専門の部隊があり、競合他社の価格情報を調査したり等、重要な役割を担っていました。
Webスクレイピングの教育給付対象講座はあるのか？
経産省と厚生省が推進する社会人の学び直しプログラム（Reスキル）の一環で、教育給付金（補助金）が出る学習講座が増えてきています。
一定の条件を満たせば、下記の通り最大で講座料金の70%が国から補助されるという制度です。
Webスクレイピングの対象講座を調べてみたのですが、現時点では「スクレイピング」に特化した給付金対象講座はありませんでした。
ただスクレイピングで抽出したデータを加工する時にプログラミングを使う機会はあったりするので、給付金の対象となっているDMM WEBCAMP COMMIT
なんかは自己啓発の一環として検討してみてはいかがでしょうか。
その他にも教育給付対象講座は幾つかありましたので、興味があればこちらのまとめページを参考にしてみて下さい。
以上です。