WEBサイトからデータを自動で取得して、所定のシートに自動で転記したいが可能か？

2021年1月12日 2022年3月18日

sec

	毎日、手動にて複数のサイトから資料となるエクセルファイルやPDFファイルをダウンロードしてきている。
	ダウンロードしたファイルから必要な事項を抜き出し、別のエクセルシートに転記している。
	サイトごとの証明書切り替えも必要で、証明書の切り替えも煩雑である。
	RPAを導入して自社でやることも考えたが、RPAシステムのコストもかかり、サイト構成が変わるたびにRPAのプログラムを修正せねばならず自社で対応する人間がいない。以上のような問題を解決する方法はないか？

というお問い合わせをいただきました。

これを受け当社では、

①証明書の切り替えスクリプトの作成

サイトアクセスに必要な証明書ファイルをすべて用意していただき、サイトごとに必要な証明書を適用できるようにしたスクリプトを開発しました。

現状では複数の証明書をあらかじめインストールされていたようですが、複数の証明書をインストールすると「どの証明書を適用したらよいか？」がわからなくなるので、必要な証明書を必要なタイミングで適用するようスクリプトとなっています。

②WEBスクレイピング

どのサイトからどのデータをダウンロードし、どのよぅにデータを格納するか？という情報をヒアリングしたうえで、

（あ）データ取得を行うサイト内のHTMLソースの解析

（い）①で解析した内容を元にSeleniumというツールを用いたWEBスクレイピングプログラムの開発

（う）（い）で取得したデータをヒアリング内容を元に格納先、名称の変更を行うプログラムの開発。

を行いました。

③自動転記プログラムの作成

②でダウンロードされたファイルの中の必要項目を元に
・PDFファイルの場合：キーワードをもとに、必要項目を検索
・エクセルファイルの場合：所定のシート並びにセルから必要項目を検索
それぞれ検索された必要項目を所定のエクセルシートに転記するプログラムを開発しました。

④①～③の処理の自動化

これらの処理を自動化することにより、お客様が手作業でやられていた煩雑な作業がなくなり業務の効率化が図れます。

をご提案しました。

今後の展開として運用サービスを当社にてご提供することで、

	アクセスするサイトの構成が変更になっても迅速に対応できる
	お客様が求められる結果だけオンラインストレージに配置するようにして、コンテンツサービスとしてご提供できる

などを考えております。

新型コロナウィルス蔓延に伴う緊急事態宣言下、業務効率を見直される際には是非ご検討ください。

詳細については、こちら　より　お問い合わせください。