Octoparse Japan

Webスクレイピング、クローラー、スクレイピングツール、データ抽出、データ分析、データ活用、ビッグデータなどに関する記事です。

2018年07月

GoogleスプレッドシートでWebからデータを取得する

Webサイトからデータを抜き出し、xls、csv、txt、xmlなどに変換するには、コピペが一番使われますよね。でも、データの量が多いなら、相当な労力を費やします。もしPythonなどのプログラミング技術があれば、Webスクレイピングでコピペを自動化でき、その仕事が楽になります …
続きを読む
5分で分かる!ビッグデータ、機械学習、データマイニングの意味

近年のWeb、スマホ、アプリなどの発展により、以前とは比較にならないほど膨大な量の情報があふれています。このようなビッグデータを扱う需要が増えてきており、そのデータ分析を行う分野であるデータサイエンスに注目が集まっています。 そんな中、上司から唐突に「デ …
続きを読む
Webスクレイピングで第10回AKB48世界選抜総選挙のデータを取得

毎年6月になるとAKB48の総選挙で盛り上がりを見せています。2018年もやってきました。6月16日、「第10回AKB48世界選抜総選挙」(別名:AKB48 53rdシングル 世界選抜総選挙 ~世界のセンターは誰だ?~)の開票イベントが、愛知・ナゴヤドームにて開催されました。総投票 …
続きを読む
WebサイトをスクレイピングするWebクローラー20選

今では、Webクローリング(Webスクレイピングとも呼ばれる)は多くの分野で広く適用されています。これは、任意のWebサイトから取得されたデータを簡単にアクセスできるようにデータベースに保管することを目的としています。Webクローラーツールは、クローリングプロセ …
続きを読む
まだ知らない?Webクローラーのあれこれ

マーケティング、SEOを担当されている方ならWebクローラーやクローリングといった言葉をよく耳にするのではないでしょうか。今回はそんなWebクローラーに関する基礎知識について紹介します。   Webクローラーとは? Webクローラーとはインターネット上に公開されて …
続きを読む