Webサイトからデータを抜き出し、xls、csv、txt、xmlなどに変換するには、コピペが一番使われますよね。でも、データの量が多いなら、相当な労力を費やします。もしPythonなどのプログラミング技術があれば、Webスクレイピングでコピペを自動化でき、その仕事が楽になります …
続きを読む
2018年07月
5分で分かる!ビッグデータ、機械学習、データマイニングの意味
近年のWeb、スマホ、アプリなどの発展により、以前とは比較にならないほど膨大な量の情報があふれています。このようなビッグデータを扱う需要が増えてきており、そのデータ分析を行う分野であるデータサイエンスに注目が集まっています。 そんな中、上司から唐突に「デ …
続きを読む
Webスクレイピングで第10回AKB48世界選抜総選挙のデータを取得
毎年6月になるとAKB48の総選挙で盛り上がりを見せています。2018年もやってきました。6月16日、「第10回AKB48世界選抜総選挙」(別名:AKB48 53rdシングル 世界選抜総選挙 ~世界のセンターは誰だ?~)の開票イベントが、愛知・ナゴヤドームにて開催されました。総投票 …
続きを読む
WebサイトをスクレイピングするWebクローラー20選
今では、Webクローリング(Webスクレイピングとも呼ばれる)は多くの分野で広く適用されています。これは、任意のWebサイトから取得されたデータを簡単にアクセスできるようにデータベースに保管することを目的としています。Webクローラーツールは、クローリングプロセ …
続きを読む
まだ知らない?Webクローラーのあれこれ
マーケティング、SEOを担当されている方ならWebクローラーやクローリングといった言葉をよく耳にするのではないでしょうか。今回はそんなWebクローラーに関する基礎知識について紹介します。 Webクローラーとは? Webクローラーとはインターネット上に公開されて …
続きを読む