オープンデータセットで大規模なデータを活用

データの重要性がますます認識される中、多くのオープンデータが公開され、容易に活用できるようになりました。機械学習が大量のデータから学習するためには、オープンデータの存在が不可欠です。AIを構築する際には、適切なオープンデータを選択し活用することが必要です。今回、オープンデータやデータセットを活用するためのプラットフォームの中から、利用度の高いものを10つ選出しました。自身のサービスやAIの構築に役立ちそうなデータを探してみてください。

DATA GO JP

政府や公共機関が保有するさまざまなデータを一般に公開し、誰でも自由にアクセス、利用できるようにすることを目的としています。

国立情報学研究データリポジトリ

研究機関や大学から提供される情報科学に関連するデータセットを収集し、オープンアクセスの原則に基づいて一般に公開しています。学術論文や研究成果とデータを関連付けることで、研究の透明性と再現性を促進する役割も果たしています。

Link Data

さまざまなテーブルデータの変換と公開をサポートするサイトです。

e-stat

日本の総務省統計局が提供するインターネットサービスで、国や地域の様々な統計データをオンラインで検索・閲覧できるプラットフォームです。

楽天データセット

大手EC企業である楽天が提供するデータセットです。商品販売履歴や顧客行動データなど、さまざまな情報が含まれており、機械学習やデータ分析などの研究やビジネス活動に活用されます。

Yahoo Labs Webscope

Yahooが提供する研究用データセットのコレクションです。ユーザー行動データや広告クリックデータなどが含まれており、情報検索、機械学習、データマイニングなどの研究に利用されます。

音声資源コンソーシアム

音声データの収集・共有・研究を促進するための組織です。研究機関や企業が参加し、音声データセットやツールの提供、共同研究の推進などを行い、音声技術の発展を支援します。

LabelMe

画像アノテーションのためのオンラインツールとデータセットです。ユーザーが画像内のオブジェクトを手動でラベル付けし、それを共有・利用することで、コンピュータビジョン研究に役立てています。

自然言語処理のためのリソース

京都大学の黒橋・河原・村脇研究室が公開しており、自然言語処理用のツールやデータセットの情報をまとめています。

ニコニコデータセット

ニコニコ動画のサービス開始当初から2018年11月8日までに投稿された約1,670万件の動画のメタデータと，それに対する約38億件のコメントデータです。

Datatangは、100万時間の音声認識データと800TBのコンピュータビジョンデータ、20億件の自然言語理解データを持っています。データの品質は、世界をリードするAI企業によって使用されており、信頼に足るものです。

お問合せ：[email protected]