케라스 데이터셋 - 케라스(Keras)에서 제공하는 데이터셋

 

​

1. 개요

Keras에서 딥러닝 모델의 훈련과 테스트를 위해 제공하는 데이터셋은 딥러닝 학습에 많이 사용된다. Keras는 이미지 분류와 관련된 여러 대표적인 데이터셋을 제공하는데, 이러한 데이터셋은 모델 훈련과 성능 평가에 사용된다. Keras를 이용하면 이러한 데이터셋을 간편하게 불러와 활용할 수 있다.

​

Keras에서는 이러한 데이터셋을 keras.datasets 모듈을 통해 쉽게 로드할 수 있다. 예를 들어, keras.datasets.mnist 모듈은 MNIST 데이터셋을 로드하는 기능을 제공하며, 이를 통해 손글씨 숫자 데이터를 사용한 딥러닝 모델을 훈련하고 테스트할 수 있다.

​

Keras에서 제공하는 데이터 셋을 정리해 본다.

​

​

2. CIFAR10 소형 이미지 분류

전체 60,000개의 32x32 컬러 이미지가 10개의 분류로 되어 있다.

훈련 이미지가 50,000 개, 테스트 이미지가 10,000 개.

from keras.datasets import cifar10

(x_train, y_train), (x_test, y_test) = cifar10.load_data()

 

 

x_train, x_test : RGB 이미지 데이터의 uint8 배열.
y_train, y_test : 분류 라벨의 uint8 배열.

 

3. CIFAR100 소형 이미지 분류

전체 60,000개의 32x32 컬러 이미지가 100개의 분류로 되어 있다. CIFAR-10에서 CLASS가 확장되었다.

훈련 이미지가 50,000 개, 테스트 이미지가 10,000 개.

from keras.datasets import cifar100

(x_train, y_train), (x_test, y_test) = cifar100.load_data(label_mode='fine')

x_train, x_test : RGB 이미지 데이터의 uint8 배열.

y_train, y_test : 분류 라벨의 uint8 배열.

label_mode: "fine" 혹은 "coarse".

 

 

​

​

 

4. IMDB 영화 리뷰 감정 분류

긍정과 부정에 대한 감정을 나타내는 25,000개의 IMDB 영화 리뷰로 구성된 데이터셋.

from keras.datasets import imdb

(x_train, y_train), (x_test, y_test) = imdb.load_data(path="imdb.npz",
                                                      num_words=None,
                                                      skip_top=0,
                                                      maxlen=None,
                                                      seed=113,
                                                      start_char=1,
                                                      oov_char=2,
                                                      index_from=3)

x_train, x_test: 인덱스(정수)의 리스트인 시퀀스로 이루어진 리스트.

y_train, y_test: 정수 라벨(1 or 0)로 이루어진 리스트.

​

​

5. 로이터 뉴스 토픽 분류

46가지 토픽으로 라벨이 달린 11,228개의 로이터 뉴스로 이루어진 데이터셋.

세부사항은 IMDB 데이터셋과 동일

from keras.datasets import reuters

(x_train, y_train), (x_test, y_test) = reuters.load_data(path="reuters.npz",
                                                         num_words=None,
                                                         skip_top=0,
                                                         maxlen=None,
                                                         test_split=0.2,
                                                         seed=113,
                                                         start_char=1,
                                                         oov_char=2,
                                                         index_from=3)

word_index = reuters.get_word_index(path="reuters_word_index.json")

word_index : 키가 단어이고 값이 인덱스인 딕셔너리.

​

​

6. MNIST 손으로 쓴 숫자 데이터셋

손으로 쓴 숫자 이미지로 28x28 그레이 스케일로 되어 있다.

60,000개의 훈련 이미지 데이터셋과 10,000개의 테스트 이미지 셋으로 구성.

from keras.datasets import mnist

(x_train, y_train), (x_test, y_test) = mnist.load_data()

 

x_train, x_test: 그레이 스케일 이미지 데이터의 uint8 배열.

y_train, y_test: 숫자 라벨의 uint8 배열.

 

 

 

​

​

7. 패션 이미지로 이루어진 Fashion-MNIST

10가지 패션 분류에 대한 28x28 그레일 스케일 이미지.

60,000개의 훈련 이미지 데이터셋과 10,000개의 테스트 이미지 셋으로 구성.

from keras.datasets import fashion_mnist

(x_train, y_train), (x_test, y_test) = fashion_mnist.load_data()

 

x_train, x_test: 그레이 스케일 이미지 데이터의 uint8 배열.

y_train, y_test: 숫자 라벨의 uint8 배열.

 

 

 

​

클래스 라벨은 다음과 같다.

라벨	설명
0	티셔츠/상의
1	바지
2	점퍼
3	드레스
4	코트
5	샌들
6	셔츠
7	운동화
8	가방
9	앵클 부츠

​

​

8. 보스턴 주택 가격 회귀 데이터셋

카네기 멜론 대학이 관리하는 StatLib 도서관의 데이터셋.

1970년대 보스턴 근교에 위치한 주택의 13가지 속성으로 구성.

 

 

9. 참고 URL

https://keras.io/api/datasets/

Keras documentation: Datasets

 

https://www.tensorflow.org/api_docs/python/tf/keras/datasets

Module: tf.keras.datasets  |  TensorFlow v2.16.1