MNISTデータベース

代替文=MNIST sample images|サムネイル|320x320ピクセル|MNISTデータベースのサンプル MNIST手書き数字データベース（, MNISTはModified National Institute of Standards and Technologyの略）は、さまざまな画像認識の学習に広く使用されている手書き数字画像のデータセット。1998年にヤン・ルカン等が、畳み込みニューラルネットワークの性能評価のために、NISTが作成した手書き数字画像のデータセットから一部を切り抜き、画像の大きさをそろえ、画像が中心に来るように調整して作成した。機械学習分野での学習や評価に広く用いられている。

概要 MNISTデータベースは、NISTの2つのデータベース（Special Database 1とSpecial Database 3）の組み合わせからなる画像群のサブセットを加工して作られている。NISTの2つのデータベースはそれぞれ、高校生と米国国勢調査局の従業員が手で書いた数字の画像で構成されている。

MNISTデータベースは、もともとNISTが保有していたデータセットに含まれるサンプルを再構成することによって作成されたデータベースである。元のデータセットでは、学習データセットが国勢調査局の従業員から取得したものであるのに対し、評価データセットは米国の高校生から取得したものであるため、MNISTデータベースの作成者のヤン・ルカン等は、そのままでは機械学習の実験には適さないと感じていた。また、NISTのデータベースに含まれる画像は当初白黒であったが、28x28ピクセルの範囲に収まるようにサイズが正規化され、グレースケール画像になるようアンチエイリアス処理も行われた。

MNISTデータベースには、60,000枚の訓練用画像と10,000枚の評価用画像が含まれている。訓練用画像の半分と評価用画像の半分をNISTの訓練データセットから取得し、残りの半分をNISTの評価データセットから取得した。データベースの作成者のヤン・ルカン等は、データベースで評価した手法の一覧を公開している。論文では、サポートベクターマシンを使用して誤検知率0.8％という実験結果を発表している。また関連して、EMNISTと呼ばれるMNISTに類似した拡張データセットも2017年に公開されている。このデータセットには手書きの数字と文字が含まれており、240,000枚の訓練用画像と40,000枚の評価用画像が含まれる。

ヤン・ルカン等は1995年に20x20ピクセルの同じ枚数のMNISTデータセットを作っていて、1998年に28x28ピクセルに直して現在の形になっている。

なお、テストデータセット内の画像にはほとんど読み取れないような識別難度の高いものも含まれている。明らかにラベルを振り間違えているものが存在することも指摘されている。

データ拡張

多くの場合、データ拡張としてランダムな歪み加工を施したデータを用いてモデルを学習させる。使用されるデータ拡張の手法はアフィン変換または弾性歪み（elastic distortion）が多い。データ拡張の手法の差が誤検知率に大きく影響している。

MNISTによる性能評価の歴史かつてMNISTデータベースのWebサイトにアップされていた一覧によれば、最も悪い誤検知率は12％だった。これは、データの前処理をすることなく単純な線形分類器を使用して分類した場合である。

1998年、ヤン・ルカン等がMNISTを作成した際に発表した畳み込みニューラルネットワークのLeNet-5の誤判定率は0.8%だった。データ拡張はアフィン変換を使用している。 2003年、マイクロソフトの研究者等がデータ拡張の手法として弾性歪みを発表し、2層パーセプトロンで誤判定率が0.7%、畳み込みニューラルネットワークで誤判定率が0.4%になった。この手法で、3層パーセプトロンで誤判定率が0.49%、6層パーセプトロンで誤判定率が0.35%になることが2010年に報告されている。

訓練データとテストデータを固定して、テストデータの結果でモデル選択を行う方法は、テストデータに対して学習を行っていて、交差検証が機能していない。これ以降の研究の誤検知率は真の誤検知率から乖離していることに注意が必要である。

2004年、3層パーセプトロンを改変したLIRAと呼ばれる新しい分類器では誤検知率が0.63％だった。 2006年、誤検知率0.39%のモデルが発表された。 2011年、従来の最良の結果を改善して誤検知率0.27％を達成したことが、同様のニューラルネットワークを用いた研究で報告された。 2012年に発表された研究では、ニューラルネットワークを組み合わせるを用いて、MNISTデータベースで「人間に近いパフォーマンス」の誤検知率0.23％を達成した。同じ論文で、他の認識タスクでも人間の2倍のパフォーマンスを達成している。 2013年、DropConnectと呼ばれる正則化手法を用いたニューラルネットワークで、誤検知率0.21％を達成したとする研究も現れた。 2016年時点で、単一の畳み込みニューラルネットワーク(CNN)を用いた実験に限ると、誤検知率0.25％が最も良い。 2018年8月時点で、データ拡張を使用せずにMNISTで学習した単一の畳み込みニューラルネットワークの最高精度もまた、誤検知率0.25％である。単一のCNNに限らなければ、Parallel Computing Center（ウクライナのフメリニツキー）が、5つのCNNを用いたアンサンブル学習により誤検知率0.21％を達成している。 2018年には、バージニア大学の研究者が、3種類のニューラルネットワーク（fully connected, recurrent, convolutional）を並列させたネットワークを用いて誤検知率0.18％を達成したと発表している。

分類器と性能の一覧本データセットを用いて評価された機械学習手法とその誤検知率を、分類器の種類別に表している。分類器の種別分類器の説明 (784-100-10といった表記は、ニューラルネットワークにおける各層のノード数を表す。またPはプーリング層。)データ拡張前処理誤検知率（％）線形分類器ペアワイズ線形分類器7.6ランダム化された木を使用したデジションストリーム単一モデル（深さ400以上） 2.7 K近傍法非線形変換を伴うK-NN（P2DHMDM） 0.52のブーストHaar特徴を用いた決定株のブースト 0.87サポートベクターマシン（SVM）仮想SVM 0.56多層パーセプトロン 2層 784-800-10 1.6多層パーセプトロン2層 784-800-10 1.1多層パーセプトロン2層 784-800-10 0.7多層パーセプトロン3層 784-1000-500-10 0.49多層パーセプトロン6層 784-2500-2000-1500-1000-500-10 0.35畳み込みニューラルネットワーク（当初ヤン・ルカン等がMNISTを作成した際に発表したLeNet-5） 5層 784-4704-1600-120-84-10 0.8畳み込みニューラルネットワーク（弾性歪みを発表した論文） 4層 841-845-1250-100-10 0.4畳み込みニューラルネットワーク 6層 784-40-80-500-1000-2000-10 0.31畳み込みニューラルネットワーク6層 784-50-100-500-1000-10-10 0.27畳み込みニューラルネットワーク 13層 64-128（5x）-256（3x）-512-2048-256-256-10 0.25畳み込みニューラルネットワーク35個のCNNの組み合わせ、1-20-P-40-P-150-100.23畳み込みニューラルネットワーク5つのCNNの組み合わせ, 6層 784-50-100-500-1000-10-10 0.21Vision transformer0.351.06ランダムマルチモデルディープラーニング（RMDL） 10個のニューラルネットワーク, 10個のリカレントニューラルネットワーク、10個の畳み込みニューラルネットワーク 0.18

QMNIST QMNISTはMNISTの厳密なスーパーセットとなる手書き文字画像データセットである"We propose a reconstruction that is accurate enough to serve as a replacement for the MNIST dataset ... we eventually had to freeze one of these datasets and call it QMNIST" Yadav. (2019). Cold Case: the Lost MNIST Digits.。

MNISTは1990年代にNISTデータセットから構築された。しかしその正確な構築手順は記録として残っておらず、またNISTデータセットに存在した他の手書き文字画像やラベル情報も失われている。失われた構築法を再現し元のNISTデータセットから更なるデータを追加することでMNISTの上位互換（スーパーセット）となることを意図し構築されたデータセットがQMNISTであるYadav and Bottou. (2019). Cold Case: the Lost MNIST Digits.。

QMNISTはtrain/test合計で1074人計12万個の手書き文字画像から構成されており、1人当たり100~130個の画像が含まれている。 +表. コンテンツ比較MNISTQMNISTデータ数train60,000"The reconstructed training set contains 60,000 images matching each of the MNIST training images." Yadav. (2019). Cold Case: the Lost MNIST Digits.60,000test10,000"the first 10,000 images of the reconstructed test set match each of the MNIST test set images. The next 50,000 images are a reconstruction of the 50,000 lost MNIST test images." Yadav. (2019). Cold Case: the Lost MNIST Digits.60,000話者数train539高校生 250人（#2100 ~ #2349）+ 国勢調査局

"Even-numbered images among the 58,100 first MNIST training set samples exactly match the digits written by writers #2100-#2349, all high school students" Yadav. (2019). Cold Case: the Lost MNIST Digits.539国勢調査局 289人（#0 ~ #288）+ 高校生 250人（#2100 ~ #2349）test298国勢調査局 48人（#326 ~ #373）+ 高校生 250人（#2350 ~ #2599）535国勢調査局 285人（#326 ~ #610）+ 高校生 250人（#2350 ~ #2599）

pMNIST permuted MNIST (pMNIST) タスクはピクセル並び替えにより空間情報が失われたMNISTの分類タスクである"The permuted MNIST (pMNIST) task feeds inputs to a model pixel-by-pixel in the order of a fixed permutation." Gu, et al. (2020). HiPPO: Recurrent Memory with Optimal Polynomial Projections.。MNISTは2次元の画像であり隣接ピクセル同士に文字ごとで異なる相関がある。ゆえにConvのような空間に関する帰納バイアスを利用して効率的に解くことができる。ある種のタスクではそのような空間情報によるバイアス無しでの性能評価が望ましい（例: 長系列予測）。pMNISTではピクセルの位置を完全にシャッフルしたうえで固定し、これを用いた分類タスクとする。これにより文字ごとの隣接ピクセル間相関差が消滅し、空間バイアスのないデータセットによるモデル評価が可能になる。

MNISTデータベース

Źródło i licencja