1. まとめトップ

GoogleやFacebookが注目するディープラーニング(深層学習)についてまとめてみた

話題になるけどよくわからない「Deep Learning(深層学習)」という手法について、日本語の情報を出来る限りまとめてみました。ただし、私自身は機械学習が専門ではないため、変な点があればTwitter(@takeshi0406)に教えていただくか、まとめ作成に参加していただけると嬉しいです。

更新日: 2015年06月15日

takeshi0406さん

  • このまとめをはてなブックマークに追加
38 お気に入り 194718 view
お気に入り追加

ディープラーニングとは、ニューラルネットの「ルネッサンス」

Deep Learning(深層学習)は、機械学習の一種であるニューラルネットワークを用いた、人工知能技術の総称です。いろいろな画像認識のコンペティションで優勝するなど、近年話題を集めています。

特定の手法だけを指すのではなく、ニューラルネットワーク(の一種の多層パーセプトロン)の最新手法全般を指す言葉だそうです。こちらのスライド( http://www.vision.is.tohoku.ac.jp/files/9313/6601/7876/CVIM_tutorial_deep_learning.pdf )では、「ニューラルネットのルネッサンス」と表現されています。

一度盛り上がった機運は70年頃には一度下火となり、人工知能や機械学習の中心はもっと現実的な手法(線形識別器、カーネル法など)に置き換わっていました。そうした中でもトロント大のHintonらなどを中心にニューラルネットの研究は地道に進んでいました。
その中でも2000年代後半にいくつかのブレークスルーがおき、状況は大きく代わりました。以下にそれらを順に紹介します。

ちなみにニューラルネットワークという言葉は、脳機能をシミュレーションで再現する数学モデル全般を指すそうです。Wikipediaのニューラルネットワークの項( ( http://goo.gl/C2ps6P ) )にも「狭義には誤差逆伝播法を用いた多層パーセプトロンを指す場合もあるが、これは誤った用法である」とあり、パターン認識でよく用いられる多層パーセプトロンだけよりも幅広い概念を表すようです。

ディープラーニングでは、ニューラルネットの構造上「入力層」と「出力層」の間にある、「隠れ層」と呼ばれる中間層の数を増やし重層構造にする。この隠れ層によって何段階かで認識を繰り返し、色、形状、質感、全体像など複数の特徴を抽出して、より正確な識別ができるようになる。

ディープラーニングが注目された経緯

なぜこれほど話題になったのだろうか.2011年に音声認識の分野で注目され始めてはいたのだが,2012年になってから,いろいろな分析・予測・認識処理のコンペティションで連戦連勝しているからである.しかも2位以下を置き去りにした圧勝である.

ディープラーニングが注目された一つの経緯として、2012年の画像認識コンテストILSVRC 2012( http://www.image-net.org/challenges/LSVRC/2012/results.html )があります。ディープラーニング(SuperVisionと表記)によって、2位以下と圧倒的な差をつけて優勝しました。

つまりILSVRCとかいうECCVのワークショップのコンペティションでSuperVisionとかいうチームがDeepLearningしてて生画像食わせたら2位以下とエラー率10%以上差をつけてブッチギリってことなんですか image-net.org/challenges/LSV…

( ^o^) < 学習器を改良していこう!
( ˘⊖˘) 。o(待てよ、これからは特徴抽出に力を入れていくべきだな)
¦ ILSVRC 2012 ¦ ┗(☋` )┓三
( Hinton )☛ Deep Learning使ったら生の画像だけで1位になれたぞ
▂▅▇█▓▒░(’ω’)░▒▓█▇▅▂うわあああああああああああ

画像処理に携わる人からすると↑こんな衝撃だったそうです
http://www.slideshare.net/kazoo04/deep-learning-15097274

もう一つの契機として、Googleの研究者がYouTubeの画像を学習させたところ、猫を認識するニューロンが出来上がったという話です。こちらは「猫」が話題になった感もありますw

今から約1年前(2012年6月下旬ごろ)、ネット上で下の画像とともに「Googleの研究開発によってコンピュータが猫を認識できるようになった」というニュースが飛び回り、あちこちで話題になった。

「この人工頭脳は、ひとたびインターネットに接続してYouTubeからランダムに選ばれた無数の画像を山のように供給されると非常に特殊なことを行い始めた。猫を認識することを学習したのだ」猫を認識できるGoogleの巨大頭脳 goo.gl/wkTvZ @wired_jp

ディープラーニングが画期的な点

従来の画像認識の分野では、画像から特徴を取り出す手法の設計+学習器を用いることが多かったそうです。
http://www.slideshare.net/yurieoka37/ss-28152060

@shock_pan_man 特徴抽出は人間にしか出来ない聖域だった→HintonらがDeep learningでRGBのrawデータ「だけ」を入力とする識別器をdeep learningで構成→ILSVRC2012でブッチぎりの最高性能→特徴量研究者涙目(←今ここ) *Tw*

従来職人技だった特徴量抽出を教師なし学習でやってしまうという点で画期的です。これにより、特徴量の設計が難しいがゆえに機械学習でうまく扱えなかった問題を改善できるかもしれません。

ニューラルネットワークやたたみ込みネットワークについてわかりにくいところがあれば,HastieのElements of statistical learningを読むと良いかもしれません.だいぶ詳しく書いています. #cvsaisentan

部品が平行移動していても認識できるように設計されており、画像の分野で特に用いられています。

最初にディープラーニングが話題になったのはこの手法がきっかけでしたが、最近はRBMやAuto Encoderなどの事前学習の手法が話題になるのが不思議だ、とおっしゃってる方もいました。

特に、畳み込みニューラルネットワークにおいては、その時代背景というか手書き郵便番号の認識という適用分野もあって、移動不変性の獲得を目的としている。移動不変性(Translation Invariance)とは検知対象が入力データフィールドのどこにあってもきちんと検知できることである。

Convolutional Neural Network ceromondo.blogspot.com/2012/09/convol… @feedlyさんから WIREDのGoogleの画像認識記事からキーワード辿り。あとでこの人のポストまとめて読もうっと。

1 2 3





普段はブログで音楽を紹介しています
http://sakana38.hatenablog.com/

このまとめに参加する



  • 話題の動画をまとめよう