TD学習の一つであるQ学習をディープラーニングで行う第２回目。 前回6/30は基本的な理論とベルマン方程式を使った報酬期待値誤差のバックプロパゲーションについて学びました。

今回は前回の様子から、まずはjavascriptへの実装方法の基本的な方法からスタートし、 今回使用するのはConvNetJSというjavascriptベースのディープラーニングフレームワーク。 それにDQNを実装したJSファイルと、実際に構築する設定値やネットワークの値をもう少し具体的に見ていきます。

入力センサーは9方向*3種類の27のinputに対して、出力は進む方向の5つのoutput 隠れ層は50の全結合+ReLUを２層です。 layer_defs.push({type:'input', out_sx:1, out_sy:1, out_depth:network_size}); layer_defs.push({type:'fc', num_neurons: 50, activation:'relu'}); layer_defs.push({type:'fc', num_neurons: 50, activation:'relu'}); layer_defs.push({type:'regression', num_neurons:num_actions});

JSの学習は10分くらいかかる＆CやGPUをきちんと使った場合に比べるとなかなか厳しいものがありますが、 将来的な使用用途がわかりませんがなんとなく学びます。一応experience replayなどの基本テクニックにも触れていこうと思います。

時間があればオリジナルのマップやセンサー、オリジナルの制約条件やエージェントの数に関する考察などを行いたいと思います。おそらくマルチエージェントに関しては次回３回目以降になると思います。

場所は未定ですが、千代田区丸の内もしくは本郷三丁目のラボカフェを予定しています。
決まり次第連絡させていただきます。

（17.8.11追記）時間配分を調整しました。
18:30-19:00 概論
19:00-20:00 理論と実装
20:00-20:30 質疑と議論

このイベントの所属しているグループはディープラーニングついてく会ですが、
せっかくなので欲張って一つ最新の論文を読みたいと思います。

Reinforcement Learning with Deep Energy-Based Policies
https://arxiv.org/abs/1702.08165

こちらはボルツマン分布からコスト関数ベースのDeep Energy-Basd Policiesというものに対して強化学習を行います。

（17.8.18追記）最近さらにまさかのjavascriptベースのtensorflowサポートがgoogleから出ましたので、そちらdeeplearn.jsを紹介します。
https://pair-code.github.io/deeplearnjs/

（17.8.18追記）場所が決まりました。すみませんが、本郷が取れませんでしたので、東京駅八重洲地下街直結の日本酒類販売新八重洲口ビル B1Fのspacee直営の会議室Bになります。以前も使いましたが多少レトロなビルです。場所がわかりづらいですが、住友生命ビルと繋がっていますので、八重洲地下街から入る場合には住友生命ビルになります。

■場所

東京都中央区八重洲２−２−１日本酒類販売新八重洲口ビル
https://goo.gl/maps/TTgSLmffrf82
東京駅からは「八重洲地下中央口」もしくは「八重洲中央口」が至近です。

■地上玄関からの入館方法

「北海道フーディスト」と書かれた看板があるビルです。
看板に沿って小道に面した、ビル横の玄関(「日本酒類販売新八重洲口ビルディング」と書かれた玄関です)からお入りください。奥のエレベーターより地下1階にお上がりください。

■八重洲地下街からの道順

八重洲地下街マップ(https://www.yaechika.com/floormap.php)をご参照ください。
マップ内の3番出口「ミズノ」「すいしんたい乃屋」の間の扉から入っていただき、
突き当たりを左に進んでいただき、エレベーターを越えた右手にB会議室がございます。
※3番扉入って右にあるエレベーターは隣のビルのエレベーターなのでご注意ください。
※PM8時以降と土日祝日は、ビル正面玄関よりお入り下さい。地下の入り口は閉まっています。

■Wi-Fiの利用方法（※無料設備のため通信の保証はいたしかねます）

000_OneCoinSpace1
PW: Gu7ERdiJ