数理システム 最適化メールマガジン

バックナンバー ( 2016 Vol.5 ) 2016 年 9 月 7 日 発行

-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=
  数理システム 最適化メールマガジン  http://www.msi.co.jp/nuopt/
                           2016 Vol.5 ( 2016 年  9 月  7 日 発行 )
-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=

数理システム 最適化メールマガジンでは,数理計画法パッケージ
数理システム Numerical Optimizer をはじめとして,最適化に関する様々
な情報やご案内を提供していきます.

++++ [目次] ++++++++++++++++++++++++++++++++++++++++++++++++++++++
 ■ <トピック> Numerical Optimizer 学生研究奨励賞の募集
 ■ <トピック> 最新パッチリリースのお知らせ
 ■ <トピック> 数理システム 数理最適化ブログのご紹介
 ■ <トピック> 学会および展示会の出展日程のご案内
 ■ <セミナー> 9 月度セミナーのご案内
 ■ <トピック> 数理計画問題の豆知識(第 22 回)
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

******************************************************************
■ <トピック> Numerical Optimizer 学生研究奨励賞の募集
******************************************************************

Numerical Optimizer 学生研究奨励賞は,Numerical Optimizer を用いた
学生の学術研究の支援・啓蒙および発表の場の提供を目的とした制度で,
2016 年度より開始いたします.

受賞研究は,毎年行われる「数理システムユーザーコンファレンス」にて,
ポスターセッション形式で発表されます.

なお,論文提出者全員に奨励賞として賞金一万円が贈呈されます.
奮ってご応募ください.

応募締切    :10/14(金)午前 10 時
論文提出締切:10/28(金)午前 10 時
結果発表    :11/18(金)

募集要項詳細はこちら
  http://www.msi.co.jp/userconf/student/pdf/stu16req.pdf

                                                 (飯島 剛)

******************************************************************
■ 最新パッチリリースのお知らせ
******************************************************************

2016 年 7 月 13 日に V18 用のパッチをリリースしましたが,それ以降
新たに発見された問題点を解決するパッチを公開しております.
より安定した Numerical Optimizer をお使いいただければと存じます.

【パッチの公開ページ】

  http://www.msi.co.jp/nuopt/user/patch/index.html


【パッチの内容】

<< ライブラリ >>
・ 混合整数計画問題において,内部の前処理によりある制約式の変数が
   全て消去された際に,実行不能になってしまう不具合を修正しました

<< 環境 >>
・ Visual Studio 2015 32bit でモデルファイルがコンパイルできない
   不具合を修正しました

【パッチのダウンロードについて】

パッチのダウンロードにつきましては,改めてユーザー様へメールにて
パスワードのご案内をお送り致します.

                                                 (新田 利博)

******************************************************************
■ <トピック> 数理システム 数理最適化ブログのご紹介
******************************************************************

数理システムの数理最適化ブログを開設いたしました.本ブログでは
数理計画に関するトピックスを定期的に発信して参ります.

また,「最適化楽屋話」では Numerical Optimizer の開発責任者より,
数理最適化についてユーザーの方にお伝えしたいテクニカルな内容を
連載して参ります.

数理最適化ブログはこちら
  https://msi.hmup.jp/nuopt/blog

どうぞ,お付き合いいただきます様,よろしくお願い致します.

                                                 (飯島 剛)

******************************************************************
■ <トピック> 学会および展示会の出展日程のご案内
******************************************************************

◆9/15(木)~16(金)
  日本オペレーションズ・リサーチ学会 2016 秋季研究発表会
場所:山形大学小白川キャンパス
詳細:http://www.orsj.or.jp/nc2016f/

◆9/16(金)
  産産学ポスターセッション「異業種交差点」
場所:一橋大学一橋講堂
詳細:https://www.jaci.or.jp/event/event_apply.php?event_id=668

◆10/4(火)~7(金)
  CEATEC JAPAN 2016
場所:幕張メッセ
詳細:http://www.ceatec.com/ja/

                                                 (飯島 剛)

******************************************************************
■ <セミナー> 9 月度セミナーのご案内
******************************************************************

◆9/16(金)数理最適化イブニングセミナー
            「最適化読本解説」

対象:数理最適化を学びたい方
      最適化読本の詳しい内容が聞きたい方

ご好評いただいている最適化読本について,読本作者自らが解説します.
       「最適化って実際に使えるの?」
       「実務に展開する際のコツは?」
こんな疑問・ご要望に対して読本解説を通じてご説明します.

日程:9/16(金) 18:30~19:30
詳細:https://msi.hmup.jp/nuopt/seminar/evening
会場:NTT データ数理システム 第八会議室


◆9/27(火)課題解決!!最適化ソリューション無料体験セミナー

対象:自動化による現場の業務改善を検討されている方.
      最適化ソリューションによる,様々な業務改善を具体的な事例を
      もとにご紹介いたします.

日程:9/27(火) 13:30~16:30
詳細:https://msi.hmup.jp/nuopt/seminar/introduction
会場:NTT データ数理システム セミナールーム


◆9/28(水)数理最適化イブニングセミナー
            「Excel と Numerical Optimizer で学ぶ数理最適化」

対象: Excel になじみがあり,数理最適化を学びたい方

少し敷居の高い数理最適化を,身近なツールである Excel を使いながら
学んでいきます.
本セミナーでは,長年実務に展開をしてきた技術者が,数理最適化について
平易に解説します.

数理最適化で解決したい課題などがあれば,セミナー終了後ご相談
ください.

日程:9/28(水) 18:30~19:30
詳細:https://msi.hmup.jp/nuopt/seminar/evening
会場:NTT データ数理システム 第八会議室

                                                 (飯島 剛)

******************************************************************
■ <トピック> 数理計画問題の豆知識(第 22 回)
******************************************************************

深層学習の分野では,大規模かつ複雑なニューラルネットワークの学習が
必要とされるため,計算効率向上を図る様々なアイデアが日々研究されて
います.
今回の記事では,Synthetic Gradient[1] という学習法を紹介します.
この手法はつい先日,2016 年 8 月 18 日に arXiv に投稿された論文で
提案されました.
著者陣が DQN や AlphaGo で有名な Google DeepMind のメンバーという
ことでも注目度が高いです.

多層ニューラルネットワークはその名の通り多層構造を持つネットワーク
であり,層間を結ぶエッジ毎に学習すべきパラメータがあります.
基本的には誤差逆伝播法によりパラメータについての勾配を計算し学習が
進みます.
誤差逆伝播では入力層から最終出力層へ情報を伝える順伝播と,その結果
判明する誤差情報を入力層へ戻す逆伝播で構成され,逆伝播を受けた時点で
初めて対応するパラメータの更新が可能となります.つまり誤差逆伝播が
終わるまでは次のパラメータの値が未確定なので,その間,ネットワークは
ロックされて層毎の並列計算可能性が制限されてしまいます.
そこで,逆伝播に対するプロクシを層毎に充てる事で,非同期並列計算を
可能にする機構が Synthetic Gradient です.
具体的には,パラメータについて目的関数に対する微分は,チェインルール
により次の層への出力の微分とそのノード値の変動による最終出力の微分の
積へと分解されます.
前者は順伝播のタイミングで直ちに計算されますが,本来は逆伝播で決定
される後者の項は Synthetic Gradient モジュールからの応答で代用します.
Synthetic Gradient モジュールにより逆伝播は代用されますが,その精度を
向上させるために,実際の逆伝播も実行し,それを教師値とした学習も
行われます.
そして,これらの計算の非同期並列計算可能性により,計算効率向上の
ポテンシャルがもたらされます.

以上が Synthetic Gradient の紹介となります.
実際に[1]では Synthetic Gradient による高速化を報告していますので,
興味を持たれた方は是非読んでみて頂ければと思います.

[1] M. Jaderberg, W. M. Czarnecki, S. Osindero, O. Vinyals, 
A. Graves, and K. Kavukcuoglu, Decoupled Neural Interfaces 
using Synthetic Gradients. arXiv:1608.05343, 2016.

                                                 (二反田 篤史)

==================================================================
※ このメールは,展示会・セミナー等で名刺交換をされた方,過去に
   数理システム Numerical Optimizer に関するお問い合わせを頂いたこ
   とのある方,および本メールマガジンの配信を希望された方にお送り
   しています.
※ バックナンバーはこちらから御覧頂けます.
     http://www.msi.co.jp/nuopt/mailmagazine/index.html
※ 本メールマガジンは等幅フォントでお読みになることを推奨します.
※ 今後このメールマガジンが不要な方は,誠にお手数ですが,「メール
   マガジン配信停止」という件名のメールを nuopt-ms@ml.msi.co.jp
   にお送りください.なお,反映作業の都合上,数日間は旧情報にてメー
   ルが届く場合がございます.なにとぞご容赦ください.

発行:株式会社 NTT データ数理システム 
          << 数理システム Numerical Optimizer >> 担当
        東京都新宿区信濃町 35 番地 信濃町煉瓦館 1 階
                                   tel : 03-3358-6681
                                e-mail : nuopt-info@ml.msi.co.jp
==================================================================