組合せ最適化ソリューション（強化学習AI×シミュレーション）

組合せ最適化とは、膨大な数の組合せから、条件を満たす組合せや、最も良い組合せを探索することです。
応用例としては、効率の良い配送ルートの策定、シフトスケジュールや生産計画などのスケジューリングなどがあります。
組合せ最適化には、数理最適化を使う方法※がスタンダードですが、当社では、機械学習の一種である、強化学習を使ったソリューションもご提供しています。

※数理最適化を使う方法は、当社ではNuoriumOptimizer によるソリューションを提供しています。

強化学習とは

AI（エージェント）に何らかの選択をさせたときにその行動に対する評価（報酬）を与えて、評価が大きくなるような行動の仕方を学習させる方法です。
強化学習は既に観測されたデータを用いて（オフライン）学習を行うこともできますが、データの網羅性が低いと学習の効率は悪くなります。また、実際にデータを観測しながら（オンライン）学習する場合も、行動に対するレスポンスが悪い場合には試行回数を増やすことができず効率が悪くなります。
さらに、選択肢によっては現実の世界で選択することが難しい場合もあり、そのような場合にも学習の効率は悪くなります。
そこで登場するのがシミュレーションです。現実を模したシミュレーターを用いることで、効率的に多くの試行を行い、シミュレーター上の状況を観測する（サンプリングする）ことができ、また、現実世界では選択できない（しない）選択肢をも選択し、実際に失敗をしてみることで、その選択肢を選択しないことを学習することができます。

特徴

計算にリアルタイム性が求められる場合には、強化学習による方法が適しています。強化学習では、大規模な組合せ問題でも、一度学習モデルを作ってしまえば、推論は数分程度で終了します。また、数理最適化では定式化が困難な、複雑なシステムの最適化にも適しています。ただし、エージェントが学習したモデルはブラックボックスになります。組合せ問題として考慮したい制約条件や目的関数を明確にすることができ、それらに従った結果を求めたい場合は数理最適化が適しています。

解説記事

【深層強化学習を用いた組合せ最適化問題へのアプローチ】
組合せ最適化問題に対して最適解を高速に求めることは容易ではなく、したがって分枝限定法を始めとする様々な最適化アルゴリズムが研究されてきました。近年、深層強化学習の発展を背景に、深層強化学習を用いて組合せ最適化問題を解こうとするアプローチが研究されています。本記事ではこの新たなアプローチについて概説します。（記事詳細はこちら）

ソリューションの提供・お問い合わせ

強化学習による最適化ソリューションには、シミュレータ開発が必要です。
当社では、シミュレーションシステム S⁴ Simulation Systemを用いたシミュレータ開発のノウハウを活用し、機械学習の専門家による強化学習モデルの作成やチューニングを行う、組合せ最適化ソリューションを提供しています。

当ソリューションは、製品を提供するものではなく、課題をヒアリングさせていただき、ご提案をさせて頂く、受託開発という形でのご提供となります。

自社やクライアントの課題に強化学習を適用できるのかをまずは相談したい
課題に対して、強化学習を適用した場合の見積もり提案が欲しい

などどのようなご相談もこちらのお問い合わせフォームからお気軽にお問い合わせください。
折り返し、課題などをヒアリングさせて頂く、オンライン会議を設定させていただきます。