生産工程のリアルタイムオペレーション最適化
~強化学習・シミュレーションの活用~

強化学習やシミュレーションなどの技術を活用し、生産工程のリアルタイムオペレーション最適化を行うソリューションをご紹介します。
スループットの向上、生産工場の自動化、設備稼働率の向上などをAI技術を活用して実現します。

real-time-optimization-in-production-processes_01.png

リアルタイムオペレーション最適化

生産工程の運用では、現在の状態をもとに下記のような判断が日々求められます。

  • 「どのロットから処理を開始すべきか」
  • 「どの作業機器にジョブを割り当てるべきか」
  • 「どの経路で AGV/AMR を走らせるべきか」

これらの意思決定は生産効率や納期遵守に直結する重要な要素であり、この判断を最適化するのがオペレーション最適化です。

オペレーション最適化の手法は大きくシミュレーション型アプローチ計画型アプローチに分かれ、解決したい問題の内容や状況に応じて使い分けることが重要です。
特にリアルタイムに状況が変化する環境で最適な意思決定を行うリアルタイムオペレーション最適化では、計画型のみでは対応が難しく、シミュレーション型アプローチが有効です。最近注目されている強化学習を用いた最適化手法はシミュレーション型アプローチです。

シミュレーション型アプローチ
対象を再現するシミュレータを作り、そのうえで試行錯誤して方策を求めるアプローチ方法
「ルールベース / 強化学習 / 探索ベース」など
強化学習とは?機械学習との違いや製造業における具体例
計画型アプローチ
対象を数理最適化モデルにモデル化するアプローチ方法
ライオン株式会社 様 数理最適化を用いたスケジューラによる生産計画の自動作成
real-time-optimization-in-production-processes_02.png

リアルタイムオペレーション最適化の活用シーン

投入順序

産業用機械の生産工場

受注情報を踏まえ、部品の投入順序をリアルタイムに決定して、生産効率・コスト・納期を最適化

ジョブスケジュール

産業用機械の生産工場

納期・処理時間・設備の空き状況を踏まえ、ジョブの優先順位と処理機器・処理時期をリアルタイムに決定して、機械稼働率と納期遵守を最適化

AGV/AMR 運用

産業用機械の生産工場

工程間の部品搬送において、搬送対象・送付先・使用する AGV/AMR をリアルタイムに決定して、AGV/AMR の運用効率と仕掛在庫を最適化

強化学習とシミュレーション

強化学習とは

強化学習は機械学習技術を用いて、環境上で報酬を最大化するための行動決定方法を獲得する技術です。「正解」の与え方に特徴があります。
教師付き学習では正しい答え(正解ラベル)を与えるのに対し、強化学習では各行動の良し悪しを示す報酬を与えます。これにより、事前に正解を用意できない環境でも、どのように行動すべきかという方策を学習できます。

強化学習は、短期的な判断の正しさではなく、最終的な効果の最大化を目的とした行動パターンを学習させる点が最大の強みです。

例えば、製造業における、生産ライン設計や産業用ロボット(工場・倉庫)のアーム制御、AGV/AMR の障害物回避と効率的な  経路探索、自動運転、棚入れや出荷順序の最適化に始まり、金融、広告、交通、医療等、様々な分野で活用されています。

シミュレーションの役割(強化学習の基盤)

シミュレーションは、強化学習の基盤となる環境を提供します。現実の制約を受けることなく、低コストで大量の試行錯誤を繰り返せるため、強化学習に必要不可欠な網羅性の高いデータを効率的に収集できます。

real-time-optimization-in-production-processes_03.png

参考記事:
強化学習とは?機械学習との違いや製造業における具体例

シミュレーションや強化学習をはじめとする
最適化ロジックを使いこなせる技術力

Point 1

実績×技術で最適技術を選定

リアルタイムオペレーション最適化では、強化学習が有効なケースがありますが、数理最適化やルールベース、探索型が適する場合もあります。
NTTデータ数理システムは、製造業を中心に年間約250件、累計100社以上の支援実績があり、40年以上にわたり機械学習・数理最適化・シミュレーションを軸に課題解決に取り組んできました。その実績とノウハウ、技術力を生かし、お客様の課題に合った最適な技術を選定します。

Point 2

自社開発のシミュレーション基盤による一貫した支援

強化学習を現場適用するには、高精度なシミュレータによる学習と検証が不可欠です。当社は、自社開発のシミュレーション基盤 S4 Simulation System を活用し、シミュレータ開発、強化学習モデルの学習・チューニング・検証まで一貫して対応します。

導入事例

産業用機械メーカー様

強化学習で実装した新設自動化工場の生産スケジュール最適化

産業用機械の生産工場
概要
新設する自動化工場に対し、受注から装置制御までをリアルタイムに最適化する生産スケジューリングを強化学習で実現。多品種少量・短納期の現場で、段取替え最適化と納期遵守、稼働率最大化を両立しました。
背景・課題
  • 今後の増産を見込んで、新たな生産拠点を自動化工場として立ち上げる計画
  • 新工場では、生産計画の立案から装置制御までを自動化して人的リソースを減らしたい
  • 受注に応じて、リアルタイムに最適な生産スケジュールを生成したい
  • 生産スケジュールは、「多品種短納期の段取替え」「納期遵守率の向上」「生産量の最大化」が課題
取り組み内容
アルゴリズム 生産スケジューリング問題に対して、強化学習(Reinforcement Learning)を採用
PoCとデータ生成 シミュレータ上で多数の運用シナリオを生成し、強化学習の学習データとして活用。PoCでアルゴリズムの性能を検証
モデルチューニングと統合 報酬設計やハイパーパラメータ最適化を通じてモデルをチューニング。学習済みポリシーをMES/PLC等の制御系へ実装し、実運用に組み込み
効果
  • 人件費削減
  • 納期遵守率改善
  • 生産量(スループット)向上
  • 平均リードタイム短縮
  • 段取替え時間・頻度の削減(設備稼働率が向上)

自動車部品メーカー様

AMR群制御による搬送最適化

AMRを活用した工場/倉庫内の搬送
概要
複数台のAMR(自律走行搬送ロボット)を協調制御する群制御システムを導入し、搬送効率・稼働率・安全性を同時に改善。需要変動や障害発生時にも柔軟にタスク配分・経路再計算を行い、現場のボトルネックを解消しました。
背景・課題
  • 工場/倉庫内の搬送業務をAMRへ移管し、自動化を推進
  • 複数台運用での「渋滞・デッドロック」「衝突リスク」「効率的なタスク割当」が課題
  • バッテリー管理(充電スケジューリング)や保守計画も条件として必要
取り組み内容
アルゴリズム タスク割当・経路計画は組合せ最適化(MILPやヒューリスティック)をベースに、混雑回避や学習による改善にはマルチエージェント強化学習を活用
シミュレータ構築 現場通路、停止ポイント、充電ステーション、作業ステーションを反映したシミュレータでPoCを実施。
効果
  • 搬送スループット(工程間搬送量)向上
  • 平均搬送時間短縮
  • 走行距離・待機時間の削減:総走行距離削減
  • 渋滞による待機時間減少

物流会社様

リアルタイム配車システムによる配送最適化

リアルタイム配車システム
概要
リアルタイムの需要変動や交通状況に応じて、車両配車・ルート・配達順を自動で最適化する配車システムを導入。配送効率と納期遵守を両立させつつ、燃料費・人件費の削減とドライバー負荷の平準化を実現しました。
背景・課題
  • eコマース拡大に伴う配送量増加と短納期要求
  • リアルタイムな受注・キャンセル・交通情報に対応した配車が困難
  • 限られた車両・ドライバーでの「配送回数最大化」「燃料消費削減」「時間指定・納期遵守」の両立が課題
  • 手作業の配車・ルート調整が多く、オペレーション負荷と人的ミスが発生
取り組み内容
アルゴリズム 強化学習によるリアルタイム配車ロジックの構築
データ連携 地図・交通APIと連携し交通情報を考慮した学習ロジックの構築
システム構築 SIerとともにリアルタイム配車プラットフォームを構築
効果
  • 配送コスト削減(燃料費・走行距離の削減)
  • 1車両あたりの配送件数向上
  • 時間指定・納期遵守率の改善
  • 配送遅延・待ち時間の削減、平均配達時間を短縮
  • ドライバー残業時間の削減・稼働の平準化

最適化プロジェクトの流れ

  • 1

    ヒアリング/要件定義・お見積り

    ⅰ. ヒアリング(現状把握)
    現状・課題・スケジュール感・運用方針・最終ゴールを伺い、計画型・シミュレーション型の知見から最適な技術を選定します。
    ⅱ. 要件定義
    現場のオペレーションや使用可能なデータの認識合わせを行います。データが限られる場合でも、取得可能な範囲で何が実現できるかを検討します。
    ⅲ. 提案・お見積り
    お客様のフェーズに合わせた柔軟なアプローチで、導入までの具体的な道筋とお見積りを提示します。
  • 2

    シミュレータ開発(シミュレーション型の場合)

    自社開発のシミュレーション基盤「S4 Simulation System」を活用することで、工数とコストを削減しつつ、高品質なシミュレータを設計・実装します。
    実データとの整合性確認やキャリブレーションにより、現場環境を忠実に再現します。
    ※既にシミュレータを導入済みの場合、流用することも検討可能です
  • 3

    アルゴリズム開発(シミュレーション型の場合)

    ルールベースのロジック構築や強化学習モデルの設計・学習・チューニングを行います。シミュレータ上で導入前後の効果を定量的に検証・評価し、パラメータ調整を行います。

    参考:強化学習を活用した生産工程自動化プロジェクトの進め方

  • 4

    納品・運用

    開発したアルゴリズムを納品し、既存システムへの組み込みや本番導入、運用フェーズでの継続的な改善まで一貫して支援します。

    ⅰ. 納品・組み込み
    モデルプログラムを既存システムと連携しやすい形式(API・コンテナ・ライブラリ等)で納品します。必要に応じて実装支援や動作確認を行い、本番環境への組み込みをサポートします。
    ⅱ. 運用支援・改善
    モデルの再学習・チューニングを行って精度維持・向上を図ります。

上記はシミュレーション型の開発イメージです。
計画型の開発のイメージは下記のページ内の講演資料をご覧ください。 ライオン株式会社 様 数理最適化を用いたスケジューラによる生産計画の自動作成

関連ソリューション