• Laufzeit: 01.01.2022 – 31.12.2024
  • Schwerpunkt: Weitere Forschungsfelder

Reinforcement Learning for Automated Flowsheet Synthesis of Steady-State Processes

Die Fließbildsynthese ist ein zentraler Schritt im konzeptionellen Entwurf chemischer Verfahren und naturgemäß ein kreativer Prozess, der schwer zu formalisieren ist. Gängige Methoden der computergestützten Fließbildsynthese sind jedoch meist formalisierte Algorithmen, die wissensbasierte Regeln für die Erstellung von Planungsalternativen sowie mathematische Optimierung für die Auswahl von Alternativen (oft aus Superstrukturen) verwenden.

Das Ziel dieses Forschungsprojekts ist die Nutzung moderner Reinforcement Learning (RL) Verfahren für die automatisierte, aber kreative Fließbildsynthese von stationären chemischen Prozessen. Hierbei erstellt ein lernender Agent sequenziell Prozessfließbilder durch Interaktion mit einem Prozesssimulator, der anhand einer Kostenfunktion Rückmeldung zur Güte der erstellten Fließbilder gibt. Der Agent verfügt über keinerlei verfahrenstechnische Vorkenntnisse und lernt ausschließlich anhand dieser automatisierten Interaktion mit dem Simulator. Lediglich der Prozesssimulator enthält das a priori verfügbare physikalische Wissen, d. h. physikalisch-chemische Stoffeigenschaften sowie eine Reihe von allgemeinen Apparatemodellen.

Die zentrale Arbeitshypothese ist, dass dieser Ansatz in der Lage ist, selbstständig machbare Prozessfließbilder zu erstellen, die bezüglich einer gegebenen Kostenfunktion nahezu optimal sind.

Das Projekt gliedert sich somit in zwei eng verzahnte Teile: Auf der einen Seite müssen robuste und schnelle Simulationsumgebungen für Beispielprobleme entwickelt und implementiert werden. Dafür werden zunächst vereinfachte Shortcut- und Surrogatmodelle für die Apparate verwendet (Burger Gruppe, Chemische und Thermische Verfahrenstechnik, Technische Universität München). Auf der anderen Seite (Gruppe Grimm, Bioinformatik und Maschinelles Lernen, Hochschule Weihenstephan-Triesdorf und Technische Universität München, Campus Straubing) müssen neue RL-Methoden entwickelt werden, um die kombinatorischen Herausforderungen einer Fließbilderstellung zu meistern: Der Planungshorizont sowie die Anzahl der möglichen Planungsentscheidungen (diskret und kontinuierlich) sind extrem groß. Zusätzlich ist a priori unklar, wie unfertige Fließbilder inmitten einer Synthese zu bewerten sind, was dem Agenten das Lernen erschwert.

Um diese Herausforderungen besser adressieren zu können wird das Problem der Fließbildsynthese in ein kompetitives Zwei-Spieler-Spiel transformiert. Dies führt zu einer verallgemeinerten Formulierung und Analyse als kombinatorisches Planungsproblem, und ermöglicht die Anwendung von Algorithmen, die für komplexe hochkombinatorische Spieleanwendungen (Schach, Go) entwickelt wurden.

Publikationen

  • Prof. Dr. Dominik Grimm, Quirin Göttl, Prof. Dr.-Ing. Jakob Burger

    Reinforcement Learning für die automatisierte Fließbildsynthese (2021) AI4Life, KI Symposium .

Promotionen

Reinforcement Learning for Automated Flowsheet Synthesis of Steady-State Processes

Promovierende Person
Jonathan Pirnay
jonathan.pirnay@hswt.de
Forschungsschwerpunkt
Weitere Forschungsfelder
Zeitraum
01.01.2022 – 31.12.2024
Wissenschaftlich betreuende Person (HSWT)
Prof. Dr. Dominik Grimm
Einrichtung
Standort Straubing für nachhaltige Ressourcennutzung

Verbundprojektleitung

Zurück
Vor

Teilprojektleitung HSWT

Projektbearbeitung

Partner