Die Auswirkungen der COVID-19-Pandemie haben die Bedeutung zuverlässiger Lieferketten ins Bewusstsein der Öffentlichkeit gerückt. Leere Supermarktregale und Medikamentenknappheit haben der Öffentlichkeit gezeigt, wie fragil moderne Lieferketten sind. Aus Sicht des Verbrauchers ist es daher von entscheidender Bedeutung, dass die Lieferketten unvorhergesehene Nachfrageschwankungen, Probleme mit Lieferanten und Transportunterbrechungen überstehen können. 

Der Schwerpunkt unserer Arbeit liegt auf der Bestandsoptimierung. Die Aufgabe besteht darin, automatisch die am besten geeigneten Lagerbestände innerhalb einer Lieferkette zu ermitteln. Ziel ist es, die Kundennachfrage zu befriedigen und gleichzeitig die Kosten zu minimieren, die durch überschüssige Bestände entstehen. Dies ist eine klassische Anwendung der Supply-Chain-Optimierung, die häufig von einem Supply-Chain-Manager überwacht wird. 

Bisherige Berechnungsmethoden zur Bestandsoptimierung verwenden statische Optimierungsverfahren. Diese Strategien basieren auf der Aufrechterhaltung eines Mindestbestandes, der jederzeit aufrechterhalten werden muss. Eine Nachbestellmenge wird bestellt wird, wenn der Bestand unter den festgelegten Schwellenwert fällt. Statische Methoden werden in der Praxis häufig verwendet, weil sie den Beteiligten in der Lieferkette leicht zu vermitteln sind. Sie versagen jedoch, wenn sich die Lieferkette drastisch ändert, da ihnen die notwendige Flexibilität zur Anpassung fehlt.

Die flexibleren Methoden des maschinellen Lernens, insbesondere das Reinforcement Learning, sind dagegen in der Regel sehr komplex und schwer zu interpretieren und den Managern der Lieferkette zu vermitteln. Dies behindert ihren Einsatz in realen Szenarien, da man ihnen ohne Interpretierbarkeit nicht trauen kann. Der Vorteil dieser Methoden ist, dass wir ein Krisenszenario in einem Simulator erstellen und eine Strategie für schwierige Situationen vorbereiten können. 

‍

‍

In unserer Arbeit kombinieren wir die Vorteile beider Methoden, indem wir eine flexible, interpretierbare Strategie vorschlagen, die mittels Reinforcement Learning gelernt wird. Unser Gesamtansatz ist in der obigen Abbildung dargestellt. Ein virtueller Supply Chain Manager, der als interpretierbares maschinelles Lernmodell modelliert ist, wird durch Reinforcement Learning optimiert, um die Bestellmengen für jede Stufe einer Multi-Echelon Supply Chain in einer Simulation zu erzeugen. Der Agent beobachtet den aktuellen Zustand des Lagerbestands auf jeder Stufe und ruft die letzten Aktionen ab, um die nächste zu bestimmen. Nach dem Einsatz kann das interpretierbare Modell in Form eines Graphen exportiert werden, so dass der Supply Chain Manager untersuchen kann, wie sich jedes Merkmal im Beobachtungsraum auf die Entscheidung über die Bestellmenge auswirkt.

Zusammenfassend lässt sich sagen, dass unsere Arbeit die Lücke zwischen klassischen und modernen Lagerhaltungsmethoden schließt, ihre Vorteile kombiniert und eine vergleichbare Leistung wie weniger transparente Inventaroptimierungsmethoden erzielt. In zukünftigen Arbeiten werden wir komplexere Lieferketten und mehrere Produkte untersuchen.

‍

Gefördert von Bundesministerium für Wirtschaft und Klimaschutz.

Die Arbeit wurde als Workshop-Papier beim AI4ABM Workshop auf der ICLR 2023 angenommen.

Link zum Papier: http://arxiv.org/abs/2303.10382

‍