Künstliche Intelligenz & Wissenschaft

In unserer Gruppe untersuchen wir die grundlegenden Grenzen und das Potenzial der künstlichen Intelligenz (KI) sowie den positiven Einfluss, den KI auf die zukünftige Forschung haben kann. Wir haben ein Lernmodell, projektive Simulation [1], entwickelt, das dieses Potenzial aufzeigt, und wir haben es mit modernsten Werkzeugen des maschinellen Lernens kombiniert, die vom Reinforcement Learning über tiefe neuronale Netze bis hin zum Repräsentationslernen reichen. Wir sind begeistert von den Methoden, die in der modernen Informatik entwickelt wurden, und wollen ihren Platz in der heutigen Wissenschaft finden, mit einem Schwerpunkt auf Anwendungen in der Quanteninformation.

Die projektive Simulation (PS) kombiniert Begriffe wie Simulation, Gedächtnis und Random Walk zu einem neuen physikalischen Rahmen für das Lernen [1,2]. Das Schlüsselkonzept ist das episodische und kompositorische Gedächtnis, ein stochastisches Netzwerk von episodischen Erinnerungen, genannt Clips. Wenn der Agent auf einen neuen Wahrnehmungsclip stößt, löst er einen stochastischen Random Walk durch das Clip-Netzwerk aus, der zu einer Aktion führt. Die Sprungwahrscheinlichkeiten entwickeln sich durch Rückkopplung mit der Umgebung, während neue Clips durch Variation und Komposition bestehender Clips entstehen können.

Wir haben Konzepte für quantenbasierte und klassische Lernagenten entwickelt, die in unbekannten oder teilweise bekannten Umgebungen agieren, wobei sowohl die Umgebung als auch der Agent Quantenfreiheitsgrade aufweisen können [3,4]. Alle diese Einstellungen wurden in Kombination mit anderen etablierten Ansätzen wie neuronalen Netzen, Mustererkennungstechniken und Repräsentationslernen untersucht [5].

Projektive Simulation

Klassischer Agent

Klassisches Umfeld

PS kann als Modell für Reinforcement Learning (RL) verwendet werden. Wir haben untersucht, wie gut PS-Agenten im Vergleich zu anderen Ansätzen abschneiden, z. B. bei Standard-RL-Aufgaben [2, 6] und beim Lernen von Fähigkeiten in der Robotik [7]. Wir untersuchen neue Ideen zur Entwicklung von PS und zur Nutzung seiner Eigenschaften, z. B. in Kombination mit neuronalen Netzen [5], sowie seine Anwendungen auf grundlegende Fragen der Verhaltensbiologie [8, 9, 10] und Philosophie [10, 11].

Quantum Umwelt

Eine verwandte Richtung, die wir erforschen, ist die Anwendung von klassischen PS-Agenten auf Probleme der Quanteninformation. Relevante Ergebnisse, die wir hier erzielt haben, sind das autonome Design von Quantenexperimenten auf dem neuesten Stand der Technik [13] und der Schutz von Quanteninformation, bei dem PS zum Beispiel Oberflächencodes findet, die in Bezug auf die Anzahl der Qubits nahezu optimale Lösungen darstellen [14].

Quantum-Agent

Klassisches Umfeld

Hier agiert der Agent in einer klassischen Umgebung, kann aber die Quantenmechanik nutzen, um zu lernen und seine Erfahrungen zu verarbeiten. In einem Quanten-PS entspricht der Deliberationsprozess des Agenten einem Quanten-Random-Walk, der es dem Agenten ermöglicht, sein episodisches Gedächtnis in Superposition abzurufen. Dieses Konzept eines quantisierten Agenten führt zu einer quadratischen Beschleunigung der Entscheidungsfindung und folglich zu einem verbesserten Lernverhalten in aktiven Lernumgebungen [3,15].

Quantum Umwelt

Über die Verbesserung im klassischen Fall hinaus ist das Verständnis der Erweiterungen und des vollen Potenzials in Quantenumgebungen eine der modernsten Forschungsrichtungen, die wir mit Begeisterung verfolgen. Eine vollständige quantenmechanische Behandlung von lernenden Agenten bietet viele konzeptionelle Herausforderungen, die derzeit untersucht werden (in Zusammenarbeit mit Vedran Dunjko in Leiden), wie z. B. das Verständnis der eigentlichen Bedeutung des Lernens im allgemeinen Fall, wenn der Agent und die Umgebung verschränkt werden [4, 16].

Künstliche Intelligenz verspricht einen dramatischen Einfluss auf unser tägliches Leben zu haben, zum Beispiel in der Robotik, der Logistik und bei selbstfahrenden Fahrzeugen. Es wird erwartet, dass diese und andere Bereiche in Zukunft zunehmend von der Verfügbarkeit virtueller Assistenzsysteme profitieren werden, die schnell, zuverlässig und autonom Entscheidungen treffen. In ähnlicher, aber noch dramatischerer Weise könnte sich die Grundlagenforschung durch die Entwicklung künstlicher Forschungsassistenzsysteme verändern.

Die Entwicklung von autonomen KI-Assistenzsystemen für die Grundlagenforschung erfordert, dass wir über anwendungsspezifische Algorithmen und Problemlösungen hinausgehen. Ein Schlüsselelement eines solchen KI-Forschungsassistenten ist wohl die Fähigkeit, abstrakte Modelle der Natur zu entwickeln, die auf sinnvollen und operationell nützlichen Darstellungen physikalischer Systeme beruhen. Wir glauben, dass dieser Aspekt sowohl in realen Anwendungen als auch in der Grundlagenforschung den Unterschied ausmachen kann.

In unserer Gruppe nehmen wir diese Herausforderung an, indem wir verschiedene komplementäre Ansätze entwickeln. Zum Beispiel haben wir in Ref. [5] definieren wir operativ sinnvolle Repräsentationen und entwickeln eine Architektur, die solche Repräsentationen in verschiedenen experimentellen Umgebungen erzeugen kann. In ähnlicher Weise wird in Ref. [12] schlagen wir eine operationale Definition der Fähigkeit, abstrakte Konzepte zu bilden, vor und untersuchen sie numerisch, und präsentieren einen minimalen Lernagenten mit dieser Fähigkeit. Neben diesen Ergebnissen arbeiten wir auch an anderen Ansätzen für einen autonomen Forschungsassistenten: Wir untersuchen zum Beispiel, wie ein KI-Agent sinnvolle und nützliche Handlungssätze (`Skills') in Form von Mustern herausfiltern kann, die in strukturierten Daten großer Handlungsräume verborgen sind. All diese Richtungen scheinen sehr vielversprechend zu sein, und wir sind gespannt, wohin sie uns in Zukunft führen werden!

Auf dem Weg zu künstlichen Forschungsassistenten in der Grundlagenforschung

  • [1] H. J. Briegel und G. De las Cuevas, Projective simulation for artificial intelligence, Sci. Rep. 2, 400 (2012)[arXiv:1104.3787].
  • [2] J. Mautner, A. Makmal, D. Manzano, M. Tiersch, H. J. Briegel, Projective simulation for classical learning agents: a comprehensive investigation, Neue Gener. Comput. 33, 69 (2015) [arXiv:1305.1578].
  • [3] G. D. Paparo, V. Dunjko, A. Makmal, M. A. Martin-Delgado, and H. J. Briegel, Quantum speed-up for active learning agents, Phys. Rev. X 4, 031002 (2014) [arXiv:1401.4997].
  • [4] V. Dunjko, J. M. Taylor, und H. J. Briegel,Quantum-enhanced machine learning, Phys. Rev. Lett. 117, 130501 (2016) [arXiv:1610.08251].
  • [5] H. Poulsen Nautrup, T. Metger, R. Iten, S. Jerbi, L. M. Trenkwalder, H. Wilming, H. J. Briegel, R. Renner, Operationally meaningful representations of physical systems in neural networks, e-print arXiv:2001.00593 [quant-ph] (2020).
  • [6] A. A. Melnikov, A. Makmal, H. J. Briegel, Benchmarking projective simulation in navigation problems, IEEE Access 6, 64639 (2018) [arXiv:1804.08607].
  • [7] S. Hangl, V. Dunjko, H. J. Briegel, J. Piater, Skill Learning by Autonomous Robotic Playing Using Active Learning and Exploratory Behavior Composition, Grenzbereiche der Robotik und KI 7 (2020) [arXiv:1706.08560].
  • [8] K. Ried, T. Müller, H. J. Briegel, Modelling collective motion based on the principle of agency: General framework and the case of marching locusts, PloS one 14 (2), e0212044 (2019) [arXiv:1712.01334].
  • [9] A. López-Incera, K. Ried, T. Müller, H. J. Briegel, Development of swarm behavior in artificial learning agents that adapt to different foraging environments, PLoS ONE 15(12): e0243628 [arXiv:2004.00552].
  • [10] A. López-Incera, M. Nouvian, K. Ried, T. Müller, H. J. Briegel, Collective defense of honeybee colonies: experimental results and theoretical modeling, e-print arXiv: 2010.07326 [quant-ph] (2020).
  • [11] T. Müller, H. J. Briegel, A stochastic process model for free agency under indeterminism. Dialectica, 72: 219-252 (2018).
  • [12] K. Ried, B. Eva, T. Müller, H. J. Briegel, How a minimal learning agent can infer the existence of unobserved variables in a complex environment, e-print arXiv:1910.06985 [cs] (2019).
  • [13] A. A. Melnikov, H. Poulsen Nautrup, M. Krenn, V. Dunjko, M. Tiersch, A. Zeilinger, H. J. Briegel, Active machine learning for quantum experiments, PNAS 115 (6), 1221-1226 (2018) [arXiv:1706.00868v3]
  • [14] H. Poulsen Nautrup, N. Delfosse, V. Dunjko, H. J. Briegel, N. Friis, Optimizing quantum error correction codes with reinforcement learning, Quantum 3, 215 (2019) [arXiv:1812.08451].
  • [15] S. Jerbi, L. M. Trenkwalder, H. Poulsen Nautrup, H. J. Briegel, and V. Dunjko, Quantum enhancements for deep reinforcement learning in large spaces, PRX Quantum 2, 010328 (2021), [arXiv:1910.12760].
  • [16] V. Dunjko, H. J. Briegel, Machine learning and artificial intelligence in the quantum domain: A review of recent progress, Rep. Prog. Phys. 81, 074001 (2018) [arXiv:1709.02779].
Nach oben scrollen