Timeline
Erstes Treffen zwischen den Hochschulen des Jahres 2023
Letzte Gesamtversammlung des Konsortiums für 2022
Das letzte Gesamttreffen des Jahres 2022 für das Q-AMeLiA-Projekt fand am 14. November 2022 statt. Es bot den Universitäten die Gelegenheit, die Industriepartner über den aktuellen Stand der Forschung zu informieren und offene Fragen zu diskutieren. Das Treffen endete mit einer Diskussion über nächste Schritte und weitere Forschungsrichtungen.
Beitrag bei MedNeurIPS 2022 angenommen
In neueren Arbeiten wurden die Verteilungen von gelernten Faltungsfiltern in einer groß angelegten Studie mit Hunderten von heterogenen Bildmodellen untersucht. Überraschenderweise zeigen die Verteilungen im Durchschnitt nur geringfügige Abweichungen bei Vergleichen der verschiedenen untersuchten Dimensionen, einschließlich der erlernten Aufgabe, des Bildbereichs oder des Datensatzes. Unter den untersuchten Bilddomänen scheinen medizinische Bildgebungsmodelle jedoch signifikante Ausreißer durch „spikey“ Verteilungen aufzuweisen und lernen daher Cluster von hochspezifischen Filtern, die sich von anderen Domänen unterscheiden. Dieser Beobachtung folgend, untersuchen wir die gesammelten medizinischen Bildgebungsmodelle im Detail. Die Ergebnisse werden in dem Papier mit dem Titel „Does Medical Imaging learn different Convolution Filters?“ auf der MedNeurIPS 2022 formuliert.
Beitrag zur 4. UR-AI-Konferenz angenommen
Um die Vorteile der neuesten Fortschritte im Bereich der künstlichen Intelligenz (KI) voll ausschöpfen zu können, ist eine umfassende Zusammenarbeit von Wissenschaft und Industrie erforderlich, wie sie in diesem Konsortium stattfindet. Aus dieser Motivation heraus wurde am 19.10. auf der 4. UR-AI-Konferenz ein Beitrag eingereicht und als Poster angenommen. Das Beitrag mit dem Titel „Tackling Key Challenges of AI Development – Insights from an Industry-Academia Collaboration“ diskutiert den aktuellen Stand der Technik in jedem der von den Industriepartnern anvisierten Bereiche, d.h. Objekterkennung, Hardware-Benchmarking, kontinuierliches Lernen, Handlungserkennung und industrielle Prozessautomatisierung. Das Papier zeigt auch, dass die Weiterentwicklung von KI in kleinen und mittleren Unternehmen (KMU) eher eine gemeinsame Standardisierung von Konzepten als einen Durchbruch bei den Algorithmen erfordert.
Blogartikel zum Thema „Was ist das Besondere an den Convolutions von robusten Vision-Modellen?“ veröffentlicht
Deep Learning hat die Computer Vision maßgeblich beeinflusst. Es hat es Computern ermöglicht, automatisch hochwertige Merkmale aus Daten zu lernen, und wurde zur Entwicklung von Modellen verwendet, die herkömmliche Ansätze bei einer Vielzahl von Aufgaben wie Objekterkennung, Bildklassifizierung und semantischer Segmentierung übertreffen können. Zu den Anwendungen gehören autonomes Fahren, medizinische Diagnose, Gesichtserkennung und viele andere. Es hat sich jedoch gezeigt, dass Deep-Learning-Modelle von Natur aus empfindlich auf Verteilungsverschiebungen in den Eingabedaten reagieren. Dieser Blog-Artikel des Teams der Hochschule Offenburg erläutert die Forschung, die sie durchgeführt haben, um die Verschiebungen in den gelernten Gewichten (Faltungsfiltern) von trainierten CNN-Modellen zu untersuchen, und stellt die Frage: Was macht die Faltung robuster Bildverarbeitungsmodelle so besonders?
Q-AMeLiA Konstortialtreffen Mai 2022
Das erste Gesamttreffen des Jahres 2022 für das Q-AMeLiA-Projekt fand am 09. Mai 2022 statt. Es bot den Hochschulen die Gelegenheit, die Industriepartner über den aktuellen Stand der Forschung zu informieren und offene Fragen zu diskutieren. Das Treffen begann damit, dass die Hochschulen einen Überblick über den aktuellen Stand der laufenden Forschung gaben. Herr Paul Gavrikov (Hochschule Offenburg) präsentierte ihre Arbeit zum Thema „adversarial training“ und „CNN filters database“. Die Ergebnisse dieser herausragenden Forschungsarbeiten werden auf der diesjährigen CVPR-Konferenz in New Orleans vom Offenburger Team vorgestellt.
Danach präsentierten alle drei Universitäten die Arbeit an der Idee einer Suchmaschine, die ursprünglich vom Offenburger Team stammt. Die Idee einer Suchmaschine entstand aus dem Mangel an einer Modelldatenbank für verschiedene Bereiche, die KMUs einen Ausgangspunkt bieten könnte, wenn sie ML zum ersten Mal und mit einem begrenzten Budget einsetzen. Das Ziel dieser Suchmaschine ist es, die Zeit bis zur Einführung für KMU zu verkürzen und ihr Budget zu reduzieren, indem sie ihnen in ihren frühen Entwicklungszyklen hilft.
Anschließend hatten die Unternehmen die Möglichkeit, offene Forschungsfragen zu erörtern und den aktuellen Stand der Entwicklung in ihren Unternehmen darzustellen. So arbeitet die C.R.S. iiMotion GmbH an der Erkennung und Bewertung von Verunreinigungen in optischen Pfaden von Kamerasystemen. Hier wurde die Aufgabe diskutiert, die Annotationsqualität von Bildern zu verbessern. Die Inferics GmbH wiederum stellte ihre Entwicklungen für die Aktivitätserkennung vor. Das Treffen endete mit einer Diskussion über die nächsten Schritte und die weitere Forschungsrichtung.
Beitrag mit dem Titel „Adversarial Robustness through the Lens of Convolutional Filters“ angenommen auf dem CVPR 2022 „The Art of Robustness“ Workshop
Deep Learning Modelle reagieren von der Art her empfindlich auf Verteilungsverschiebungen in den eingegebenen Daten. Insbesondere kleine, kaum wahrnehmbare Störungen der eingegebenen Daten können Modelle dazu bringen, mit hoher Zuverlässigkeit falsche Vorhersagen zu treffen. Ein gängiger Abwehrmechanismus ist die Regularisierung durch adversariales Training, bei dem die schlimmsten Störungen in das Training zurückgeführt werden, um die Entscheidungsgrenzen zu stärken und die Überanpassung zu verringern. In diesem Zusammenhang hat das Team der Hochschule Offenburg eine Untersuchung von 3 × 3 Konvolutionsfiltern durchgeführt, die sich in adversarial trainierten Modellen bilden. In der Arbeit „Adversarial Robustness through the Lens of Convolutional Filters“ zeigten sie, dass adversarial robuste Modelle vielfältigere, weniger spärliche und orthogonalere Faltungsfilter zu bilden scheinen als ihre normalen Gegenstücke.
Beitrag „CNN Filter DB: An Empirical Investigation of Trained Convolutional Filters“ veröffentlicht in CVPR 2022
Derzeit sind viele theoretische wie auch praktisch relevante Fragen zur Übertragbarkeit und Robustheit von Convolutional Neural Networks (CNNs) noch ungelöst. Während laufende Forschungsarbeiten diese Probleme aus verschiedenen Blickwinkeln angehen, lassen sich diese Ansätze in den meisten Fällen auf die Untersuchung der Auswirkungen von Verteilungsverschiebungen in Bilddaten verallgemeinern. In diesem Zusammenhang hat das Team der Hochschule Offenburg vorgeschlagen, die Verschiebungen in den gelernten Gewichten von trainierten CNN-Modellen zu untersuchen. Insgesamt wurden über 1,4 Milliarden Filter von Hunderten von trainierten CNNs analysiert. Die Arbeit „CNN Filter DB: An Empirical Investigation of Trained Convolutional Filters“ zeigt hochrelevante Eigenschaften vieler öffentlich verfügbarer vortrainierter Modelle für praktische Anwendungen.
Blog-Artikel über die besten Tipps für den Export von trainierten Neuronalen Netzen im ONNX-Format veröffentlicht
ONNX (Open Neural Network Exchange) ist ein Format für Deep-Learning-Modelle, das von mehreren Inferenzsystemen verwendet wird. Modelle für Deep Learning sind in hohem Maße von dem Framework abhängig, in dem sie erstellt werden. Das ONNX-Format hilft dabei, indem es ermöglicht, das Modell im bevorzugten Framework zu trainieren und dann in ein Framework-unabhängiges Format zu konvertieren. Viele Deep-Learning-Frameworks wie PyTorch, TensorFlow, Keras, SAS, Matlab unterstützen heutzutage die Konvertierung in das ONNX-Format direkt oder über einen Konverter. Ein Konverter wandelt Framework-spezifische Modellserialisierungsformate in das ONNX-Format um. Bei der Verwendung des ONNX-Formats gibt es noch zahlreiche Framework-abhängige Punkte zu beachten. Aus diesem Grund wurde vom Team der Hochschule Offenburg (HSO) ein Blogartikel mit dem Titel „Best Practices for Neural Network Exports to ONNX“ veröffentlicht.
Erstes Projekttreffen im Jahr 2022
Das erste Treffen des Jahres 2022 für das Q-AMeLiA-Projekt fand am 7. Februar 2022 als Treffen zwischen den Hochschulen statt und bot die Gelegenheit, die jeweiligen Entwicklungen und künftigen Schritte zu besprechen. Das Treffen begann damit, dass die Hochschulen einen Überblick über den aktuellen Stand der laufenden Forschung gaben. Von der Hochschule Karlsruhe nahmen Herr Alexander Melde und Frau Prof. Dr.-Ing. Astrid Laubenheimer an dem Treffen teil. Von der Hochschule Offenburg nahmen Herr Paul Gavrikov, Herr David Hoof und Prof. Dr.-Ing. Janis Keuper teil und von der Hochschule Furtwangen waren Herr Manav Madan und Prof. Dr. Christoph Reich zugegen.