Paper akzeptiert in Twelfth International Conference on Cloud Computing, GRIDs, and Virtualization CLOUD COMPUTING 2021

Das rasante Wachstum im Bereich der KI-basierten Anwendungen, welche maschinelles Lernen (ML) nutzen, hat den Bedarf an leistungsstarker Hardeware stark ansteigen lassen. Es gibt eine ganze Reihe an Möglichkeiten Infrastrukturen für die ML-Entwicklung zu nutzen. Neben dem Aufbau einer eigenen GPU-basierten Infrastruktur Vorort, kann man auch Infrastrukturen in der Cloud, wie Amazon, Google, etc. nutzen. Eine Entscheidungshilfe für die Auswahl der richtigen Infrastruktur bieten sogenannte Benchmarks. Benchmarks geben Aufschluss darüber, welches der verglichenen Systeme für die jeweilige Promblem-Domäne am besten ist. Ein idealer Benchmark für die Beurteilung von ML-Infrastrukturen existiert jedoch nicht. Der Konferenzbeitrag „Comparison of Benchmarks for Machine Learning Cloud Infrastructures“ bei der Konferenz Cloud Computing 2021 vergleicht sieben prominente ML-Benchmarks, MLPerf, DAWNBench, DeepBench, DLBS, TBD, AIBench und ADABench. Im Dokument werden Unzulänglichkeiten der Benchmarks diskutiert und die erforderlichen Verbesserungen skizziert, damit allgemein Cloud-Plattformen wie Amazon, Azure, Google, Siemens usw. einem Benchmarking unterzogen werden können.