Research Scientist - Pretraining-Daten für Foundation Models (all genders)

Als Teil der größten Organisation für anwendungsorientierte Forschung in Europa ist das Fraunhofer IAIS mit Sitz in Sankt Augustin bei Bonn eines der führenden Wissenschaftsinstitute auf den Gebieten Künstliche Intelligenz, Maschinelles Lernen und Big Data in Deutschland und Europa.

Die Abteilung NetMedia forscht auf dem Gebiet der multimodalen Deep Learning Verfahren zur Künstlichen Intelligenz (KI), dazu zählen die Forschungsthemen Spracherkennung, Bilderkennung, NLP, Foundation Models und Conversational AI. Die in der Forschung entwickelten Methoden werden in skalierbare und cloudfähige Anwendungssysteme überführt, um diese erfolgreich bei unseren Kunden in den produktiven Einsatz zu überführen.

Für unseren Institutsstandort in Dresden suchen wir eine*n Research Scientist mit Fokus auf Pretraining-Daten für Foundation Models. Du arbeitest an wegweisenden nationalen und internationalen Projekten zur Entwicklung großer europäischer Foundation Models, darunter TrustLLM und Soofi, in denen Models auf Basis von mehreren Millionen GPU-Stunden und mehreren Tausend GPUs von Grund auf trainiert werden.

Hier sorgst Du für Veränderung

• Du konzipierst und realisierst skalierbare Datenpipelines für die Aufbereitung großer Web-Korpora (z. B. Common Crawl) als Trainingsdaten für Foundation Models, wie etwa Extraktion über Filterung und Deduplizierung bis hin zur Qualitäts- und Toxizitätsbewertung.
• Du entwickelst Methoden zur synthetischen Datengenerierung mit Hilfe großer Sprachmodelle, um gezielt neue Trainings- und Evaluierungsdaten für Pre-Training, Instruction Tuning und Alignment zu erzeugen.
• Du betreibst und optimierst die zugrunde liegende Inferenz-Infrastruktur für große Models, u. a. auf Basis von Frameworks wie vLLM, und integrierst sie in unsere Datenpipelines.
• Du implementierst und integrierst Deine Methoden in unseren Technologie-Stack und setzt sie auf Hochleistungsrechnern mit mehreren Tausend GPUs ein.
• Du trainierst Foundation Models auf Basis Deiner entwickelten Methoden auf Hochleistungsrechnern, die mehrere Tausend GPUs umfassen.
• Du publizierst Deine Forschungsergebnisse auf hochrangigen internationalen Konferenzen und in Journals und vertrittst Dein Forschungsthema in der öffentlichen Wahrnehmung.
• Du evaluierst zusammen mit unseren Anwendungsteams das Marktpotential Deiner KI-Forschung.

Hiermit bringst Du Dich ein

• Abgeschlossenes wissenschaftliches Hochschulstudium (Master, Diplom) in Informatik, Mathematik, Physik oder einer ähnlichen Fachrichtung mit ausgezeichnetem Abschluss, gerne mit Promotion
• Vorkenntnisse in den Bereichen Data Science, Maschinelles Lernen und Künstliche Intelligenz, insbesondere ein tiefes Verständnis im Bereich des Maschinellen Lernens
• Sehr gute Programmierkenntnisse, insbesondere in Python und PyTorch
• Erfahrung mit der Verarbeitung großer Datenmengen und verteiltem Rechnen (z. B. Spark, Ray, Dask) ist von Vorteil
• Erfahrung mit Inferenz- und Serving Frameworks für große Sprachmodelle (z. B. vLLM, TGI, SGLang) ist von Vorteil
• Erfahrung im Umgang mit Web-Daten-Korpora (z. B. Common Crawl) und typischen Aufbereitungsschritten wie Sprachidentifikation, Deduplizierung und Qualitätsfilterung ist wünschenswert
• Exzellente analytische Fähigkeiten, Freude an abstraktem Denken und konzeptionellem Arbeiten
• Hohe Einsatzfreude sowie die Bereitschaft, zu lernen und sich schnell in neue Sachverhalte einzuarbeiten
• Strukturiertes Arbeiten und professionelles Auftreten
• Sehr gute Deutschkenntnisse (mind. auf Niveau C1)

Was wir für Dich bereithalten

• Forschung auf Spitzenniveau innerhalb eines erstklassigen Forschungsumfelds
• Ableitung und Definition der Forschungsfragen aus realen Anwendungsproblemen, so dass unsere Forschungsergebnisse nicht nur auf den renommiertesten Konferenzen und in Journals veröffentlicht, sondern auch von unseren Anwendungsteams in Produkte und Industrieanwendungen integriert werden können – Du siehst Deine Forschungsergebnisse in der Anwendung
• Förderung Deiner individuellen Entwicklung
• Kollaboratives Teamumfeld
• Zugang zu erstklassiger Infrastruktur, um Foundation Models effektiv trainieren zu können
• Mitwirkung an wegweisenden nationalen und internationalen Projekten zum Thema Foundation Models, darunter TrustLLM und Soofi
• In unserem Institut ist Diversity ein wichtiges, strategisches Ziel: Wir setzen uns aktiv für Chancengleichheit und Vielfalt ein, beginnend mit einem Diversity Training für alle Mitarbeitenden
• Vermögenswirksame Leistungen und eine betriebliche Altersvorsorge
• Vergünstigungen beim Deutschlandticket

Wir wertschätzen und fördern die Vielfalt der Kompetenzen unserer Mitarbeitenden und begrüßen daher alle Bewerbungen – unabhängig von Alter, Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Religion, Weltanschauung, Behinderung sowie sexueller Orientierung und Identität. Schwerbehinderte Menschen werden bei gleicher Eignung und Qualifikation bevorzugt eingestellt. Unsere Aufgaben sind vielfältig und anpassbar – für Bewerber*innen mit Behinderung finden wir gemeinsam Lösungen, die ihre Fähigkeiten optimal fördern.

Die wöchentliche Arbeitszeit beträgt 39 Stunden. Die Stelle kann auch in Teilzeit besetzt werden. Anstellung, Vergütung und Sozialleistungen basieren auf dem Tarifvertrag für den öffentlichen Dienst (TVöD). Zusätzlich kann Fraunhofer leistungs- und erfolgsabhängige variable Vergütungsbestandteile gewähren.

Die Stelle ist zunächst auf 2 Jahre befristet, mit der Option der Verlängerung.

Mit ihrer Fokussierung auf zukunftsrelevante Schlüsseltechnologien sowie auf die Verwertung der Ergebnisse in Wirtschaft und Industrie spielt die Fraunhofer-Gesellschaft eine zentrale Rolle im Innovationsprozess. Als Wegweiser und Impulsgeber für innovative Entwicklungen und wissenschaftliche Exzellenz wirkt sie mit an der Gestaltung unserer Gesellschaft und unserer Zukunft.

Bereit für Veränderung? Dann bewirb Dich jetzt, und mach einen Unterschied! Nach Eingang Deiner Online-Bewerbung erhältst Du eine automatische Empfangsbestätigung. Dann melden wir uns schnellstmöglich und sagen Dir, wie es weitergeht.

Fragen zu dieser Position beantwortet Dir gerne:

Dr. Michael Fromm

E-Mail: [email protected]

Wir bitten um Verständnis, dass wir aus Datenschutzgründen Bewerbungen, die uns per E-Mail erreichen, nicht berücksichtigen können und diese umgehend gelöscht werden.

Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Kennziffer: 84391 Bewerbungsfrist: