In einem Update im OpenAI Blog erklärte das Unternehmen, dass sich das Preparedness Team darauf konzentrieren werde, schwerwiegende Probleme, die durch Künstliche Intelligenz verursacht werden könnten, aktiv zu verfolgen, zu bewerten, vorherzusagen und zu schützen. OpenAI gibt außerdem an:
We believe that frontier AI models, which will exceed the capabilities currently present in the most advanced existing models, have the potential to benefit all of humanity. But they also pose increasingly severe risks.
Zu den katastrophalen KI-Risiken gehören nicht nur nukleare Bedrohungen, sondern auch potenzielle chemische, biologische und radiologische Risiken. Ein weiterer Schwerpunkt liegt auf der Verhinderung autonomer Replikation von KI, die als eine der Gefahrenquellen identifiziert wurde. Des Weiteren wird das Preparedness Team auch daran arbeiten, die Fähigkeit von KI-Systemen, Menschen zu täuschen, zu minimieren. Die Gewährleistung der Cybersicherheit ist ebenfalls ein bedeutendes Anliegen.
We are building a new Preparedness team to evaluate, forecast, and protect against the risks of highly-capable AI—from today’s models to AGI.
Goal: a quantitative, evidence-based methodology, beyond what is accepted as possible: https://t.co/8lwtfMR1Iy
— OpenAI (@OpenAI) October 26, 2023
Aleksander Madry, ein Professor vom Massachusetts Institute of Technology, wird die Leitung des Preparedness Teams übernehmen. In dieser Funktion werden er und sein Team eine risikoinformierende Entwicklungspolitik entwickeln und pflegen, in der dargelegt wird, was das Unternehmen zur Bewertung und Überwachung von KI-Modellen unternimmt.
Aufruf zur Teilnahme an der Preparedness Challenge
Im Update zum Preparedness Team fordert OpenAI talentierte Personen mit vielfältigem technischem Hintergrund auf, sich dem Team anzuschließen, um innovative KI-Modelle weiterzuentwickeln. Darüber hinaus ruft das KI-Unternehmen zur Teilnahme an der Preparedness Challenge auf, die darauf abzielt, weniger offensichtliche Problembereiche zu identifizieren. Als Anreiz bietet das Unternehmen 25.000 US-Dollar in Form von API-Gutschriften für die besten zehn Einreichungen.
Die Gründung des Preparedness Teams und die damit verbundene Preparedness Challenge unterstreichen OpenAIs Engagement für die sichere und verantwortungsbewusste Entwicklung von Künstlicher Intelligenz sowie den Schutz vor potenziellen KI-bedingten Risiken.