Apple arbeitet aktiv daran, die neuen “Apple Intelligence”-Funktionen zu erweitern und so zu gestalten, dass auch Apps von Drittanbietern von den neuen Kapazitäten profitieren.
Um Entwicklern die Nutzung der anstehenden KI-Neuerungen zu erleichtern, hat Apple jetzt neue Programmierschnittstellen vorgestellt mit denen sich vorhandene Apps auf die neuen Möglichkeiten von Siri vorbereiten lassen. Die Sprachassistenz soll zukünftig intelligent auf den aktuellen Bildschirminhalt des iPhones reagieren.
Inhaltserkennung und ChatGPT-Integration
So hat Apple mit der aktuellen Beta-Version von iOS 18.2 neue Programmierschnittstellen bereitgestellt, die es Apps erlaubt, Bildschirminhalte für Siri und Apple Intelligence zugänglich zu machen.
Damit kann Siri auf Fragen zum angezeigten Inhalt reagieren. Beispielsweise wäre es möglich, Siri zu bitten, eine Webseite oder ein Dokument zusammenzufassen, wenn dies auf dem Bildschirm sichtbar ist. Diese Funktion könnte Inhalte auch an bestimmte Drittanbieter-Apps weiterleiten.
Die Erweiterungen, die Apple unter der Überschrift „Making onscreen content available to Siri and Apple Intelligence“ hier beschreibt, ergänzen die Integration von ChatGPT in Siri unter iOS 18.2.
iOS 18.2: Siri gewährt ChatGPT Zugriff auf Bildschirminhalte
Nutzer können damit Siri Fragen zu Bildern oder Dokumenten stellen, etwa: „Was ist auf diesem Foto zu sehen?“. Siri erstellt dann eine Bildschirmaufnahme und sendet diese an ChatGPT. Diese Funktion ist jedoch noch begrenzt und arbeitet nur mit Bildschirmfotos.
„Onscreen Awareness“ mit iOS 18.4
Die aktuelle ChatGPT-Integration ist offenbar nicht gleichzusetzen mit der von Apple geplanten „Onscreen Awareness“-Funktion, die in einer späteren Version von iOS 18 erwartet wird.
Apple beschreibt diese Funktion als eine Art “Bildschirmverständnis”, durch das Siri Aktionen auf dem angezeigten Inhalt ausführen kann, etwa das Hinzufügen einer per iMessage empfangenen Adresse zu einem vorhandenen Adressbuchkontakt. Diese erweiterten Funktionen sollen mit iOS 18.4 im April erscheinen.