Die neue VoiceOver-Erkennung im Detail

Seit iOS 14 steht VoiceOver-Nutzern die brandneue VoiceOver-Erkennung zur Verfügung. Sie umfasst insgesamt drei Kernfunktionen: die Bildbeschreibungen, die Bildschirmerkennung sowie die Texterkennung. Aber was leistet die VoiceOver-Erkennung im Alltag und wie funktioniert sie?

Hardware-Voraussetzungen müssen erfüllt sein

Damit ihr in den Genuss der neuen VoiceOver-Erkennung kommt, ist mindestens ein iPhone XS bzw. XR oder neuer, ein iPad Air 3 oder neuer, ein iPad der achten Generation oder ein iPad Pro 2018 oder neuer erforderlich. Der iPod touch unterstützt das Feature aufgrund des veralteten Prozessors leider nicht. Ältere Geräte, sogar das iPhone 8 oder X, bleiben trotz des A11 Bionic Chips mit vorhandener Neural Engine außen vor und müssen sich mit der alten Text- und Bilderkennung aus iOS 13 begnügen.

VoiceOver-Erkennung läuft lokal auf dem Gerät

Damit eine Funktion der VoiceOver-Erkennung korrekt arbeiten kann, wird nach der Aktivierung ein kleines Datenpaket auf euer Gerät heruntergeladen. Anschließend arbeitet die Funktion, beispielsweise die Beschreibung von Bildern, lokal auf dem iPhone oder iPad und setzt keine Internetverbindung voraus.

Bildbeschreibungen erheblich verbessert, aber zur Zeit nur auf Englisch

Schon mit iOS 13 war es möglich, Objekte und Personen auf Bildern zu erkennen. Dafür fokussierte man einfach ein beliebiges Bild und VoiceOver beschrieb kurz, welche Objekte auf dem Bild zu sehen sind. Mit iOS 14 ändert sich diese Vorgehensweise zwar nicht, doch die Beschreibungen sind jetzt bedeutend ausführlicher und genauer. Während VoiceOver bei einem Foto in der Fotomediathek mit iOs 13 nur „Personen“ wiedergab, wird seit iOS 14 eine detaillierte Szenenbeschreibung ausgegeben. Knackpunkt an der Sache ist jedoch, dass die Bildbeschreibungen bis jetzt nur auf Englisch verfügbar sind. Es bleibt daher zu hoffen, dass Apple schnellstmöglich auch ein deutsches Sprachpaket bereitstellt.
Aktivieren lassen sich die Bildbeschreibungen über Einstellungen > Bedienungshilfen > VoiceOver > VoiceOver-Erkennung > Bildbeschreibungen. Über die Schaltfläche „Auf Apps anwenden“ können die Apps ausgewählt werden, für die VoiceOver die Bildbeschreibungen verwenden soll. Standardmäßig sind alle Apps ausgewählt. Auf Wunsch kann über die Rotor-Einstellungen auch die Option „Bilder beschreiben“ zum Rotor hinzugefügt werden. Darüber lässt sich die Funktion dann bequem überall ein- und ausschalten.

Bildschirmerkennung: Eine neue Ära der Barrierefreiheit von Apps

Die zweite und wohl wichtigste Funktion, die die VoiceOver-Erkennung mitbringt, ist die sogenannte Bildschirmerkennung. Mit ihr soll die Zugänglichkeit von Apps um ein Vielfaches verbessert werden. Dabei geht es nicht nur um die Beschriftung von Schaltern, sondern auch um die Erreichbarkeit solcher und um die Identifizierung von Elementeigenschaften. Kurz gesagt könnte man damit in der Theorie jede beliebige App aus dem Store herunterladen und VoiceOver macht sie in Echtzeit zugänglich, ohne dass der Entwickler auch nur einen Finger rühren muss. Praktisch steht die Funktion aber noch am Anfang. Bei mehreren getesteten Apps (z.B. SongPop, Grepolis oder Hero Zero), die ohne zugeschaltete Bildschirmerkennung überhaupt nicht bedienbar waren, wurden nach der Aktivierung plötzlich diverse Schalter anspringbar und auch auslösbar. Leider kann man im Moment aber noch nicht davon sprechen, dass dadurch plötzlich ganze Apps barrierefrei werden. Die Bildschirmerkennung stellt aktuell eher eine nette Hilfe dar, wenn ein bestimmter Teil (z.B. App-Werbung in Apps) überhaupt nicht bedienbar ist. Mit fortschreitender Entwicklung könnte die Vorstellung, dass jede App aus dem Store ohne größere Probleme nutzbar ist, aber durchaus Realität werden. Dennoch sind die Entwickler weiterhin dazu angehalten, auf Barrierefreiheit ihrer Apps zu achten, gerade wenn man sich vor Augen führt, wie umfangreich VoiceOver und andere Bedienungshilfen in die zahlreichen Entwicklerschnittstellen integriert sind.
Wie die Bildbeschreibungen findet man die Funktion in den Einstellungen unter Bedienungshilfen > VoiceOver > VoiceOver-Erkennung. Anstelle der Bildbeschreibungen wählt man nun aber den Punkt Bildschirmerkennung aus. Über die Schaltfläche „Auf Apps anwenden“ können wie bei den Bildbeschreibungen Apps an- und abgewählt werden, die die Bildschirmerkennung zur Darstellung der Benutzeroberfläche nutzen sollen. Ebenso steht im Rotor auch die Option „Bildschirmerkennung“ für eine schnelle Aktivierung von überall aus zur Verfügung.

Texterkennung in Bildern

Zu guter Letzt hält die VoiceOver-Erkennung noch die Möglichkeit bereit, Texte in Bildern vorzulesen, wobei die Texterkennung unabhängig von den Bildbeschreibungen arbeitet. Möchtet ihr also nur erkannten Text aus Bildern vorgelesen bekommen und auf die Bildbeschreibungen verzichten, ist das ohne Probleme möglich. Um Text in Bildern erkennen zu lassen. kann wie bei den Bildbeschreibungen auch einfach ein beliebiges Foto fokussiert werden. Wird ein Text erkannt, liest VoiceOver ihn nach der Elementbeschreibung automatisch vor.
Aktivieren lässt sich die Option ebenfalls über die Einstellungen unter Bedienungshilfen > VoiceOver > VoiceOver-Erkennung. Im Gegensatz zur Bildschirmerkennung und den Bildbeschreibungen arbeitet die Texterkennung systemweit und kann nicht über den Rotor aktiviert oder deaktiviert werden. Auch die Konfiguration für bestimmte Apps ist nicht vorgesehen.

Fazit: Ein gelungenes Update

Mit der neuen VoiceOver-Erkennung macht Apple erneut einen großen Schritt in die richtige Richtung. Vor allem die Bildschirmerkennung zeigt eindrucksvoll, wie hilfreich die Möglichkeiten künstlicher Intelligenz und maschinellen Lernens auch für die Barrierefreiheit von Unterhaltungselektronik sein können. Zwar steht die Bildschirmerkennung zur Zeit noch eher am Anfang, doch in zwei bis drei Jahren kann es vielleicht schon möglich sein, nahezu jede App aus dem App Store ohne großartige Schwierigkeiten bedienen zu können. Doch auch die Bildbeschreibungen und die Texterkennung arbeiten sehr überzeugend. Einzig und allein ein deutsches Sprachpaket sollte Apple in naher Zukunft noch bereitstellen, damit auch Menschen von den detaillierteren Bildbeschreibungen profitieren können, die des Englischen nicht mächtig sind.

2 Kommentare

  1. Ein wirklich super Artikel! Vielen Dank dafür! ich persönlich wäre mir ja das iPhone zwölf kaufen. Ich werde selbstverständlich die Entwicklung bezüglich VoiceOver Erkennung und so weiter im Auge behalten.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.