Intelligente Systeme, mit denen die Nutzer in direkter Weise, etwa in Sprach- oder Textform, kommunizieren, erfreuen sich im Bereich der User Experience immer größerer Beliebtheit. Nachdem Sprachassistenten und Chatbots bereits im mobilen Sektor für Aufsehen gesorgt haben, versucht Microsoft nun auch das Personal Computing mit seiner Applikation FamilyNotes auf eine neue Stufe zu heben.

Microsoft will in Zukunft seine Anstrengungen verstärkt auf die Verbesserung der Interaktionen zwischen Mensch und Maschine konzentrieren – das hat der Konzern zumindest auf der Build 2016 angekündigt (unser Kommentar zur diesjährigen Build). Insbesondere sollen direkte Kommunikationsformen, wie Sprach- und Schreiberkennungen, stärker in das Personal Computing integriert werden. So soll dem aktuellen Trend sogenannter Conversational User Interfaces im mobile Segment auch im Bereich der Desktop-Anwendungen mit der App FamilyNotes Rechnung getragen werden.

FamilyNotes und Conversational User Interfaces

Einen ersten Versuch in diese Richtung hat das Unternehmen mit der Universal-Windows-Platform-App „FamilyNotes“ unternommen (mehr zu Universal-Windows-Apps in Thomas Claudius Hubers BASTA!-Session „Endlich Cross-Platform: Universal-Windows-Apps für Windows 10„). Im Grunde imitiert die Beispielapplikation ein schwarzes Brett, auf dem sich Familienmitglieder Nachrichten und Erinnerungen auf einem PC oder Tablet zukommen lassen können.

Im Standardmodus startet die Applikation mit einer Default-Family-Group, zu der durch den Button „New Person“ in der Kommandoleiste neue Nutzer hinzugefügt werden können. Wird daraufhin die Schaltfläche „New Note“ angeklickt, erscheint eine Liste sämtlicher Familienmitglieder. Nun kann ausgewählt werden, ob eine Mitteilung einer bestimmten Person oder allen Mitgliedern geschickt werden soll. Per Klick auf den eigenen Account in der Kontaktliste können erhaltene Notizen aufgerufen werden.

Die Besonderheit von FamilyNotes liegt darin, dass es nicht nur Eingaben per Maus, Tastatur oder Touch unterstützt. Die Beispielapplikation soll demonstrieren, wie moderne Features, wie Schreib-, Sprach- und Gesichtserkennung, in einem praxisorientierten Szenario im Bereich des Personal Computing sinnvoll eingesetzt werden können.

Im Unterschied zu herkömmlichen Eingabemethoden erfolgt durch den Einsatz solcher Features die Interaktion mit einer Maschine nicht mehr in vermittelter, sondern in direkter Form. Die Befehle werden nun unmittelbar per Sprache oder Schrift erteilt und müssen nicht erst in binäre Maschinensprache – etwa durch ein grafisches Interface – übersetzt werden.

Bisher kommen diese Funktionen vor allem im Mobile-Bereich zur Anwendung und spiegeln sich in der Entwicklung vom Graphical User Interface zum Conversational User Interface wider. Da sich der Einsatz von Sprachassistenten und Chatbots in erster Linie positiv auf die User Experience auswirkt, gibt es eine Vielzahl guter Gründe, warum Conversational User Interfaces die Zukunft gehört

Sprach-, Schreib- und Gesichtserkennung in FamilyNotes

Die Spracherkennung wird in FamilyNotes via Cortana Voice Commands angesteuert. So ist es den Nutzern per Sprachbefehl möglich, die Applikation zu aktivieren („Hey Cortana, FamilyNotes“) oder die Software zu starten und ein neues Nachrichtenfenster zu öffnen („Hey Cortana, FamilyNotes add new note for everyone“).

Ist die App bereits geladen, kann ein neues Nachrichtenfenster per „Add new note for <person name>“ aufgerufen werden. Außerdem besteht die Möglichkeit, sich empfangene Botschaften via „Read note“ vorlesen zu lassen. Darüber hinaus kann der Inhalt einer Nachricht sprachlich diktiert oder schriftlich niedergeschrieben werden. Zur Schreiberkennung greift FamilyNotes auf das InkCanvas API zurück.

Die Erkennungssoftware erleichtert aber nicht nur das Verfassen von Notizen, sondern erkennt auch automatisch, welcher User gerade das System benutzt. Mithilfe der Gesichtserkennung, die sowohl mit internen sowie externen Webcams funktionieren soll, stellt die Applikation dem gerade aktiven Nutzer seine eingegangenen Nachrichten selbstständig bereit.

Da FamilyNotes zur Auswertung der Bilder auf das Face API zurückgreift, müssen die Anwender sich jedoch zunächst einen Microsoft-Cognitive-Service-Account anlegen. Erst durch die Eingabe des erhaltenen Keys im Optionsmenü ist es möglich, das Feature zu aktivieren. Zu beachten ist, dass sämtliche Dateien, die via App hochgeladen werden, direkt an Microsoft gesendet werden.

Technische Voraussetzungen

Um FamilyNotes zum Laufen zu bringen, ist ein Windows-10-Rechner mit Schreib- und Touch-Support sowie eine Kamera und ein Mikrofon notwendig. Die App ist in C# und XAML geschrieben und folgt der Model-View-Controller-Methode. Vorausgesetzt werden Visual Studio 2015 und das Windows Software Development Kit (SDK) für Windows 10. Heruntergeladen werden kann FamilyNotes auf GitHub.

Fazit

Mit FamilyNotes gibt Microsoft einen ersten Einblick in die Zukunft des Personal Computings. Auch wenn die Beispielapplikation sich noch im Anfangsstadium befindet, ist schon jetzt zu erkennen, inwiefern Sprach-, Schreib- und Gesichtserkennung nicht nur den Markt mobiler Endgeräte, sondern auch das Personal Computing verändern werden. Eine Entwicklung, von der insbesondere die Nutzer profitieren.