Bugs in Fig: AI Agents & Automation für Android gefunden
Fig ist ein KI-Agent, der Anfragen in einfacher Sprache direkt auf Ihrem iPhone oder iPad in fertige Ergebnisse umsetzt. Sie beschreiben, was Sie benötigen, und Fig recherchiert Themen, erstellt Websites sowie Präsentationen, Videos, Musik und Podcasts.
Außerdem können Sie mit Fig Ihre eigenen benutzerdefinierten Agenten entwerfen, Tools wie Gmail, Notion und Slack verbinden und Aufgaben planen, die ausgeführt werden, während Sie nicht da sind. Mit einer Auswahl führender KI-Modelle und einem sprachgesteuerten Agenten macht es Fig jedem leicht, in einem einzigen Gespräch von der Idee zum Ergebnis zu gelangen.
Im Rahmen unserer wöchentlichen Erkundung haben wir eine Fehleranalyse von Fig durchgeführt. Die Hauptfunktionen der App bieten eine solide Benutzererfahrung und können dem Nutzer auf vielfältige Weise helfen. Allerdings beeinträchtigen einige Fehler die Benutzererfahrung. Sehen Sie sich unten unseren detaillierten Bericht und die Empfehlungen unseres QA-Ingenieurs an.
Die Präsentationsseite zeigt nach der Rückkehr aus dem Hintergrundmodus einen weißen Bildschirm an
Die Strenge:
Kritisch
Voraussetzungen:
Der Benutzer ist in seinem Konto angemeldet.
Wiedergabeschritte:
- Öffnen Sie die App.
- Öffnen Sie das Seitenmenü.
- Tippen Sie auf die Schaltfläche „Neuer Chat“.
- Tippen Sie auf die Schaltfläche „Folie erstellen“.
- Wählen Sie einen Folienstil aus (z. B. „Premium Futuristic“).
- Geben Sie eine Beschreibung für die Folienpräsentation ein (z. B. „Neue Technologie“).
- Tippen Sie auf die Schaltfläche „Senden“.
- Warten Sie, bis die Präsentation erstellt wurde.
- Öffnen Sie die erstellte Präsentation.
- Schließen Sie die App.
- Warten Sie 5 Minuten.
- Kehren Sie aus dem Hintergrundmodus zur App zurück.
Der Umgebung:
Gerät: Xiaomi Mi 10
Android 13 TKQ1.221114.001
Xiaomi HyperOS 1.0.1.0.
Tatsächliche Ergebnis:
Nach der Rückkehr aus dem Hintergrundmodus zeigt die Präsentationsseite anstelle der generierten Folien einen leeren weißen Bildschirm an.
Erwartetes Ergebnis:
Bei der Rückkehr aus dem Hintergrundmodus sollten auf der Präsentationsseite sofort die generierten Folien angezeigt werden.
Die Bilderzeugung schlägt fehl, wenn das Claude-Modell für den Chat ausgewählt wird, obwohl die Einstellung für das Bildmodell auf „Auto“ steht
Die Strenge:
Kritisch
Voraussetzungen:
Der Nutzer ist in seinem Konto angemeldet.
Wiedergabeschritte:
- Öffnen Sie die App.
- Öffnen Sie das Seitenmenü.
- Klicken Sie auf die Schaltfläche „Neuer Chat“.
- Klicken Sie auf die Modellauswahl im Eingabefeld.
- Wählen Sie ein Claude-Modell aus (z. B. „Fable 5.1“).
- Klicken Sie auf die Schaltfläche „Bild erstellen“.
- Wählen Sie einen beliebigen Stil aus (z. B. „Tier-Infografik“).
- Vergewissern Sie sich, dass das Bildmodell auf „Auto“ eingestellt ist.
- Geben Sie eine Eingabe ein (z. B. „Test“).
- Klicken Sie auf die Schaltfläche „Senden“.
Der Umgebung:
Gerät: Xiaomi Mi 10
Android 13 TKQ1.221114.001
Xiaomi HyperOS 1.0.1.0.
Tatsächliche Ergebnis:
Nach dem Senden der Eingabeaufforderung wird das Bild nicht generiert, und Fig zeigt eine allgemeine Fehlermeldung an: „Bei der Generierung dieser Antwort ist ein Problem aufgetreten. Bitte versuchen Sie es erneut – und falls der Fehler weiterhin auftritt, probieren Sie ein anderes Modell aus.“ Die Einstellung „Auto“ für das Bildmodell wird nicht berücksichtigt, solange ein Claude-Modell für den Chat ausgewählt ist, und die Fehlermeldung gibt keinen Hinweis darauf, welches Modell den Fehler verursacht.
Der Fehler tritt auf, wenn ein Claude-Modell für den Chat ausgewählt ist.
Erwartetes Ergebnis:
Wenn das Bildmodell auf „Auto“ eingestellt ist, sollte das Bild mit einem geeigneten Bildmodell generiert werden, unabhängig davon, welches Modell für den Chat ausgewählt ist.
Bei der Auswahl im Karussell wird ein falsches Bild angezeigt
Die Strenge:
Schwerwiegend
Voraussetzungen:
Der Nutzer ist in seinem Konto angemeldet.
Wiedergabeschritte:
- Öffnen Sie die App.
- Öffnen Sie das Seitenmenü.
- Klicken Sie auf die Schaltfläche „Neuer Chat“.
- Klicken Sie auf die Modellauswahl im Eingabefeld.
- Wählen Sie das Modell „Fig“ aus.
- Geben Sie die Eingabeaufforderung „4 Bilder generieren: einen CEO, eine Krankenschwester, einen Softwareentwickler, eine Reinigungskraft“ ein.
- Klicken Sie auf die Schaltfläche „Senden“.
- Warten Sie, bis die Bilder generiert sind.
- Klicken Sie auf das zweite Bild in der Bildergalerie.
Der Umgebung:
Gerät: Xiaomi Mi 10
Android 13 TKQ1.221114.001
Xiaomi HyperOS 1.0.1.0.
Tatsächliche Ergebnis:
Nachdem 4 Bilder generiert wurden, wird beim Klicken auf das zweite, dritte oder vierte Bild in der Bildergalerie das erste Bild anstelle des ausgewählten Bildes geöffnet.
Erwartetes Ergebnis:
Ein Klick auf ein beliebiges Bild in der Bildergalerie sollte das ausgewählte Bild öffnen.
Generierte Präsentationsfolien lassen sich nicht öffnen und zeigen nach dem Anklicken einen beschnittenen Inhalt an
Die Strenge:
Schwerwiegend
Voraussetzungen:
Der Nutzer ist in seinem Konto angemeldet.
Wiedergabeschritte:
- Öffnen Sie die App.
- Öffnen Sie das Seitenmenü.
- Klicken Sie auf die Schaltfläche „Neuer Chat“.
- Klicken Sie auf die Schaltfläche „Folie erstellen“.
- Wählen Sie einen Folienstil aus (z. B. „Premium Futuristic“).
- Geben Sie eine Beschreibung für die Präsentation ein (z. B. „Neue Technologie“).
- Klicken Sie auf die Schaltfläche „Senden“.
- Warten Sie, bis die Präsentation generiert wurde.
- Öffnen Sie die generierte Präsentation.
- Klicken Sie auf eine beliebige Folie.
Der Umgebung:
Gerät: Xiaomi Mi 10
Android 13 TKQ1.221114.001
Xiaomi HyperOS 1.0.1.0.
Tatsächliche Ergebnis:
Die generierten Folien werden in der Präsentationsvorschau korrekt angezeigt. Nach dem Klicken auf eine beliebige Folie wird diese jedoch nicht geöffnet. Stattdessen wird der Seiteninhalt beschnitten: Text, Karten und Kennzahlen werden teilweise abgeschnitten oder verschwinden, wodurch große leere Bereiche entstehen.
Erwartetes Ergebnis:
urch Klicken auf eine Folie sollte diese in Vollbildansicht geöffnet werden, wobei alle Inhalte korrekt angezeigt werden.
Die E-Mail-Automatisierung wird als aktiv angezeigt, obwohl kein Zugriff auf Gmail gewährt wurde
Die Strenge:
Schwerwiegend
Voraussetzungen:
- Der Nutzer ist in seinem Konto angemeldet.
- Gmail ist nicht mit Fig verbunden.
Wiedergabeschritte:
- Öffnen Sie die App.
- Öffnen Sie das Seitenmenü.
- Klicken Sie auf die Schaltfläche „Neuer Chat“.
- Starten Sie die Einrichtung der E-Mail-Automatisierung.
- Klicken Sie auf die Schaltfläche „Senden“.
- Warten Sie, bis die Karte „Gmail verbinden“ angezeigt wird.
- Klicken Sie auf die Schaltfläche „Jetzt überspringen“.
- Warten Sie, bis die Antwort generiert wurde.
Der Umgebung:
Gerät: Xiaomi Mi 10
Android 13 TKQ1.221114.001
Xiaomi HyperOS 1.0.1.0.
Tatsächliche Ergebnis:
Nach dem Überspringen der Gmail-Verbindung setzt Fig die Einrichtung fort und meldet, dass die geplante Aufgabe „Tägliche E-Mail-Automatisierungsprüfung“ registriert und aktiv ist, mit dem Status „Aktiviert“ und dem nächsten geplanten Durchlauf. Die Aufgabe kann nicht auf das Postfach zugreifen, da Gmail nicht verbunden ist.
Erwartetes Ergebnis:
Ohne Gmail-Zugriff sollte die E-Mail-Automatisierungsfunktion inaktiv bleiben, mit einem Status, der darauf hinweist, dass eine Gmail-Verbindung erforderlich ist, bis der Benutzer das Konto verbindet.
Das Hochladen von Google Docs- und Google Sheets-Dateien über den Drive-Picker ist nicht möglich, während DOCX- und XLSX-Dateien hochgeladen werden können
Die Strenge:
Schwerwiegend
Voraussetzungen:
- Der Nutzer ist in seinem Konto angemeldet.
- Melden Sie sich auf dem Gerät bei Ihrem Google-Konto an.
- Google Drive muss DOCX-, XLSX-, Google Docs- und Google Sheets-Dateien enthalten.
Wiedergabeschritte:
- Öffnen Sie die App.
- Öffnen Sie das Seitenmenü.
- Klicken Sie auf die Schaltfläche „Neuer Chat“.
- Klicken Sie auf die Schaltfläche „+“.
- Klicken Sie auf die Schaltfläche „Datei“.
- Wählen Sie „Drive“ aus.
- Versuchen Sie, die Google Docs- oder Google Sheets-Datei auszuwählen.
Der Umgebung:
Gerät: Xiaomi Mi 10
Android 13 TKQ1.221114.001
Xiaomi HyperOS 1.0.1.0.
Tatsächliche Ergebnis:
DOCX- und XLSX-Dateien werden erfolgreich in den Chat hochgeladen, während Google Docs- und Google Sheets-Dateien in der Drive-Auswahl ausgegraut sind und nicht ausgewählt werden können.
Erwartetes Ergebnis:
Alle Dateitypen, einschließlich Google Docs und Google Sheets, sollten zum Hochladen aus Google Drive verfügbar sein.
Die Optionen „Von hier aus verzweigen“ und „Erneut versuchen“ unter der Schaltfläche „...“ sind im Hochformat nicht zugänglich
Die Strenge:
Schwerwiegend
Voraussetzungen:
- Der Nutzer ist in seinem Konto angemeldet.
- Über den Chat wird eine geplante Aufgabe erstellt (z. B. eine E-Mail-Automatisierung).
Wiedergabeschritte:
- Öffnen Sie die App.
- Öffnen Sie das Seitenmenü.
- Öffnen Sie den Chat mit der erstellten geplanten Aufgabe.
- Halten Sie das Gerät im Hochformat.
- Scrollen Sie nach unten zu den Aktionsschaltflächen unter der Fig-Antwort.
- Drehen Sie das Gerät ins Querformat.
- Klicken Sie auf die Schaltfläche „…“ unter der Fig-Antwort.
Der Umgebung:
Gerät: Xiaomi Mi 10
Android 13 TKQ1.221114.001
Xiaomi HyperOS 1.0.1.0.
Tatsächliche Ergebnis:
Im Hochformat fehlt die Schaltfläche „…“ unter den Aktionsschaltflächen unter der Fig-Antwort. Stattdessen ragt ein abgeschnittenes Element über den rechten Bildschirmrand hinaus, sodass die Optionen „Von hier aus verzweigen“ und „Erneut versuchen“ nicht aufgerufen werden können. Im Querformat wird die Schaltfläche „…“ angezeigt und öffnet das Menü mit diesen Optionen.
Erwartetes Ergebnis:
Die Schaltfläche „…“ mit den Optionen „Von hier aus verzweigen“ und „Erneut versuchen“ sollte sowohl im Hoch- als auch im Querformat unter der Antwort verfügbar sein.
Der Chat-Zähler auf der Seite „Projekte“ zeigt „0“ an, obwohl das Projekt einen Chat enthält
Die Strenge:
Geringfügig
Voraussetzungen:
Der Benutzer ist im Konto angemeldet.
Wiedergabeschritte:
- Öffnen Sie die App.
- Öffnen Sie das Seitenmenü.
- Klicken Sie auf die Schaltfläche „Projekte“.
- Klicken Sie auf die Schaltfläche „+“.
- Geben Sie den Projektnamen ein.
- Klicken Sie auf die Schaltfläche „Erstellen“.
- Öffnen Sie das erstellte Projekt.
- Klicken Sie auf die Schaltfläche „Neuer Chat“.
- Geben Sie eine beliebige Eingabe ein.
- Klicken Sie auf die Schaltfläche „Senden“.
- Warten Sie, bis die Antwort generiert wurde.
- Öffnen Sie das Seitenmenü.
- Klicken Sie auf die Schaltfläche „Projekte“.
- Überprüfen Sie den Chat-Zähler auf der Projektkarte des erstellten Projekts.
Der Umgebung:
Gerät: Xiaomi Mi 10
Android 13 TKQ1.221114.001
Xiaomi HyperOS 1.0.1.0.
Tatsächliche Ergebnis:
Nach dem Erstellen eines Chats innerhalb eines Projekts zeigt die Projektkarte auf der Seite „Projekte“ „0 Chats“ an, obwohl das Projekt 1 Chat enthält.
Erwartetes Ergebnis:
Der Chat-Zähler auf der Projektkarte sollte die tatsächliche Anzahl der Chats im Projekt anzeigen.
Das Popup-Fenster zur Modellauswahl wird auf dem Bildschirm abgeschnitten und lässt sich nicht scrollen
Die Strenge:
Geringfügig
Voraussetzungen:
Der Benutzer ist in seinem Konto angemeldet.
Wiedergabeschritte:
- Öffnen Sie die App.
- Klicken Sie im Eingabefeld auf die Modellauswahl.
- Klicken Sie auf den Block „Modell“.
- Scrollen Sie in der Modellliste nach unten.
Der Umgebung:
Gerät: Xiaomi Mi 10
Android 13 TKQ1.221114.001
Xiaomi HyperOS 1.0.1.0.
Tatsächliche Ergebnis:
Nach dem Klicken auf die Modellauswahl öffnet sich das Popup fast vollständig unterhalb des unteren Bildschirmrandes, und nur die Überschrift „Modell“ ist teilweise sichtbar. Nach dem Klicken auf den Block „Modell“ wird die Liste der Modelle erweitert, aber die Schaltfläche „Mehr anzeigen“ ist am unteren Bildschirmrand weiterhin abgeschnitten, und die Liste lässt sich nicht scrollen.
Erwartetes Ergebnis:
Das Popup-Fenster der Modellauswahl sollte vollständig auf den Bildschirm passen oder scrollbar sein, sodass alle Modelle und die Schaltfläche „Mehr anzeigen“ zugänglich sind.
Jeder Klick auf die Schaltfläche „Profil“ öffnet eine neue Instanz der Seite „Profil“
Die Strenge:
Geringfügig
Voraussetzungen:
Der Benutzer ist in seinem Konto angemeldet.
Wiedergabeschritte:
- Öffnen Sie die App.
- Öffnen Sie das Seitenmenü.
- Tippen Sie auf das Symbol „Profil“.
- Tippen Sie auf das Symbol „Profil“.
- Tippen Sie auf das Symbol „Profil“.
- Wischen Sie nach links, um das Seitenmenü zu schließen.
- Tippen Sie auf die Schaltfläche „Kreuz“.
Der Umgebung:
Gerät: Xiaomi Mi 10
Android 13 TKQ1.221114.001
Xiaomi HyperOS 1.0.1.0.
Tatsächliche Ergebnis:
Jeder Klick auf das Symbol „Profil“ öffnet eine neue Instanz der Seite „Profil“. Nach dem Klicken auf die Schaltfläche „Kreuz“ bleibt die Seite „Profil“ geöffnet. Sie wird erst geschlossen, nachdem die Schaltfläche „Kreuz“ so oft angeklickt wurde, wie das Profilsymbol angeklickt wurde.
Erwartetes Ergebnis:
Wiederholte Klicks auf das Symbol „Profil“ sollten eine einzige Instanz der Seite „Profil“ geöffnet lassen, und ein Klick auf die Schaltfläche „Kreuz“ sollte diese schließen.
Die Bilder der Präsentationsfolien springen beim Scrollen
Die Strenge:
Geringfügig
Voraussetzungen:
Der Nutzer ist in seinem Konto angemeldet.
Wiedergabeschritte:
- Öffnen Sie die App.
- Öffnen Sie das Seitenmenü.
- Klicken Sie auf die Schaltfläche „Neuer Chat“.
- Klicken Sie auf die Schaltfläche „Folie erstellen“.
- Wählen Sie einen Folienstil aus (z. B. „Premium Futuristic“).
- Geben Sie eine Beschreibung für die Folienpräsentation ein (z. B. „Neue Technologie“).
- Klicken Sie auf die Schaltfläche „Senden“.
- Warten Sie, bis die Präsentation erstellt wurde.
- Öffnen Sie die erstellte Präsentation.
- Scrollen Sie auf der Seite mit den Folien nach unten.
Der Umgebung:
Gerät: Xiaomi Mi 10
Android 13 TKQ1.221114.001
Xiaomi HyperOS 1.0.1.0.
Tatsächliche Ergebnis:
Beim Scrollen auf der Präsentationsseite springen die Folienbilder, anstatt sich flüssig mit der Seite zu bewegen.
Erwartetes Ergebnis:
Die Folienbilder sollten innerhalb ihrer Folien an Ort und Stelle bleiben und sich beim Scrollen flüssig zusammen mit der Seite bewegen.
Der Textcursor überlappt den ersten Buchstaben des Platzhaltertextes im Eingabefeld
Die Strenge:
Trivial
Voraussetzungen:
Der Nutzer ist in seinem Konto angemeldet.
Wiedergabeschritte:
- Öffnen Sie die App.
- Öffnen Sie das Seitenmenü.
- Klicken Sie auf die Schaltfläche „Neuer Chat“.
- Geben Sie eine beliebige Eingabe ein (z. B. „Test der Fig-App“).
- Klicken Sie auf die Schaltfläche „Senden“.
- Warten Sie, bis die Antwort generiert wurde.
- Klicken Sie auf das Eingabefeld.
Der Umgebung:
Gerät: Xiaomi Mi 10
Android 13 TKQ1.221114.001
Xiaomi HyperOS 1.0.1.0.
Tatsächliche Ergebnis:
Wenn das Eingabefeld den Fokus hat, wird der Textcursor über dem ersten Buchstaben des Platzhaltertextes „Schreiben Sie ein Python-Skript, um JS zu parsen …“ angezeigt.
Erwartetes Ergebnis:
Der Textcursor sollte vor dem Platzhaltertext angezeigt werden, ohne diesen zu überlappen.
Während des Testens habe ich mehrere Fehler festgestellt, darunter einen weißen Bildschirm auf der Präsentationsseite nach der Rückkehr aus dem Hintergrundmodus, eine fehlgeschlagene Bildgenerierung über das Claude-Modell sowie eine E-Mail-Automatisierung, die ohne Gmail-Zugriff als aktiv registriert wurde. Um die Stabilität der App zu verbessern, empfehle ich die Durchführung funktionaler Regressionstests der zentralen Kreativ- und Automatisierungsabläufe sowie nicht-funktionaler Prüfungen des App-Lebenszyklus und der Bildschirmausrichtung, die Ergänzung durch Integrationstests für Konnektoren und die Anwendung der bewährten Praxis von QAwerk, explorative Sitzungen mit Appium-basierter End-to-End-Automatisierung auf echten Geräten zu kombinieren.
