Bugs in Le Chat by Mistral AI für Android gefunden
„Le Chat“ von Mistral AI ist eine hervorragende Produktivitäts-App mit zahlreichen KI-gestützten Funktionen, die Ihnen das berufliche und private Leben erleichtern. Dazu gehören die KI-gestützte Suche, die OCR-Verarbeitung von Dokumenten, tiefgehende Recherchen mit komplexen Schlussfolgerungen sowie die Datenorganisation.
Die App bietet eine elegante, dialogorientierte Benutzeroberfläche, die für leistungsstarke KI-Interaktionen konzipiert ist. Unsere jüngsten Tests der Android-Version haben jedoch mehrere kritische Fehler bei der Synchronisation und Wiedergabe aufgedeckt.
Sehen Sie sich unten die Ergebnisse des Bug Crawls des QAwerk-Teams zu Le Chat an, um zu verstehen, wo die Probleme liegen und wie sie durch die Umsetzung von QA-Best-Practices behoben werden könnten.
Das Senden jeder Nachricht löst eine neue Chat-Sitzung im Verlauf aus
Die Strenge:
Kritisch
Voraussetzungen:
- Melden Sie sich bei dem Konto an.
- Verwenden Sie den privaten Modus.
Wiedergabeschritte:
- Öffnen Sie einen neuen, nicht-privaten Chat.
- Geben Sie eine Nachricht in das Eingabefeld „Ask Le Chat“ ein (z. B. „Wie heiße ich?“).
- Tippen Sie auf die Schaltfläche „Senden“.
- Warten Sie auf die Antwort der KI.
- Geben Sie eine Folge-Nachricht im selben Chat-Fenster ein (z. B. „Nein, mein Name ist QaTester“).
- Tippen Sie auf die Schaltfläche „Senden“.
- Öffnen Sie das Seitenmenü (Verlauf/Projekte), indem Sie auf das Symbol in der oberen linken Ecke klicken.
Der Umgebung:
Xiaomi Mi 10
Android 13 TKQ1.221114.001
Xiaomi HyperOS 1.0.1.0
Tatsächliche Ergebnis:
Jede gesendete Nachricht erstellt einen separaten Chat in der Verlaufs-Seitenleiste. Es sind zwei separate „User’s Identity“-Chats sichtbar, anstatt eines fortlaufenden Threads.
Erwartetes Ergebnis:
Aufeinanderfolgende Nachrichten innerhalb derselben Unterhaltung sollten unter einem einzigen Chat-Eintrag im Verlauf gespeichert werden.
Fehler „Wiedergabe fehlgeschlagen“ bei Verwendung der Text-to-Speech-Funktion
Die Strenge:
Schwerwiegend
Voraussetzungen:
- Melden Sie sich bei dem Konto an.
- Es muss ein bestehender Chat mit einer KI-Antwort vorhanden sein.
Wiedergabeschritte:
- Öffnen Sie einen neuen, nicht-privaten Chat.
- Geben Sie eine Nachricht in das Eingabefeld „Ask Le Chat“ ein (z. B. „Wie heiße ich?“).
- Tippen Sie auf die Schaltfläche „Senden“.
- Beenden Sie die Erstellung einer Antwort.
- Tippen Sie auf die Schaltfläche „Voiceover“.
- Starten Sie die Erstellung der Antwort neu.
- Warten Sie auf die Antwort der KI.
- Tippen Sie auf die Schaltfläche „Voiceover“.
Der Umgebung:
Xiaomi Mi 10
Android 13 TKQ1.221114.001
Xiaomi HyperOS 1.0.1.0
Tatsächliche Ergebnis:
Es erscheint eine Toast-Benachrichtigung mit der Meldung „Wiedergabe fehlgeschlagen“ und es wird kein Ton erzeugt oder abgespielt.
Erwartetes Ergebnis:
Die Anwendung sollte die Text-to-Speech-Engine auslösen und den Inhalt der Nachricht vorlesen.
Chat-Verlauf zeigt nach dem Hochladen keine Bildvorschau an
Die Strenge:
Schwerwiegend
Voraussetzungen:
Melden Sie sich bei dem Konto an.
Wiedergabeschritte:
- Tippen Sie auf die Schaltfläche „+“ und laden Sie ein Bild aus der Galerie hoch.
- Geben Sie eine Aufforderung zum Bild ein (z. B. „Beschreibe dieses Meme“) und tippen Sie auf die Schaltfläche „Senden“.
- Sobald die Nachricht gesendet wurde, beobachten Sie die Chatverlaufsblase, in der das Bild erscheinen sollte.
Der Umgebung:
Xiaomi Mi 10
Android 13 TKQ1.221114.001
Xiaomi HyperOS 1.0.1.0
Tatsächliche Ergebnis:
Das Bild wird im Chatverlauf nicht angezeigt. An seiner Stelle wird ein leerer/weißer rechteckiger Container angezeigt. Das Menü „…“ (Weitere Optionen) für das Bild ist jedoch weiterhin zugänglich.
Erwartetes Ergebnis:
Das hochgeladene Bild sollte als Vorschau innerhalb des Chat-Threads direkt über der entsprechenden Textanweisung deutlich sichtbar angezeigt werden.
Die Audiowiedergabe stoppt nach etwa 1,5 Minuten, obwohl der Textinhalt länger ist
Die Strenge:
Schwerwiegend
Voraussetzungen:
- Melden Sie sich bei dem Konto an.
- Öffnen Sie einen Chat, der eine ausführliche KI-Antwort enthält.
Wiedergabeschritte:
- Starten Sie die App.
- Navigieren Sie zu einer ausführlichen Antwort (z. B. Ergebnisse einer eingehenden Recherche).
- Tippen Sie auf „Wiedergabe“ (Lautsprechersymbol), um die Text-zu-Sprache-Konvertierung zu starten.
- Notieren Sie sich die Wiedergabedauer, wenn die Wiedergabe automatisch stoppt.
Der Umgebung:
Xiaomi Mi 10
Android 13 TKQ1.221114.001
Xiaomi HyperOS 1.0.1.0
Tatsächliche Ergebnis:
Die Audiowiedergabe bricht nach etwa 1,5 Minuten unerwartet ab, sodass der Rest des Textes nicht vorgelesen wird, obwohl er vollständig im Chat angezeigt wird.
Erwartetes Ergebnis:
Das Text-zu-Sprache-System sollte die gesamte Textantwort unabhängig von ihrer Länge fehlerfrei konvertieren und wiedergeben.
Die Schaltfläche „Wiedergeben“ fehlt bei der ersten KI-Antwort in einem neuen Chat
Die Strenge:
Schwerwiegend
Voraussetzungen:
- Bei dem Konto anmelden.
- Die erste Chat-Sitzung starten.
Wiedergabeschritte:
- Geben Sie die erste Eingabeaufforderung in einem neuen Chat ein (z. B. „Schreibe eine Kurzgeschichte (unter 200 Wörtern) über einen Roboter, der entdeckt, dass er Kälte empfinden kann. Der Ton sollte melancholisch, aber hoffnungsvoll sein“).
- Senden Sie die Nachricht und warten Sie, bis die KI ihre Antwort fertiggestellt hat.
- Suchen Sie unten in der KI-Sprechblase nach der Schaltfläche „Wiedergabe“ (Lautsprechersymbol).
Der Umgebung:
Xiaomi Mi 10
Android 13 TKQ1.221114.001
Xiaomi HyperOS 1.0.1.0
Tatsächliche Ergebnis:
Die Schaltfläche „Wiedergabe“ (Lautsprechersymbol) wird für die allererste Nachricht im Chatverlauf nicht angezeigt. Die Schaltfläche ist erst für nachfolgende Nachrichten im selben Thread verfügbar.
Erwartetes Ergebnis:
Die Schaltfläche „Wiedergabe“ sollte für alle KI-Antworten, einschließlich der ersten, sichtbar und funktionsfähig sein.
Mehrere Klicks (5+) erforderlich, um die Aktion des „Dislike“-Buttons zu registrieren
Die Strenge:
Geringfügig
Voraussetzungen:
- Melden Sie sich bei dem Konto an.
- Es muss eine KI-Antwort im Chat sichtbar sein.
Wiedergabeschritte:
- Starten Sie die App.
- Navigieren Sie zu einem beliebigen Chat mit einer KI-Antwort.
- Suchen Sie das „Dislike“-Symbol (Daumen nach unten) am unteren Rand der Sprechblase.
- Tippen Sie einmal auf die Schaltfläche.
- Wenn keine visuelle Rückmeldung oder Registrierung erfolgt, tippen Sie so lange weiter, bis sich der Status ändert.
Der Umgebung:
Xiaomi Mi 10
Android 13 TKQ1.221114.001
Xiaomi HyperOS 1.0.1.0
Tatsächliche Ergebnis:
Trotz des ersten Tippens reagiert die „Dislike“-Schaltfläche nicht. Wiederholtes Klicken (oft mehr als fünf Mal) ist erforderlich, damit die Anwendung die Interaktion registriert.
Erwartetes Ergebnis:
Die „Dislike“-Schaltfläche sollte auf einen einzigen Tipp reagieren und sofortiges haptisches oder visuelles Feedback geben, um anzuzeigen, dass die Bewertung erfolgreich gespeichert wurde.
Die App sendet die letzte Nachricht automatisch erneut und lädt die Meldung „Limit erreicht“ neu, wenn man zum Chat zurücknavigiert
Die Strenge:
Trivial
Voraussetzungen:
- Melden Sie sich bei dem Konto an.
- Erreichen Sie das Nutzungslimit für das aktuelle Modell/den aktuellen Zeitraum, um die Meldung „Limit erreicht“ auszulösen.
Wiedergabeschritte:
- Starten Sie eine Chat-Sitzung und senden Sie eine Nachricht, die die Benachrichtigung „Limit erreicht“ auslöst. Diese Aktion sollte keine KI-Antwort generieren, sondern nur die Limit-Warnung.
- Wechseln Sie aus dem aktuellen Chat heraus (z. B. gehen Sie zum Abschnitt „Verlauf“ und öffnen Sie einen anderen, älteren Chat, in dem die letzte Nachricht erfolgreich generiert wurde).
- Kehren Sie zu der Chat-Sitzung zurück, in der das Limit zuvor erreicht wurde.
- Beobachten Sie die Chat-Eingabe und den Nachrichtenverlauf.
Der Umgebung:
Xiaomi Mi 10
Android 13 TKQ1.221114.001
Xiaomi HyperOS 1.0.1.0
Tatsächliche Ergebnis:
Die Anwendung löst die zuletzt gesendete Nachricht automatisch und ohne Benutzereingabe erneut aus und lädt die Seite/Meldung „Limit erreicht“ neu.
Erwartetes Ergebnis:
Beim Zurücknavigieren zu einem Chat sollte nur der vorhandene Verlauf angezeigt werden. Die App sollte keine Anfragen automatisch erneut senden oder die Limitwarnung aktualisieren, bis der Benutzer manuell mit dem Eingabefeld interagiert.
Fehlende visuelle Unterscheidung zwischen dem Link „Mehr erfahren“ und dem nicht anklickbaren Haftungsausschluss-Text
Die Strenge:
Trivial
Voraussetzungen:
Melden Sie sich bei dem Konto an.
Wiedergabeschritte:
- Suchen Sie den Fußzeilentext unterhalb des Eingabefelds: „Überprüfen Sie Le Chat auf Fehler. Weitere Informationen.“
- Beachten Sie die visuelle Gestaltung (Farbe, Schriftstärke, Unterstreichung) des gesamten Satzes.
- Versuchen Sie, auf den Abschnitt „Überprüfen Sie Le Chat auf Fehler.“ zu tippen.
- Versuchen Sie, auf den Abschnitt „Erfahren Sie mehr.“ zu tippen.
Der Umgebung:
Xiaomi Mi 10
Android 13 TKQ1.221114.001
Xiaomi HyperOS 1.0.1.0
Tatsächliche Ergebnis:
Nur der Textabschnitt „Mehr erfahren“ ist ein funktionsfähiger, anklickbarer Link. Es gibt keine visuelle Unterscheidung (wie eine andere Farbe oder eine Unterstreichung) zwischen dem statischen Text und dem Hyperlink.
Erwartetes Ergebnis:
Interaktive Links sollten sich visuell vom statischen Text abheben (z. B. durch die Verwendung einer markanten Markenfarbe oder einer Unterstreichung), um ihre Anklickbarkeit zu signalisieren.
Während der Tests habe ich erhebliche Regressionen im Sitzungsmanagement festgestellt, bei denen jede Nachricht einen überflüssigen neuen Chat auslöst, sowie Funktionsfehler in der Text-to-Speech-Engine. Um eine produktionsreife Version sicherzustellen, empfehlen wir die Durchführung einer umfassenden Reihe von funktionalen und nicht-funktionalen Tests unter Nutzung des bewährten Ansatzes von QAwerk, der strenge Regressionszyklen mit Kompatibilitätstests in verschiedenen Hardwareumgebungen kombiniert.
