Bugs découverts dans le SaaS TestRail
TestRail est une plateforme Web conçue pour les testeurs, les développeurs et les chefs d’équipe afin de rationaliser les processus de test logiciel, d’obtenir une visibilité en temps réel sur le QA et de fournir des solutions exceptionnelles.
La plateforme se connecte de manière transparente aux pipelines DevOps, aux outils de suivi des problèmes et aux frameworks d’automatisation de test populaires tels que JUnit, Cypress et Robot Framework. Les utilisateurs peuvent facilement enregistrer les résultats des tests pour diverses versions et environnements, ajouter des captures d’écran et des pièces jointes, et créer des rapports. TestRail est déjà utilisé par plus de 10 000 équipes QA pour gérer les dépôts de tests, concevoir des plans de test, suivre la progression des tests et produire des rapports complets.
Voici un rapport détaillé de notre équipe QA après avoir exploré TestRail SaaS à la recherche de bugs.
Une erreur survient lors du clic sur le champ de recherche
Gravité :
Critique
Condition préalable :
Connectez-vous au compte.
Étapes de reproduction :
- Cliquez sur le bouton « Ajouter un projet exemple ».
- Entrez un nom de projet.
- Cliquez à nouveau sur le bouton « Ajouter un projet exemple ».
- Fermez la fenêtre contextuelle.
- Cliquez sur le champ de recherche.
Environnement :
Windows 10 Pro
Chrome v.117.0.5938.62, Firefox v.117.0.1, Microsoft Edge v. 116.0.1938.76
Résultat réel :
Une erreur survient lors du clic sur le champ de recherche.
Résultat attendu :
Aucune erreur ne devrait survenir lors du clic sur le champ de recherche.
Erreur « Vérification robot échouée » affichée lors de l’inscription
Gravité :
Majeure
Condition préalable :
Visitez la page principale du site https://www.testrail.com/.
Étapes de reproduction :
- Cliquez sur le bouton « Essayer TestRail ».
- Remplissez les champs suivants : « Prénom », « Nom », « E-mail professionnel » (un e-mail auquel vous avez accès), « Nom de l’entreprise », « Pays » et « Adresse Web ».
- Sélectionnez une option dans la liste déroulante « Combien d’utilisateurs prévoyez-vous d’accéder à TestRail ? ».
- Cochez la case « J’accepte les conditions d’utilisation de TestRail Cloud, la politique de confidentialité de Gurock et l’accord de traitement des données (DPA) de Gurock. »
- Cliquez sur le bouton « Créer un compte ».
Environnement :
Windows 10 Pro
Chrome v.117.0.5938.62, Microsoft Edge v. 116.0.1938.76
Résultat réel :
Un message d’erreur « Vérification robot échouée » apparaît lors de l’inscription, bien qu’il n’y ait pas de captchas sur la page d’inscription.
Résultat attendu :
Aucune erreur « Vérification robot échouée » ne devrait apparaître pendant le processus d’inscription.
Le défaut pour ce cas n’est pas enregistré
Gravité :
Majeure
Condition préalable :
- Connectez-vous au compte.
- Ajoutez un projet exemple.
Étapes de reproduction :
-
- Accédez à la page du projet exemple depuis la liste des tâches.
- Dans la liste, cliquez sur « Test du navigateur (Chrome) (83) ».
- Accédez à la tâche « Vérifier les styles de titre, de sous-titre et d’en-tête ».
- Cliquez sur le bouton « Défauts ».
- Cliquez sur le bouton « Envoyer un nouveau défaut ».
- Remplissez les champs suivants : « Titre », « Projet », « Domaine » et « Priorité ».
- Cliquez sur le bouton « Soumettre ».
- Notez l’ID du défaut.
- Fermez la fenêtre contextuelle.
- Cliquez sur le bouton « Afficher le cas ».
- Cliquez sur le bouton « Défauts ».
- Vérifiez l’ID du défaut affiché dans la liste.
Environnement :
Windows 10 Pro
Chrome v.117.0.5938.62, Firefox v.117.0.1, Microsoft Edge v. 116.0.1938.76
Résultat réel :
Le défaut pour ce cas n’est pas enregistré.
Résultat attendu :
Le défaut pour ce cas devrait être enregistré.
Les pages ont un nombre différent de « Cas de test réussis »
Gravité :
Mineure
Condition préalable :
- Connectez-vous au compte.
- Ajoutez un projet exemple.
Étapes de reproduction :
- Accédez à la page du projet exemple depuis la liste des tâches.
- Dans la liste, cliquez sur « Test du navigateur (Chrome) (83) ».
- Vérifiez le nombre de cas de test réussis sur le graphique circulaire.
- Cliquez sur le bouton « Activités » dans le menu latéral.
- Vérifiez le nombre de cas de test réussis.
Environnement :
Windows 10 Pro
Chrome v.117.0.5938.62, Firefox v.117.0.1, Microsoft Edge v. 116.0.1938.76
Résultat réel :
Les pages ont des nombres variables de « Cas de test réussis ».
Résultat attendu :
Le nombre de cas de test réussis pour la même liste de contrôle devrait être cohérent sur les différentes pages.
Lors de l’envoi d’un cas de test pour impression, les paragraphes disparaissent
Gravité :
Mineure
Condition préalable :
- Connectez-vous au compte.
- Ajoutez un projet exemple.
Étapes de reproduction :
- Accédez à la page du projet exemple depuis la liste des tâches.
- Dans la liste, cliquez sur « Test du navigateur (Chrome) (83) ».
- Cliquez sur le bouton « Cas de test » dans le menu supérieur.
- Cliquez sur le bouton « Ajouter un cas de test ».
- Remplissez les champs suivants : « Titre », « Section », « Modèle », « Type » et « Priorité ».
- Dans le champ « Préconditions », entrez du texte sur 3 à 5 paragraphes.
- Dans le champ « Étapes », entrez du texte sur 3 à 5 paragraphes.
- Cliquez sur le bouton « Ajouter un cas de test ».
- Cliquez sur le bouton d’impression.
Environnement :
Windows 10 Pro
Chrome v.117.0.5938.62, Firefox v.117.0.1, Microsoft Edge v. 116.0.1938.76
Résultat réel :
Lorsque le cas de test est envoyé pour impression, les paragraphes disparaissent.
Résultat attendu :
Lors de l’impression, le contenu ne doit pas perdre sa mise en forme.
Le projet exemple n’est pas ajouté au compte lors du clic sur le champ « Créer un projet exemple »
Gravité :
Mineure
Condition préalable :
- Enregistrez-vous avec n’importe quel fournisseur d’e-mails.
- Accédez à la page principale du site https://www.testrail.com/.
Étapes de reproduction :
- Cliquez sur le bouton « Try TestRail ».
- Remplissez les champs suivants : « First Name », « Last Name », « Work Email » (une adresse e-mail à laquelle vous avez accès), « Company Name », « Country » et « Web Address ».
- Choisissez une option dans la liste déroulante « How many users do you expect to access TestRail ? ».
- Cochez la case indiquant « I agree to the TestRail Cloud Terms of Service, the Gurock Privacy Policy, and the Gurock Data Processing Agreement (’DPA’). »
- Cliquez sur le bouton « Create an Account ».
- Ouvrez votre boîte de réception.
- Localisez et ouvrez les e-mails de l’équipe TestRail.
- Suivez le lien dans l’e-mail pour confirmer votre adresse e-mail.
- Attendez que le compte soit créé.
- Cliquez sur les numéros d’information indiquant l’étape en cours, par exemple « 1/3 ».
- Cliquez sur « 2/3 ».
- Cliquez sur le bouton « Done ».
- Cliquez sur le champ « Create an Example Project ».
Environnement :
Windows 10 Pro
Chrome v.117.0.5938.62, Firefox v.117.0.1, Microsoft Edge v. 116.0.1938.76
Résultat réel :
Le projet exemple n’est pas ajouté au compte lorsque l’on clique sur le champ « Créer un projet exemple ».
Résultat attendu :
Le projet exemple devrait être ajouté au compte lorsque l’on clique sur le champ « Créer un projet exemple ».
Aucune marge gauche pour tous les champs de saisie semi-automatique et les champs de saisie
Gravité :
Mineure
Condition préalable :
- Connectez-vous au compte.
- Ajoutez un projet exemple.
Étapes de reproduction :
- Accédez à la page du projet exemple depuis la liste des tâches.
- Dans la liste, sélectionnez « Browser test (Chrome) (83) ».
- Cliquez sur le bouton « Test cases » dans le menu supérieur.
- Choisissez « Add test case ».
- Commencez à remplir les champs suivants : « Title », « Estimate » et « References ».
Environnement :
Windows 10 Pro
Chrome v.117.0.5938.62, Firefox v.117.0.1, Microsoft Edge v. 116.0.1938.76
Résultat réel :
Il n’y a pas de marge gauche pour tous les champs de saisie semi-automatique et les champs de saisie.
Résultat attendu :
Tous les champs de saisie semi-automatique et les champs de saisie sont des types de ligne unique et devraient inclure une marge gauche.
Le statut du cas de test ne rentre pas dans la page
Gravité :
Mineure
Condition préalable :
- Connectez-vous au compte.
- Ajoutez un projet exemple.
Étapes de reproduction :
- Accédez à la page du projet exemple depuis la liste des tâches.
- Dans la liste, sélectionnez « Browser test (Chrome) (83) ».
- Cliquez sur la flèche pointant vers la droite à côté de l’un des cas de test.
Environnement :
Windows 10 Pro
Chrome v.117.0.5938.62, Firefox v.117.0.1, Microsoft Edge v. 116.0.1938.76
Résultat réel :
Le statut du cas de test ne rentre pas dans la page.
Résultat attendu :
Le statut du cas de test devrait rentrer dans la page.
Le bouton « Next » n’est pas le seul à passer à l’étape suivante
Gravité :
Mineure
Condition préalable :
- Enregistrez une adresse e-mail avec n’importe quel fournisseur d’e-mails.
- Accédez à la page principale du site https://www.testrail.com/.
Étapes de reproduction :
- Cliquez sur le bouton « Try TestRail ».
- Remplissez les champs suivants : « First Name », « Last Name », « Work Email » (une adresse e-mail à laquelle vous avez accès), « Company Name », « Country » et « Web Address ».
- Choisissez une option dans la liste déroulante « How many users do you expect to access TestRail ? ».
- Cochez la case indiquant « I agree to the TestRail Cloud Terms of Service, the Gurock Privacy Policy, and the Gurock Data Processing Agreement (’DPA’). »
- Cliquez sur le bouton « Create an Account ».
- Ouvrez votre boîte de réception.
- Ouvrez les e-mails de l’équipe TestRail.
- Suivez le lien pour confirmer votre adresse e-mail.
- Attendez que le compte soit créé.
- Cliquez sur les numéros d’information qui indiquent l’étape en cours, par exemple « 1/3 ».
- Cliquez sur « 2/3 ».
Environnement :
Windows 10 Pro
Chrome v.117.0.5938.62, Firefox v.117.0.1, Microsoft Edge v. 116.0.1938.76
Résultat réel :
Le bouton « Next » n’est pas le seul à passer à l’étape suivante.
Résultat attendu :
Le bouton « Next » devrait être la seule option pour passer à l’étape suivante.
Tous les éléments de la légende du graphique en secteurs ne sont pas affichés
Gravité :
Mineure
Condition préalable :
- Connectez-vous au compte.
- Ajoutez un projet exemple.
Étapes de reproduction :
- Accédez à la page du projet exemple depuis la liste des tâches.
- Dans la liste, sélectionnez « Browser test (Chrome) (83) ».
Environnement :
Windows 10 Pro
Chrome v.117.0.5938.62, Firefox v.117.0.1, Microsoft Edge v. 116.0.1938.76
Résultat réel :
Tous les éléments de la légende du graphique en secteurs ne sont pas affichés.
Résultat attendu :
Tous les éléments de la légende du graphique circulaire doivent être affichés.
Le champ Commentaire n’est pas vide par défaut
Gravité :
Mineure
Condition préalable :
- Connectez-vous à votre compte.
- Ajoutez un projet exemple.
Étapes de reproduction :
- Accédez à la page du projet exemple à partir de la liste des tâches.
- Dans la liste, localisez et cliquez sur “Test du navigateur (Chrome) (83)”.
- Cliquez sur le bouton “Cas de test” dans le menu supérieur.
- Sélectionnez “Ajouter un cas de test” dans le menu déroulant.
- Remplissez les champs suivants : “Titre”, “Section”, “Modèle”, “Type” et “Priorité”.
- Cliquez sur le bouton “Ajouter un cas de test”.
- Cliquez sur le bouton “Anomalies”.
- Choisissez “Soumettre une nouvelle anomalie” parmi les options.
- Cliquez sur le champ de commentaire à droite.
Environnement :
Windows 10 Pro
Chrome v.117.0.5938.62, Firefox v.117.0.1, Microsoft Edge v. 116.0.1938.76
Résultat réel :
Le champ commentaire n’est pas vide par défaut.
Résultat attendu :
Le champ commentaire doit être vide par défaut.
Le bouton de fermeture pour les filtres est décalé vers le haut
Gravité :
Triviale
Condition préalable :
- Connectez-vous à votre compte.
- Ajoutez un projet exemple.
Étapes de reproduction :
- Accédez à la page du projet exemple à partir de la liste des tâches.
- Cliquez sur “Test du navigateur (Chrome) (83)” dans la liste.
- Cliquez sur “Aucun” à côté de Filtre.
- Sélectionnez “Assigné à” et choisissez-vous dans la liste.
Environnement :
Windows 10 Pro
Chrome v.117.0.5938.62, Firefox v.117.0.1, Microsoft Edge v. 116.0.1938.76
Résultat réel :
Le bouton de fermeture pour les filtres est décalé vers le haut.
Résultat attendu :
Le bouton de fermeture doit être aligné avec le filtre appliqué correspondant.
Le bouton "Télécharger le graphique comme..." est décalé
Gravité :
Triviale
Condition préalable :
- Connectez-vous à votre compte.
- Ajoutez un projet exemple.
Étapes de reproduction :
- Accédez à la page du projet exemple à partir de la liste des tâches.
- Dans la liste, cliquez sur “Test du navigateur (Chrome) (83)”.
- Accédez à la tâche “Vérifier les styles de titre, sous-titre et d’en-tête”.
- Cliquez sur le bouton “Voir le cas”.
- Cliquez sur le bouton “Anomalies”.
Environnement :
Windows 10 Pro
Chrome v.117.0.5938.62, Firefox v.117.0.1, Microsoft Edge v. 116.0.1938.76
Résultat réel :
Les boutons “Télécharger le graphique comme…” et “Télécharger le graphique comme un CSV” sont décalés.
Résultat attendu :
Les boutons doivent être alignés verticalement les uns par rapport aux autres.
Recherche blanche sur thème sombre
Gravité :
Triviale
Condition préalable :
Connectez-vous au compte.
Étapes de reproduction :
- Cliquez sur votre compte professionnel dans le menu supérieur.
- Choisissez “Mes paramètres” dans le menu.
- Dans la section “Thème”, sélectionnez “Sombre” dans le menu déroulant.
- Cliquez sur “Enregistrer les paramètres”.
- Cliquez sur le champ de recherche dans le menu supérieur.
Environnement :
Windows 10 Pro
Chrome v.117.0.5938.62, Firefox v.117.0.1, Microsoft Edge v. 116.0.1938.76
Résultat réel :
Une barre de recherche blanche sur un thème sombre.
Résultat attendu :
Dans un thème sombre, la recherche devrait avoir un fond sombre.
Le thème sombre affiche des graphiques sur fond blanc
Gravité :
Triviale
Condition préalable :
- Connectez-vous à votre compte.
- Ajoutez un projet exemple.
Étapes de reproduction :
- Cliquez sur votre compte professionnel dans le menu supérieur.
- Sélectionnez “Mes paramètres” dans le menu.
- Dans la section “Thème”, choisissez “Sombre” dans le menu déroulant.
- Cliquez sur “Enregistrer les paramètres”.
- Cliquez sur “Annuler”.
- Accédez à la page du projet exemple à partir de la liste des tâches.
- Dans la liste, sélectionnez “Test du navigateur (Chrome) (83)”.
- Accédez à la tâche intitulée “Vérifier les styles de titre, sous-titre et d’en-tête”.
- Cliquez sur le bouton “Voir le cas”.
- Cliquez sur le bouton “Anomalies”.
Environnement :
Windows 10 Pro
Chrome v.117.0.5938.62, Firefox v.117.0.1, Microsoft Edge v. 116.0.1938.76
Résultat réel :
Le thème sombre affiche des graphiques sur fond blanc.
Résultat attendu :
Dans un thème sombre, les graphiques devraient avoir un fond sombre.
Le bloc de progression du chargement disparaît après le chargement de la première image du lot
Gravité :
Triviale
Condition préalable :
- Connectez-vous à votre compte.
- Ajoutez un projet exemple.
- Téléchargez un minimum de 3 images sur votre ordinateur.
Étapes de reproduction :
- Accédez à la page du projet exemple depuis la liste des tâches.
- Cliquez sur « Jalons » dans le menu supérieur.
- Sélectionnez « Ajouter des jalons ».
- Utilisez le signe plus pour ajouter trois fichiers depuis votre ordinateur.
- Attendez que le premier fichier soit téléchargé.
Environnement :
Windows 10 Pro
Chrome v.117.0.5938.62, Firefox v.117.0.1, Microsoft Edge v. 116.0.1938.76
Résultat réel :
Le bloc de progression du chargement disparaît après le chargement de la première image du lot.
Résultat attendu :
Le bloc de progression ne devrait pas disparaître.
En thème sombre, le bloc de chargement de fichiers s’affiche avec un fond blanc
Gravité :
Triviale
Condition préalable :
- Connectez-vous au compte.
- Ajoutez un projet exemple.
Étapes de reproduction :
- Cliquez sur votre compte professionnel dans le menu supérieur.
- Sélectionnez « Mes paramètres ».
- Dans la section « Thème », choisissez « Sombre » dans le menu déroulant.
- Cliquez sur « Enregistrer les paramètres ».
- Cliquez sur « Annuler ».
- Accédez à la page du projet exemple depuis la liste des tâches.
- Cliquez sur le bouton « Jalons » dans le menu supérieur.
- Sélectionnez « Ajouter des jalons ».
- Utilisez le signe plus pour ajouter des fichiers deux fois.
- Choisissez 3 fichiers depuis votre ordinateur.
- Attendez que le premier fichier soit téléchargé.
Environnement :
Windows 10 Pro
Chrome v.117.0.5938.62, Firefox v.117.0.1, Microsoft Edge v. 116.0.1938.76
Résultat réel :
En thème sombre, le bloc de chargement de fichiers s’affiche avec un fond blanc.
Résultat attendu :
En thème sombre, le bloc de chargement de fichiers devrait avoir un fond sombre.
Pour garantir la qualité et la fiabilité de TestRail, je recommande un mélange d’outils fonctionnels tels que des frameworks de test automatisés, des tests non fonctionnels approfondis, y compris des évaluations de performance pour l’évolutivité et la réactivité, ainsi que des tests d’utilisabilité et de compatibilité sur différents navigateurs et appareils.
