Volet incontournable du cycle DevOps, la gestion des tests logiciel doit être liée à l’outil de gestion de projet. Logiquement, l’outillage de la gestion de tests est un marché très concurrentiel sur le marketplace Atlassian Jira. Et force est de constater que chaque solution tente d’aller au bout des choses. Il existe alors plusieurs propositions, toutes très abouties.
Voici les principales solutions du marché pour le Testing, tirées de notre Guide Jira et Marketplace (édition 2023) :
QMetry test management for Jira
La solution de QMetry pour la gestion des tests est parmi les plus complètes : planification, création, exécution, automatisation, rapports détaillés, etc. Pour ne rien gâcher, l’application parvient à garder une excellente expérience utilisateur. La raison? QMetry est plus à considérer comme une application séparée connectée à Jira, mais de fait, les liens sont d’abord où l’éditeur a choisi de les mettre, là où c’est indispensable.
Ce ne sont pas alors les « issue types » qui sont utilisés pour créer les objets de l’application (Cycles, plans, et cas de tests), ce qui peut gêner les perspectives les plus techniques, principalement au niveau des requêtes. Aussi sur le reporting de l’état des tests, la solution n’est pas la plus fournie. Faible prix à payer pour un outil exhaustif qui se permet en plus d’être très bien positionné en termes de tarif.
Requirements & Test Management for Jira
« RTM » est l’application la plus récente de la sélection pour gérer les tests. Il s’agit d’une proposition solide pour outiller la gestion de tests, mais pas que: RTM s’intéresse également au Requirement Management, ce qui permet de faire le lien entre les tests et les exigences. Pour ce qui est des tests, peu de choses à regretter en dehors de la gestion des cycles de test qui n’est pas nativement proposé. L’automatisation n’est pas non plus de la partie, ce qui pourra s’avérer bloquant pour ceux qui souhaitent connecter Jira aux framework d’automatisation.
RTM propose une interface facile, ce qui permet d’assurer le bon usage. Enfin, le prix est également un point fort du produit surtout sur Cloud par rapport à une concurrence plutôt onéreuse.
Xray test Management for Jira
XRay est une application très populaire sur le marketplace pour la gestion de test, du fait de son ancienneté, et de l’exhaustivité de ses fonctionnalités. Xray propose d’abord des interfaces accessibles pour tout le monde, sans mettre de côté les fonctionnalités avancées accessibles aux profils administrateurs. L’outil parvient à s’intégrer finement dans les process de développement logiciel, jusque dans les sprints Scrum. L’intégration avec Jira est profonde, et Xray n’oublie pas de se connecter notamment avec les outils d’intégration du marché : Bamboo, Jenkins, Gitlab, etc. Aussi, Xray gère l’automatisation des tests, et pour ce faire, il est possible de l’intégrer à son framework habituel (Cucumber, JUnit, TestNG, …). Xray restera pratique pour organiser et planifier les tests. Côté reporting, l’essentiel est proposé, et les données Xray pourront être encore mieux exploitées à l’aide d’eazyBI qui possède un connecteur natif.
Xray est l’application privilégiée par les équipes Spectrum dans leurs projets d’intégration.
Zephyr Squad – Test Management for Jira
Suite à ses rachats, Smartbear ne propose pas moins de 3 versions de son produit Zephyr, une solution phare du marketplace pour la gestion de test. L’édition « Squad » est le produit original Zephyr. Sur le marketplace, c’est la plus ancienne, la plus populaire, mais aussi la plus chère avec sa soeur « Scale » pour outiller les usages testing. C’est un produit complet. Il s’intègre à la majorité des framework d’automatisation et aux outils d’intégration, et la prise en main est rapide pour se lancer. L’outil mériterai peut être simplement d’être plus abouti sur la planification et l’organisation des tests. La partie reporting est correcte. Zephyr Squad « fait le job », mais semble vendu un peu cher par rapport à une concurrence parfois plus aboutie.
Zephyr Scale – Test Management for Jira
Avant son rachat par Smartbear, Zephyr Scale était TM4J. Il ne s’agit donc pas d’une édition plus aboutie de Zephyr Squad, mais d’un produit différent. Conformément à son nom, Scale assume le fait d’être un cran au dessus de Squad fonctionnellement, notamment sur l’organisation et la planification des tests. Zephyr Scale sera automatiquement plus adapté aux contextes de gestion de projet à l’échelle, donc sur des instances Premium, et fonctionnera très bien avec des applications telles BigPicture ou Structure. L’application n’est cependant pas réservée à des usages d’agilité à l’échelle et n’est pas la seule sur le marché à en être capable. Elle fonctionnera tout aussi bien sur des projets simples en cycle en V. Il s’agit surtout pour Smartbear de segmenter son offre. Dans les faits, pour le même prix on aurait tendance à plutôt recommander Scale même si Squad a une meilleure capacité de mise en place rapide.
En conclusion
Seul Requirements & Tests Management for Jira, solution la plus jeune, semble vouloir se différentier avec un produit plus essentiel (l’automatisation n’est pas proposée par exemple), et surtout moins cher (moins vrai pour les grandes organisations sur Data Center). Les autres, maintenant tous des « anciens » du marketplace Jira ont des produits très complets et matures. Les différencier sur la réponse fonctionnelle est une gageure, même s’il semblerait que Zephyr Squad pourtant produit historique peine à suivre une concurrence féroce. Tester est encore la meilleure façon de faire un choix après avoir validé les réponses à ses exigences. Les approches diffèrent, surtout pour la partie administration. Pour l’utilisateur final l’expérience est souvent bonne.
Dans notre guide pour Jira et Marketplace 2023, nous faisions une analyse de ce marché, sur les fonctionnalités et le prix :
Les solutions Testing sont toutes chères par rapport à d’autres types d’application dans le marketplace. Elles profitent de leur côté indispensable dans une démarche de développement logiciel avec l’usage de Jira. Après, ce sont des produits très aboutis pour répondre aux enjeux du Testing.
