Hugues Wattez

Chercheur postdoctoral, LIX CNRS, École Polytechnique, Institut Polytechnique de Paris, France.

Maison des étudiants de l’Asie du Sud-Est, Apt 202

59 B boulevard Jourdan

75014 Paris

wattez@lix.polytechnique.fr

https://hwattez.github.io

31/01/1995

Expériences et Activités de Recherche

02/2022 à maintenant Postdoc

— Contrat postdoctoral sur l'acquisition de contraintes (en lien avec la partie industrielle et confidentielle de ce contrat) et l'hybridation de techniques de résolution des solveurs de contraintes et des solveurs d'optimisation mathématiques
— Réalisé au Laboratoire Informatique de l'X (LIX CNRS, École Polytechnique, Institut Polytechnique de Paris, France) au sein de l'équipe OptimiX
— Encadré par Claudia d'Ambrosio, Leo Liberti et Sonia Vanier

10/2021 à 01/2022 Attaché Temporaire d'Enseignement et de Recherche (ATER)

— Exercé à l'IUT de Lens, France
— Lié au Centre de Recherche en Informatique de Lens (CRIL UMR 8188, Université d'Artois et CNRS, Lens, France)

10/2018 à 09/2021 Doctorat

— Doctorat intitulé Solveurs de contraintes autonomes
— Préparé au Centre de Recherche en Informatique de Lens (CRIL UMR 8188, Université d'Artois et CNRS, Lens, France)
— Sous la direction de Frédéric Koriche (Université d'Artois) et Christophe Lecoutre (Université d'Artois) et co-encadré par Anastasia Paparrizou (CNRS)
— Jury composé de Marie-José Huguet (présidente, INSA, Toulouse), Thomas Schiex (rapporteur, INRAE, MIA, Toulouse), Cyril Terrioux (rapporteur, Université d’Aix-Marseille) et Rémy Bardenet (examinateur, Université de Lille)
— Mémoire : https://hal-univ-artois.archives-ouvertes.fr/tel-03648917/file/these_light.pdf

04/2018 à 09/2018 Stage de Master

— Stage de Master intitulé Solveurs de contraintes autonomes
— Réalisé au Centre de Recherche en Informatique de Lens (CRIL UMR 8188, Université d'Artois et CNRS, Lens, France)
— Encadré par Frédéric Koriche (Université d'Artois), Christophe Lecoutre (Université d'Artois) et Anastasia Paparrizou (CNRS)
— Mémoire : https://hwattez.github.io/pdf/stage-m2.pdf

04/2017 à 06/2017 Travail d’Étude et de Recherche (TER) de Master

— Travail d’Étude et de Recherche sur la Visualisation pour les applications de suivi des activités physiques et du sommeil
— Réalisé au Centre de Recherche en Informatique de Lens (CRIL UMR 8188, Université d'Artois et CNRS, Lens, France)
— Encadré par Karim Tabia (Université d'Artois)
— Mémoire : https://hwattez.github.io/pdf/ter-m1.pdf

Formation

2018-2021 Doctorat en Intelligence Artificielle

— Soutenu le 9 décembre 2021
— CRIL, Université d'Artois et CNRS, Lens, France

2016-2018 Master Informatique, Parcours Intelligence Artificielles

— Mention Assez Bien (Deuxième de promotion)
— Université d'Artois (UFR des Sciences Jean Perrin), Lens, France

2015-2016 Licence Informatique

— Mention Bien (Troisième de promotion)
— Université d'Artois (UFR des Sciences Jean Perrin), Lens, France

2013-2015 Diplôme Universitaire de Technologie Informatique

— Mention Bien (Major de promotion)
— Université d'Artois (IUT), Lens, France

2012-2013 Baccalauréat Scientifique

— Spécialité Mathématiques
— Mention Très Bien
— Lycée Guy Mollet, Arras, France

Domaine de Recherche

Mots-clésIntelligence Artificielle, Raisonnement Automatique, Algorithmes pour l’Inférence et Contraintes, Solveurs et Outils, Optimisation, Heuristique de Branchement, Apprentissage par Renforcement, Bandit Multi-Bras

DescriptionLa programmation par contraintes est déclarative : l’utilisateur modélise le problème (sous forme de contraintes) sans se soucier de la partie résolution. La résolution est déléguée à un programme générique appelé solveur de contraintes.

Les solveurs de contraintes utilisent des mécanismes issus de l’intelligence artificielle pour guider ses choix (heuristiques), et pour réduire efficacement l’espace de recherche (inférence). Les solveurs de contraintes récents sont équipés de plusieurs heuristiques. Le choix de la meilleure heuristique pour résoudre une instance de problème donnée est actuellement délégué à l’utilisateur.

Des heuristiques de branchement plus efficaces

Il est bien connu que l’espace exploré durant la recherche peut drastiquement fluctuer selon l’ordre dans lequel les variables sont instanciées. En considérant que le parfait ordonnancement des variables résulterait en une recherche sans retour-arrière, la recherche d’heuristiques de choix de variables suscite toujours autant l’intérêt des chercheurs. Depuis quinze ans, l’approche basée sur la pondération des contraintes s’est toujours montrée efficace pour guider la recherche. Dans mes travaux, je propose une nouvelle heuristique de branchement générique se basant sur l'affinement des informations prélevées lorsque le solveur rencontre des conflits afin d'améliorer la sélection des variables les causant [4, 9].

Un gain d'autonomie des solveurs de contraintes

Mes contributions tentent de rendre les solveurs de contraintes plus autonomes dans le but de soustraire toute charge cognitive à l’utilisateur concernant le processus de résolution. Pendant la recherche de solutions, le solveur redémarre régulièrement la recherche pour éviter les impasses coûteuses. C'est pourquoi il est intéressant de réfléchir à une politique capable de sélectionner automatiquement l’heuristique la plus prometteuse après chaque redémarrage.

En réponse à ce problème de choix séquentiel, mes travaux d'inspirent des politiques traitant du problème du bandit multi-bras. De telles politiques sont issues de l’apprentissage par renforcement et permettent d’explorer un ensemble d’actions tout en exploitant, le plus souvent possible, l’action la plus prometteuse.

À partir de ce framework basé sur les redémarrages du solveur et l'apprentissage par renforcement, plusieurs contributions sont proposées pour rendre les solveurs de contraintes modernes plus autonomes. De premières publications sont proposées où les politiques proposées dans la littérature sur les bandits multi-bras sont appliquées pour apprendre la meilleure heuristique parmi un ensemble d’heuristiques fournies par le solveur [3, 13]. Sur la base de cette première application, nous proposons une nouvelle politique qui est plus cohérente avec la structure des solveurs actuels [2]. Toujours en utilisant des politiques de bandit, mes travaux proposent d’adapter la quantité d’aléa nécessaire pour perturber une heuristique donnée et la rendre plus efficace [1, 10]. En perspective de ces précédents travaux, j'essaye d'étendre ces résultats aux solveurs de contraintes sous optimisation.

Vers une généralisation du choix du paradigme de résolution

En extension du gain d'autonomie au sein même des solveurs de contraintes, je propose des travaux préliminaires sur l'hybridation et la sélection en ligne du paradigme de résolution le plus efficace entre les solveurs de contraintes et les solveurs d'optimisation mathématique en nombres entiers. Mes travaux actuels se basent sur l'étude du problème de monoroutage [6, 8]. En perspective de ces travaux, je suis intéressé par rendre générique cette méthode sur des benchmarks plus larges entre les solveurs pseudo-booléens et les solveurs d'optimisation mathématique en nombres entiers (ces deux paradigmes interprétant le même format d'instance en entrée).

Enseignements

Supplément doctoral d’enseignement et ATER

Au cours de mes deux premières années de thèse et de mes quatres mois d'ATER, un total de 195,5 heures d'enseignement ont été dispensées à l’IUT de Lens. Le détail des heures par module, par TP et TD est détaillé ci-après.

Statut	Année universitaire	TD	TP	Total
Supplément doctoral	2018/2019	25,5	38,5	64
Supplément doctoral	2019/2020	34	30	64
ATER	2021/2022	28,5	39	67,5

La description des enseignements qui suivent est détaillée sur le Programme Pédagogique National des DUT INFORMATIQUE : https://www.enseignementsup-recherche.gouv.fr.

DUT1-INFO Introduction au développement algorithmique

— Public : Première année de DUT Informatique à l'IUT de Lens (Université d'Artois), avec deux groupes de 15 étudiants
— Contenu Pédagogique : Travaux Pratiques (39h) initiant aux structures algorithmiques fondamentales (séquence, choix, itération, etc.), aux notions de type et sous-programmes (fonction, procédure, méthode, paramètres, etc.) de qualité (assertions, pré et post-conditions, etc.) ; implantation en Python
— Période : Année universitaire 2021/2022

DUT1-INFO Introduction aux systèmes informatiques

— Public : Première année de DUT Informatique à l'IUT de Lens (Université d'Artois), avec un groupe de 30 étudiants et deux groupes de 15 étudiants
— Contenu Pédagogique : Travaux Pratiques (9h) et Travaux Dirigés (4,5h) initiant au codage de l'information (représentation des nombres, arithmétique, codage des caractères, etc.), aux éléments logiques (algèbre de Boole, circuit logique, etc.), à la gestion des fichiers et l'usage de commandes shell
— Période : Année universitaire 2019/2020

DUT1-INFO Conception de documents et d’interfaces numériques

— Public : Première année de DUT Informatique à l'IUT de Lens (Université d'Artois), avec un groupe de 30 étudiants et deux groupes de 15 étudiants
— Contenu Pédagogique : Travaux Pratiques (33,5h) et Travaux Dirigés (16,5h) initiant aux langages de description et de mise en page basés sur des balises (HTML5, CSS3, Bootstrap, etc.)
— Période : Année universitaire 2018/2019

DUT1-INFO Introduction aux IHM

— Public : Première année de DUT Informatique à l'IUT de Lens (Université d'Artois), avec un groupe de 15 étudiants
— Contenu Pédagogique : Travaux Pratiques (21h) initiant aux interactions homme-machine avec l'étude de la bibliothèque PyQT en Python ; le but est de reproduire le jeu Bomberman
— Période : Année universitaire 2019/2020

DUT2-INFO Programmation web

— Public : Deuxième année de DUT Informatique à l'IUT de Lens (Université d'Artois), avec un groupe de 30 étudiants
— Contenu Pédagogique : Travaux Dirigés (28,5h) initiant à la génération dynamique de contenu accessible par le Web, aux notions de suivi de session et aux connexions aux bases de données
— Période : Année universitaire 2021/2022

DUT2-INFO Conception et programmation objet avancées

— Public : Deuxième année de DUT Informatique à l'IUT de Lens (Université d'Artois), avec un groupe de 30 étudiants
— Contenu Pédagogique : Travaux Dirigés (29,5h) sur l'approfondissement des notions permettant la réutilisation (héritage, interface, paquetage, généricité, etc.) par l'usage de patrons de conception
— Période : Année universitaire 2019/2020

DUT1-MMI Réseaux

— Public : Première année de DUT Métiers du Multimédia et de l'Internet à l'IUT de Lens (Université d'Artois), avec un groupe de 30 étudiants
— Contenu Pédagogique : Travaux Pratiques (9h) initiant à l'utilisation d'applications réseau : messagerie, transfert de fichiers (FTP, HTTP), telnet, protocole ssh, etc.
— Période : Année universitaire 2018/2019

DU-Tremplin Introduction aux systèmes informatiques

— Public : Première année de DU Tremplin à l'IUT de Lens (Université d'Artois), avec un groupe de 30 étudiants
— Contenu Pédagogique : Travaux Dirigés (5h) initiant des étudiants rencontrant des difficultés dans leur première année de licence ou DUT à une approche visant à leur permettre de poursuivre des études ; ici, par l'introduction aux systèmes informatique comme décrit plus haut
— Période : Année universitaire 2018/2019

Encadrement de Stage

04/2022 à 08/2022 Stage de Recherche Accompagnement d'un étudiant en 3è année du Cycle Ingénieur Polytechnicien (Institut Polytechnique de Paris, France) sur un sujet annexe à mon sujet de postdoc (confidentiel).

04/2019 à 06/2019 Travail d’Étude et de Recherche (TER) Accompagnement d'un étudiant en Master 1 Informatique (Université d'Artois, Lens, France) au sujet de l'implantation d’un outil permettant d’automatiser l’analyse de résultats expérimentaux.

Concours Algorithmique

L3-M1-M2-INFO Entraînements pour la participation au SWERC (“Southwestern Europe Regional Contest”) Coach pour les étudiants participant à la compétition de programmation SWERC : organisation de séances d’entraînement chaque jeudi après-midi, comportant des tutoriels d’algorithmique et des simulations de compétitions pour les étudiants en troisième année de Licence Informatique et en Master Informatique à l’UFR des Sciences Jean Perrin (Université d’Artois).

Animations et Responsabilités Collectives

2019 et 2021 Organisation de compétitions de programmation pour les étudiants en troisième année de Licence Informatique à l’UFR des Sciences Jean Perrin (Université d’Artois) : préparation de la compétition les quinze jours la précédant, mise en place de la compétition sur deux jours, avec une journée dédiée à l’entraînement et une journée dédiée à la compétition, choix de sujets avec implantation de leur correction, organisation d’une remise de diplôme lors d’une cérémonie de clôture. En collaboration avec deux autres doctorants.

2019 Organisation des Journées Des Doctorants (JDD) du Centre de Recherche en Informatique de Lens (CRIL) à Ostende (Belgique), à raison d’une à deux jours par semaine pendant un mois : choix et réservation du lieu du séminaire, collecte des sujets présentés par les doctorants, organisation d’un planning sur deux jours avec repas, pauses café et nuit à l’hôtel. En collaboration avec un permanent du laboratoire et un autre doctorant.

2018 Participation à l'organisation de The 24th International Conference on Principles and Practice of Constraint Programming (CP'18) à Lille (France). Pendant cinq jours, il s'agissait d'accueillir les participants à la conférence, de répondre aux questions d'organisation et de participer aux tâches techniques des sessions.

Éléments de Visibilité

2022 Présentation de l’article Best Heuristic Identification for Constraint Satisfaction [1] lors de la 31st International Joint Conference on Artificial Intelligence (IJCAI’22)

2022 Présentation de l’article Exploring AI approaches to improve the resolution of unsplittable multicommodity flow problems in wireless networks [6] lors de la 39th Spanish Conference on Statistics and Operation Research (SEIO’22)

2022 Tutoriel sur Extraction, analyse et reproductibilité de campagnes expérimentales avec l’outil Metrics [7, 12] lors de la Plate-Forme Intelligence Artificielle (PFIA'22)

2022 Présentation de l’article Best Heuristic Identification for Constraint Satisfaction [1] lors de la Conférence Nationale en Intelligence Artificielle (CNIA'22)

2022 Présentation de l’article Exploration des approches de l’IA pour renforcer la résolution des problèmes de multiflots entiers dans les réseaux énergétiques [8] lors de la 23è Conférence ROADEF de la Société Française de Recherche Opérationnelle et d’Aide à la Décision (ROADEF’22)

2022 Séminaire tutoriel sur la Programmation par Contraintes au sein de Équipe Optimix - LIX, Paris, France

2021 Présentation du sujet Solveurs de Contraintes Autonomes [16] lors de ma Soutenance de Thèse

2021 Présentation de l’article Focus sur les heuristiques basées sur la pondération de contraintes [9] lors des 16es Journées Francophones de Programmation par Contraintes (JFPC’21)

2021 Présentation de l’article Perturbation des heuristiques de branchement dans la résolution de contraintes [10] lors des 16es Journées Francophones de Programmation par Contraintes (JFPC’21)

2020 Deux Séminaires Metrics: Towards a Unified Library for Experimenting Solvers [15] au sein du CRIL, Lens, France

2020 Présentation de l’article Metrics: Towards a Unified Library for Experimenting Solvers [15] lors de the 11th International Workshop on Pragmatics of SAT (POS’20)

2020 Présentation de l’article Learning Variable Ordering Heuristics with Multi-Armed Bandits and Restarts [3] lors de the 24th European Conference on Artificial Intelligence (ECAI’20)

2020 Présentation de l’article Perturbing Branching Heuristics in Constraint Solving [2] lors de the 26th International Conference on Principles and Practice of Constraint Programming (CP’20)

2019 Présentation de l’article Refining Constraint Weighting [4] lors de the 31st International Conference on Tools with Artificial Intelligence (ICTAI’19)

2019 Présentation de l’article Heuristiques de Recherche : un Bandit pour les Gouverner Toutes [13] lors des 15es Journées Francophones de Programmation par Contraintes (JFPC’19)

2018 Séminaire invité sur Heuristiques de Recherche et Bandits Multi-Bras [13] au sein de Équipe Coconut - LIRMM, Montpellier, France

Publications

Les articles de conférences et workshops présentées ci-après ont tous été soumis à un comité de lecture. Les conférences les plus reconnues par la communauté de la programmation par contraintes correspondent à la conférence CP (International Conference on Principles and Practice of Constraint Programming, rang A selon CORE2021), qui est la principale conférence spécialisée du domaine, et la conférence IJCAI (International Joint Conference on Artificial Intelligence, rang A* selon CORE2021), qui est l’une des plus importantes conférences généralistes en intelligence artificielle. D'autres conférences ont aussi un grand intérêt lors de publications dans le domaine la programmation par contraintes telles que ECAI (European Conference on Artificial Intelligence, rang A selon CORE2021) et ICTAI (International Conference on Tools with Artificial Intelligence, rang B selon CORE2021).

Conférences Internationales

2022 [1] Best Heuristic Identification for Constraint Satisfaction

— Auteurs : Frederic Koriche, Christophe Lecoutre, Anastasia Paparrizou, Hugues Wattez,
— Conférence : 31st International Joint Conference on Artificial Intelligence (IJCAI’22)
— DOI : https://doi.org/10.24963/ijcai.2022/258
— Dépôt HAL : https://hal.archives-ouvertes.fr/hal-03678354v2

2020 [2] Perturbing Branching Heuristics in Constraint Solving

— Auteurs : Anastasia Paparrizou, Hugues Wattez,
— Conférence : 26th International Conference on Principles and Practice of Constraint Programming
— DOI : https://doi.org/10.1007/978-3-030-58475-7_29
— Dépôt HAL : https://hal.archives-ouvertes.fr/hal-03096113

2020 [3] Learning Variable Ordering Heuristics with Multi-Armed Bandits and Restarts

— Auteurs : Hugues Wattez, Frédéric Koriche, Christophe Lecoutre, Anastasia Paparrizou, Sébastien Tabary,
— Conférence : ECAI 2020 - 24th European Conference on Artificial Intelligence
— DOI : https://doi.org/10.3233/FAIA200115
— Dépôt HAL : https://hal.archives-ouvertes.fr/hal-03096124

2019 [4] Refining Constraint Weighting

— Auteurs : Hugues Wattez, Christophe Lecoutre, Anastasia Paparrizou, Sébastien Tabary,
— Conférence : ICTAI 2019: IEEE 31st International Conference on Tools with Artificial Intelligence
— DOI : https://doi.org/10.1109/ICTAI.2019.00019
— Dépôt HAL : https://hal.archives-ouvertes.fr/hal-02414832

2018 [5] Data Analytics and Visualization for Connected Objects: A Case Study for Sleep and Physical Activity Trackers

— Auteurs : Karim Tabia, Hugues Wattez, Nicolas Ydée, Karima Sedki,
— Conférence : 31st International Conference on Industrial Engineering and Other Applications of Applied Intelligent Systems (IEA/AIE’18)
— DOI : https://doi.org/10.1007/978-3-319-92058-0_66
— Dépôt HAL : https://hal-univ-artois.archives-ouvertes.fr/hal-03301188

Conférences Nationales

2022 [6] Exploring AI approaches to improve the resolution of unsplittable multicommodity flow problems in wireless networks

— Auteurs : Sonia Haddad-Vanier, Romain Wallon, Hugues Wattez,
— Conférence : 39th Spanish Conference on Statistics and Operation Research (SEIO’22)
— Dépôt HAL : https://hal.archives-ouvertes.fr/hal-03647245

2022 [7] Metrics : un unique outil pour l’analyse d’expérimentations

— Auteurs : Thibault Falque, Romain Wallon, Hugues Wattez,
— Conférence : 23e Conférence ROADEF de la Société Française de Recherche Opérationnelle et d’Aide à la Décision (ROADEF’22)
— Dépôt HAL : https://hal.archives-ouvertes.fr/hal-03595329

2022 [8] Exploration des approches de l’IA pour renforcer la résolution des problèmes de multiflots entiers dans les réseaux énergétiques

— Auteurs : Sonia Haddad-Vanier, Romain Wallon, Hugues Wattez,
— Conférence : 23e Conférence ROADEF de la Société Française de Recherche Opérationnelle et d’Aide à la Décision (ROADEF’22)
— Dépôt HAL : https://hal.archives-ouvertes.fr/hal-03597206

2021 [9] Focus sur les heuristiques basées sur la pondération de contraintes

— Auteurs : Hugues Wattez, Frédéric Koriche, Christophe Lecoutre, Anastasia Paparrizou, Sébastien Tabary,
— Conférence : 16es Journées Francophones de Programmation par Contraintes (JFPC’21)
— Dépôt HAL : https://hal.archives-ouvertes.fr/hal-03449631

2021 [10] Perturbation des heuristiques de branchement dans la résolution de contraintes

— Auteurs : Hugues Wattez, Frederic Koriche, Anastasia Paparrizou,
— Conférence : 16es Journées Francophones de Programmation par Contraintes (JFPC’21)
— Dépôt HAL : https://hal.archives-ouvertes.fr/hal-03449550

2021 [11] Descente Agressive de Borne en Optimisation sous Contraintes

— Auteurs : Thibault Falque, Christophe Lecoutre, Bertrand Mazure, Hugues Wattez,
— Conférence : 16èmes Journées Francophones de Programmation par Contraintes (JFPC’21)
— Dépôt HAL : https://hal-univ-artois.archives-ouvertes.fr/hal-03625476

2021 [12] Metrics : Mission Expérimentations

— Auteurs : Thibault Falque, Romain Wallon, Hugues Wattez,
— Conférence : 16es Journées Francophones de Programmation par Contraintes (JFPC’21)
— Dépôt HAL : https://hal.archives-ouvertes.fr/hal-03295285

2019 [13] Heuristiques de recherche : un bandit pour les gouverner toutes

— Auteurs : Hugues Wattez, Frédéric Koriche, Christophe Lecoutre, Anastasia Paparrizou, Sébastien Tabary,
— Conférence : 15es Journées Francophones de Programmation par Contraintes – JFPC 2019
— Dépôt HAL : https://hal.archives-ouvertes.fr/hal-02414288

Ateliers Internationaux

2022 [14] Aggressive Bound Descent for Constraint Optimization

— Auteurs : Thibault Falque, Christophe Lecoutre, Bertrand Mazure, Hugues Wattez,
— Conférence : Doctoral Program of the 28th International Conference on Principles and Practice of Constraint Programming.
— Dépôt HAL : https://hal.archives-ouvertes.fr/hal-03749141

2020 [15] Metrics: Towards a Unified Library for Experimenting Solvers

— Auteurs : Thibault Falque, Romain Wallon, Hugues Wattez,
— Conférence : 11th International Workshop on Pragmatics of SAT (POS’20)
— Dépôt HAL : https://hal-univ-artois.archives-ouvertes.fr/hal-03301303

Manuscrits

2021 [16] Solveurs de Contraintes AutonomesAutonomous Constraint Solvers

— Auteur : Hugues Wattez
— Dépôt HAL : https://hal-univ-artois.archives-ouvertes.fr/tel-03648917

Une sélection de travaux

Parmi l'ensemble de ces travaux, je propose une sous-sélection de trois articles. Il s'agit du cheminement logique depuis la création d'une heuristique de branchement [4] pour le domaine de la programmation par contraintes, en passant par l'amélioration, de façon générique, des heuristiques de branchement de l'état de l'art du domaine grâce à l'ajout d'aléa [2] jusqu'à la sélection automatique de la meilleure heuristique parmi un ensemble d'heuristiques pendant la résolution d'une instance grâce à l'apprentissage par renforcement [1].

Production Logicielle

ACE J'ai contribué au solveur de contraintes ACE (https://gitlab.com/productions-hwattez/solveurs-de-contraintes-autonomes/doctorat/ace), avec l’intégration de l'ensemble de mes travaux de thèse [1,2,3,4,9,10,13,14,16,11]. Cette instance du solveur permet notamment de reproduire l'ensemble des expérimentations de thèse, de les analyser et de produire les figures apparaissant dans le manuscrit de thèse (https://gitlab.com/productions-hwattez/solveurs-de-contraintes-autonomes/doctorat/experimentations).

Metrics J’ai participé à la conception de la bibliothèque open-source Metrics [7, 12], conçue pour faciliter l’analyse de résultats expérimentaux (https://github.com/crillab/metrics). En particulier, cette bibliothèque propose une chaîne d’outils complète, permettant d’extraire les données à partir des fichiers de log produits par les solveurs (indépendamment du format utilisé par ceux-ci), puis de les charger en mémoire pour ensuite tracer des figures couramment utilisées dans la communauté pour analyser les performances de solveurs (entre autres : boîtes à moustaches, scatter plots, cactus plots ou CDF).