Explainable cautious classifiers
Classifieurs prudents explicables
Résumé
Machine learning classifiers have achieved impressive success in a wide range of domains such as natural language processing, image recognition, medical diagnosis, and financial risk assessment. Despite their remarkable accomplishments, their application to real-world problems still entails challenges. Traditional classifiers make precise decisions based on estimated posterior probabilities; this becomes problematic when dealing with limited data and in complex, uncertain scenarios where making erroneous decisions is costly. As alternatives, cautious classifiers, also known as imprecise classifiers, provide subsets of classes as predictions. We propose in this thesis a cautious classifier called cautious random forest, within the framework of belief functions. It combines imprecise decision trees constructed by the imprecise Dirichlet model and aims at achieving a better compromise between the accuracy and the cautiousness of predictions. Cautious random forests can be regarded as generalizations of classical random forests, where the usual aggregation strategies (averaging and voting) are replaced with a cautious counterpart. However, making imprecise predictions has a cost, since indeterminacy must be resolved via further analysis. Therefore, it seems crucial to understand what led to an indeterminate prediction, and what could be done to turn it into a determinate one. To address this problem, we propose in this thesis a framework for providing explanations so as to discover which features contribute the most to improving the determinacy of the cautious classifier and how we can modify the feature values soas to achieve a determinate prediction (counterfactual explanations).
L’apprentissage automatique a connu un succès impressionnant dans des domaines variés comme le traitement du langage naturel, la reconnaissance d’images, ou le diagnostic médical. Malgré ces résultats remarquables, son application à certains problèmes réels soulève encore des questions. Les classifieurs traditionnels choisissent une classe unique parmi un ensemble de classes possibles (prédiction déterminée), en se basant sur une estimation ponctuelle des probabilités des classes. Cette stratégie peut être problématique lorsque les données sont limitées et dans des scénarios complexes dans lesquels les décisions erronées sont coûteuses. Comme alternative, les classifieurs prudents (classifieurs imprécis) fournissent des sous-ensembles de classes comme prédictions. Nous avons proposé dans cette thèse un classifieur prudent appelé forêt aléatoire prudent développé dans le cadre des fonctions de croyance. Il combine des arbres de décision imprécis construits grâce au modèle de Dirichlet imprécis et vise à atteindre un meilleur compromis entre la précision et la prudence des prédictions. Les forêts aléatoires prudentes peuvent être considérées comme des généralisations des forêts aléatoires classiques, où les stratégies d’agrégation habituelles (calcul de la moyenne et vote) sont remplacées par leurs équivalentes prudentes. Cependant, faire des prédictions indéterminées a un coût puisque l’indétermination doit être résolue par une analyse plus approfondie. Il semble donc essentiel de comprendre ce qui a conduit à une prédiction indéterminée et ce qui pourrait être fait pour la transformer en une prédiction déterminée. Pour résoudre ce problème, nous avons proposé dans cette thèse un cadre permettant de comprendre d’où provient l’imprécision dans les sorties de notre modèle. En particulier, nous avons proposé l’utilisation d’explications contrefactuelles pour les classifieurs prudents à déterminer comment modifier les entrées du classifieurs pour obtenir une sortie déterminée.
| Origine | Version validée par le jury (STAR) |
|---|