A study about Explainable Articial Intelligence: using decision tree to explain SVM

Revista Brasileira de Computação Aplicada

Endereço:
Rodovia BR-285 km 292 - São José
Passo Fundo / RS
99001-970
Site: http://seer.upf.br/index.php/rbca
Telefone: (54) 3316-8354
ISSN: 2176-6649
Editor Chefe: Carlos Amaral Holbig
Início Publicação: 01/09/2009
Periodicidade: Quadrimestral
Área de Estudo: Ciência da computação

A study about Explainable Articial Intelligence: using decision tree to explain SVM

Ano: 2020 | Volume: 12 | Número: 1
Autores: Carla Piazzon Ramos Vieira, Luciano Antonio Digiampietri
Autor Correspondente: Carla Piazzon Ramos Vieira | [email protected]

Palavras-chave: caixa preta; inteligência artificial explicável, interpretabilidade, explicabilidade,transparência

Resumos Cadastrados

Resumo Português:

As tecnologias baseadas em Inteligência Artificial (IA) avançaram rapidamente nos últimos anos e a IA está se

tornando comum em todos os aspectos da vida, como o futuro dos carros autônomos ou agilidade em diagnósticos

médicos. Para que isso ocorra, toda a comunidade está diante da barreira da explicabilidade, um problema inerente

às mais recentes técnicas trazidas por modelos mais complexos de aprendizado máquina (por exemplo, redes

neurais profundas) que não estavam presentes na última onda de IA (modelos lineares ou baseados em regras). A

maioriadessesmodelosmaisrecenteséusadacomocaixa-preta, sementenderparcialmenteouatécompletamente

como diferentes características influenciam nas predições do modelo, evitando a transparência algorítmica. Este

artigo foca na identificação da melhor maneira de entender as decisões tomadas por um classificador SVM em uma

abordagem agnóstica post-hoc. Além disso, treinamos um modelo baseado em árvore de decisão (inerentemente

interpretável) usando rótulos do SVM, chamado de dado secundário de treinamento, para fornecer explicações e

comparar a importância das características por meio do método de permutação com as métricas mais usadas, como

acurácia, e mostrar que nossos métodos e técnicas são mais significativos. Também delineamos os principais

desafos de tais métodos e concluímos que a interpretabilidade post-hoc é um componente essencial para tornar o

aprendizado de máquina mais confiável.



Resumo Inglês:

The technologies supporting Artificial Intelligence (AI) have advanced rapidly over the past few years and AI is

becoming a commonplace in every aspect of life like the future of self-driving cars or earlier health diagnosis. For

this to occur shortly, the entire community stands in front of the barrier of explainability, an inherent problem of

latest models (e.g. Deep Neural Networks) that were not present in the previous hype of AI (linear and rule-based

models). Most of these recent models are used as black-boxes without understanding partially or even completely

how diferent features influence the model prediction avoiding algorithmic transparency. In this paper, we focus

on how much we can understand the decisions made by an SVM Classifer in a post-hoc model agnostic approach.

Furthermore, we train a tree-based model (inherently interpretable) using labels from the SVM, called secondary

training data to provide explanations and compare permutation importance method to the more commonly used

measures such as accuracy and show that our methods are both more reliable and meaningful techniques to use.

We also outline the main challenges for such methods and conclude that model-agnostic interpretability is a key

component in making machine learning more trustworthy.