Mit der aktuellen Development Release wird eine neue Postprocessing-Funktion zur Bewertung von Klassifikationsmodellen im Brainer unterstützt, nämlich die Graphical Confusion Matrix.

Der Nachteil der traditionellen Confusion Matrix ist, dass sie keine graphische Methode ist und man zum Vergleich von verschiedenen Modellen erst mühsam die Zahlenwerte aus verschiedenen Tabellen zusammensuchen und einzeln vergleichen muss. Aus diesem Grund waren wir auf der Suche nach einer einfachen graphischen Möglichkeit, mit welcher man

• mit einem schnellen Blick die Klassifikationsleistung eines Modells beurteilen und
• die Qualität verschiedener Modelle vergleichend in einer übersichtlichen Grafik darstellen kann.

Unserer Meinung nach ist hierfür eine Graphical Confusion Matrices die beste Lösung. Dabei werden neben den Zahlenwerten entsprechende Kreise dargestellt, bei welchen der Radius der Kreise mit der Anzahl von Samples in den jeweiligen Klassen korreliert. Es gibt Kreise für jede mögliche Kombination von Targets und Outputs, auch für Mehrklassen-Probleme. Training, Test und Validierungsdaten werden blau, rot bzw. grün gezeichnet.

Ist ein Klassifikationsmodell gut, dann müssen die Kreise in der Diagonal so groß wie möglich und die Kreise abseits der Diagonale so klein wie möglich sein. In der folgenden Graphik wird ein Beispiel für ein gutes Modell dargestellt:

In Gegensatz dazu, würde ein schlechteres Modell wie folgt aussehen:

Die Kreise abseits der Diagonale sind hier bedeutend größer, was auf eine höhere Menge von Fehlklassifikationen hinweist.

Einige Klassifikationsmodelle benötigen auch eine ausgewogene Anzahl von Trainingsdaten pro Klasse. Auch das kann man hier auf einen Blick sehen, indem die Kreise der Diagonale vergleichbare Größen aufweisen sollten. Die Relationen von blauen, grünen und roten Kreisen zueinander weist auch darauf hin, wie viele Daten für Training, Validierung und Test verwendet wurden. Die blauen Kreise sollten dabei nicht allzu viel größer als die roten und grünen Kreise sein.

Ein weiterer Vorteil dieser Darstellung ist, dass man damit auf einfache Weise auch mehrere Modelle miteinander vergleichen kann. In dieser Variante wird der Plot mit den Kreisen jeweils für die Anzahl der Trainings-, Validierungs-, Test- und von allen Daten dargestellt. Verschiedene Modelle werden durch verschiedene Farben und Linienstile unterschieden. Wenn man auf einen Kreis klickt, kann man Information über das entsprechende Modell lesen (Namen und Anzahl von Samples). Die folgende Graphik zeigt ein Beispiel hierfür:

Bei den besten Modellen sind die Kreise in der Diagonale größer und abseits der Diagonale kleiner.

Die alte Funktion des Classification Scatter Plots wird damit nicht mehr weiter gepflegt und demnächst eliminiert.

Fazit: Wenn man mit Klassifikationsproblemen arbeitet, ist es wichtig über passende Bewertungsmethoden zu verfügen. So kann man verschiedene Probleme mit den Modellen schnell identifizieren, zum Beispiel unausgewogene Daten, Über- bzw. Unteranpassung des Modells, systematische Fehler und so weiter. Mit den Graphical Confusion Matrices kann man die Performance von Klassifikationsmodelle auf einfache Weise auf einen Blick bewerten und vergleichen.