Im Rahmen des Projektes SKALA stellte sich die Frage: Wie hoch ist die Qualität von Vorhersagemodellen? Insbesondere die Variabilität von Qualitätsmetriken stellt deren Vergleichbarkeit und Validität grundsätzlich in Frage und macht eine sichere Bewertung somit quasi unmöglich. Die Variabilität dieser Metriken zeigt sich anhand der drei Einflussdimensionen „Prognose-Delikt“, „Prognose-Dauer“ und „Prognose-Zeit“. So kann die Wahl einer längeren Prognosedauer oder eines größeren Prognoseraumes höhere Wahrscheinlichkeiten erzeugen. Belastbare Aussagen über die Qualität von Modellen und deren Vergleichbarkeit können nur erfolgen, wenn diese Einflussdimensionen einheitlich in die Qualitätsmetriken einbezogen werden. Darüber hinaus zeigt sich ein Paradoxon der Wirkungsmessung: Es wird versucht etwas zu messen, was die Polizei aktiv und in unbekanntem Maße beeinflusst hat. Das Kriminalitätsereignis, welches als Treffer in der Prognose gewertet wird und somit für den Erfolg der Prognose sprechen soll, soll eigentlich durch polizeiliche Maßnahmen in den Prognosegebieten verhindert werden.
Literatur: Bode, F.; Stoffel, F. & Keim, D. (2017): Variabilität und Validität von Qualitätsmetriken im Bereich von Predictive Policing. Konstanzer Online-Publikations-System (KOPS), http://nbn-resolving.de/urn:nbn:de:bsz:352-0-402496.
Stoffel, F.; Bode, F. & Keim, D. (2017): Qualitätsmetriken im Bereich von Predictive Policing. Die Variabilität und Validität von Trefferraten. Polizei & Wissenschaft, 4/2017, S. 2-15.