Heute findet die Präsentation des Sachverständigenrates für Verbraucherfragen statt. Thema: Faires Scoring. Wir berichten live vor Ort. Raw. #fairesscoring #openschufa

Das wichtigste in Kürze

Programm der Veranstaltung

Übersichtsseite zu „Verbrauchergerechtes Scoring“ (Sachverständigenrat)

Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren (Gesellschaft für Informatik e. V.)

Diskussion zu Handlungsempfehlungen

Handlungsempfehlungen des Rats (S. 142-151)

  1. Scoring für den Verbraucher verständlich machen

  2. Scoring-Wissen und Kompetenz fördern

  3. Diskriminierung prüfen und offenlegen

  4. telematikfreie Option sicherstellen

  5. Score-Qualität gewährleisten

  6. Datenqualität sichern

  7. Aufsicht verbessern

  8. Super-Scores

Empfehlungen

Aus den Handlungsempfehlungen:

„Das Potenzial digitalen Scorings kann nur ausgeschöpft werden, wenn eine Reihe von gesellschaftlich legitimen Erwartungen erfüllt sind. Nur dann wird es von Verbrauchern auch akzeptiert werden und nur dann wird es ihnen zunutze sein.“

Das war unser Antrieb für OpenSchufa.

Erste Empfehlung: Scoring verständlicher machen

Die Ergebnisse der repräsentativen Bevölkerungsbefragung zeigen im Detail, dass das Wissen über die verwendeten Merkmale im Bereich des Bonitäts-Scorings neben dem Alter davon abhängt, ob eine Person in den vergangenen fünf Jahren eine Selbstauskunft eingeholt hat. Formale Bildung für sich genommen scheint dagegen keinen relevanten Einfluss auf das Scoring- Wissen zu haben. Interessant ist auch, dass die Befragten mehrheitlich dagegen sind, eine Rückmeldung zu ihrem Score-Wert zu erhalten; knapp die Hälfte möchte grundsätzlich (mit unterschiedlicher Häufigkeit) darüber aktiv informiert werden.

Fast 50% der Bevölkerung wünscht sich einen transparenteren Umgang.

Festzustellen, welche Merkmale für Verbraucher wesentlich sind, kann nicht nur Aufgabe des Gesetzgebers sein, sondern sollte auch Aufgabe von Verbraucherorganisationen oder der „Marktwächter“ der Verbraucherzentralen sein. Eine vollständige Offenlegung der Scores und ihrer Eigenschaften gegenüber Aufsichtsbehörden ist in jedem Fall notwendig (vgl. das SVRV Gutachten „Digitale Souveränität).

Dieser Forderung schließen wir uns an.

Ein Teil des SVRV spricht sich für eine weiterreichende Scoring-Transparenz aus. Er ist der Auffassung, dass stets sämtliche in einen Score eingehenden Merkmale gegenüber dem Verbraucher offenzulegen sind und ihr relatives Gewicht in der Score-Berechnung anzugeben ist. Etwaige Geheimhaltungsinteressen der Scoring-Anbieter und -Nutzer haben insoweit gegenüber dem Auskunftsinteresse der Verbraucher zurückzustehen, wobei das Geschäftsgeheimnis der Entwicklung und Programmierung eines scores gewahrt bleiben sollte.

Wir begrüßen, dass ein Teil des Rats eine weitergehende Lösung befürwortet.

Die Verständlichkeit der Scores durch Verbraucher sollte nicht nur von Fachleuten behauptet, sondern empirisch überprüft werden.

Zweite Empfehlung Scoring-Wissen und Kompetenzen fördern

Update folgt

Sechste Empfehlung Datenqualität sichern

1. Eine angemessene Datenqualität bei der Score-Entwicklung ist zu gewährleisten und den Aufsichtsbehörden zu dokumentieren.

Begrüßenswert und wünschenswert. Aktuell gibt es ja noch viel „room for improvement.“ Siehe Bericht in golem.

3. In der Anwendung der Verfahren ist die Korrektheit, Vollständigkeit und aktualität der Daten sicherzustellen.

Sowie der Verlauf der Daten (Hinweis auf ACM, GI Gutachten).

4. Zur Überprüfung der Datenbasis durch die Verbraucher selbst hat der SVRV bereits in seinem Gutachten „Digitale Souveränität“ die Option eines Daten-Dashboards skizziert, um ein verbraucherzentriertes Datenmanagement zu ermöglichen.

Es freut uns, dass die Vorschläge von „Digitale Souveränität“, die Stärkung der Verbraucherposition übernommen wurde. Jedoch bedarf es der Möglichkeit für den Verbraucher die Daten zu bekommen. Dies ist im Moment nur eingeschränkt der Fall.

Es sei der Hinweis gestattet, die aktuelle Handlungsverbesserungen sind auch ohne Blockchain möglich.

Aussagen

Gigerenzer Schufa legt Verfahren den Datenschutzbehörden vor, die Aussage „Schufaverfahren bereits für Behörden transparent (Hessen).“
Sprecher NRW: Es fehlt notwendiges Fachwissen. Es wird nur auf Plausibilität geprüft.
Hinweis aus Bayern: Gutachten von Auskunftsdateien selbst. Interessenskonflikt.

Gigerenzer vergleicht den Interessenskonflikt der Auskunftsdateien mit Ratingsagenturen vor der Finanzkrise. Acxiom hat Daten über 44 Mio. Deutsche. Oracle, Deutsche Post auch dabei.

Bzgl. „Super-Scoring“ und China gab es den Hinweis, dass „Bedenken second“ auch schiefgehen könnte, falls das Ergebnis nicht so gewünscht ist (Verweis auf Fehlerquote des Testpilots Überwachungskameras am Südbahnhof Berlin). Die Frage, welche Gesellschaft wir haben wollen, verbrauchergerechtes Scoring wär der Weg dort hin.“</i>

Marit Hansen
„Mehr Gestaltung am System, dass sich besser erklären lässt. Geht in die nächste Runde. Gibt ja auch die Datenschutzethikkommission.“

Wagner
„Für volle Transparenz sind Hr. Gigerenzer und ich.“ Transparenzschnittstelle, sind ja nur logistische Regression. Fordert nochmals volle Transparenz, verweist auf FAZ-Artikel wo er die Transparenz-Schnittstelle für den Verbraucher erklärt. Zitiert Kohl: „Ich will wissen was hinten rauskommt“

Hansen
„Borges Wünsche bereits durch Art. 25 erfüllt“

Hansen
Wichtig mit Tests die alte Welt aufzumachen. In die Zukunft schauen, wie wir es haben wollen. Jetzt muss es mal richtig gemacht werden. Riesenbereich.

Wagner
Vorzug von GI Gutachten: vers. Fairness-Kriterien. Wie schwer es ist verschiedene Fairness-Kriterien einzuhalten. Trade-Offs. Vorzug von Algos, dies erstmal diskutieren zu können. Bei menschlichen Scoring ist dies schwieriger.

Borges
Muss der Auftakt zur Auseinandersetzung sein. Fairness ist kein Rechtsbegriff. Dies kann man nicht am Wochenende erledigen. Aufgabe der Politik, diesen Rahmen zu geben. Dies strukturell zu erforschen. Mit der AI haben wir die Möglichkeit hier tiefer reinzugehen. Was sind legitime, was sind illegitime Vorgänge. Allg. Algo-Gesetz wär ein Unsinn. Zuerst verstehen, was die Probleme sind. Strukturiertes Forschungsprogramm.

Wagner
„Zum Testing brauchen Sie ja nicht das Modell.“

Grabmair
„Die Unternehmer bisschen ins Boot zu holen, fehlen hier.“

Hansen
„Zur Frage haben wir Zeit, … wir sind nicht bei Null, wollen was zusammenbringen … wären wir noch am Anfang Anwendung, Transparenz, Qualität … im Autobereich … wird sich auf die STVO auswirken, sektorspezifisch ist man dran … Lifecylce der Daten, Rechtsschutz … spamfilter … wie funktioniert der … täglich in den Folder reingucken …

Zu 3. Handlungsempfehlung Digitalagentur

Wagner
Bundesinstitut für Algos. Kompetenzzentrum Nicht eine Agentur alleine.


</i>


Moderator „~eher suboptimal, dass die Wirtschaft selbst die Gutachten in Auftrag geben.“ Hansen - Froh das was da ist, Gesetz ist nicht spezifisch genug. Einzige Informatikerin.

Kulturproblem in den Behörden. Rechte und Freiheite … mit DSVGO

Wie soll ein Datenschutzbeauftragte Diskriminierung erkennen? Manche haben null Techniker, leihen sich diese vom Ministerium

Kann mir vorstellen … Prüfteams … Bundesinstitut gut.</i>

Grabmair
Fair lending reinschauen, Empfehlung

Borges
Eine Kompetenzstelle aufbauen.

Seit wann BSI Aufsichtsbehörde ist, 2015, davor 4 Jahrzehnte ohne, aber mit Fachwissen.

  1. Kompetenz
  2. Testen
  3. Bussgeld verhängen, in 5 Jahre oder so

Kompetenz, Normen aufbauen.

Q&A vom Publikum
WP … Datenqualität, Data Value Chain, wie kann die Qualität der Daten gewährleistet werden?


Pauli von VZBV BGH Entscheidung „Warum bin ich unterdurchschnittlich bewertet worden?“

Wagner
Was die SCHUFA liefert, da muss man zwei Studienabschlüsse haben um es zu entschlüsseln. Deswegen Transparenz und Verständlichkeit

Hansen
„Wegen Datenqualität hat sich noch nicht gelohnt. Incentives. Durch Sanktionen. BGH 1995 … heisst nicht, dass die Karten nicht neu gemischt werden müssen. Martini wird zitiert, Entscheidungsstrukturen.
Borges
Will keine Information wie der Score zusammenkommt. (Anmerkung Analogie: Keine Auskunft über die Geschwindigkeitsbegrenzungen haben will, und immer gerne den Strafzettel gerne zahlt, weil eh …)

Zweites Panel:

Start mit Christiane Woopen, Scoring ist die Zuordnung einen Zahlwertes.

Kant, Mensch um Selbstwillen geachtet werden.

Nicht nur um die Googles dieser welt.

37% der Versicherungsfirmen wollen Daten aus elektr. Akte verwenden.

Christiane Woopen: #Scoring kann zur Verschiebung von Definitionshoheiten und Machtstrukturen beitragen. Problem u.a. dass bestimmte Menschen von Vorteilen bei #Bonusprogrammen nicht profitieren und dass Krankenkassen alleine definieren, was gesundheitsrelevant ist. #SVRV

Zitat Barry Schwartz „Die Planeten kümmern sich herzlich wenig darum, was wir denken und welche Theorien wri über sie aufstellen. Dagegen ist die Sorge, dass unsere Theorien über die menschliche Natur auf Dauer die menschliche Natur verändern könnten, durchaus berechtigt.“

Menschen werten keine Daten aus, sondern messen Bedeutung.


Müller, Der vzbv kümmert sich um asymmetrie Situationen. Intransparenz als Mensch, ich vergesse ja Sachen.

Zweig H-Index nicht so prickelnd da „Varianz so hoch wie der Mittelwert“..

Gigerenzer .CN argumentiert auch moralisch, anderer moralischer Begriff.

Klaus Mueller empfiehlt, Diskussion nicht auf chinesischen #Score zu begrenzen. Relevanter ist Beeinflussung des Verrbaucherberhaltens durch Unternehmen und deren Boni. Gesetzgeber darf / muss Gesellschaft beeinflussen dürfen, Konzerne sollten es nicht dürfen.

Zitat von Juli Zeh „Totalitäre Systeme kommen heute im Gewand von Serviceangeboten.“

Klaus Mueller
„Voriges Panel, “Lasst uns erst mal forschen’, treibt mich auf die Palme. Ich habe hier Vorschläge. Bis Sommer nächsten Jahres Vorschläge.

4 Vorschläge:

  1. Überall wo Algo tätig ist muss dies gekennzeichnet sein.
  2. Recht auf Datenqualität, Qualitätssicherung inkludiert
  3. Algo-kontrolle (nicht auf Marktplatz, Bafin, Bundeskraftfahrzzentrale)
  4. Haftungsregel der Plattformökonomie (Haftung nicht auf Akteuere verlagern können)</i>

Gigerenzer Es muss auf eine A4 Seite passen: 3 Möglichkeiten: 1. Einverstanden, 2. Nicht einverstanden, 3. Möchte dies gerne kompliziert regeln Eric Schmidt und China haben Gemeinsamkeiten.

Zweig: Es soziale Situationen gibt, wo man aus der Situation rausgehen muss um eine Entscheidung zu treffen, dort wäre der Einsatz von ADM zu vermeiden.

Q&A Borges 13, 15, 23 regelt Vorschlag #3. Hatten 6 Monate zu forschen. Einfach nur Regeln.

An Müller von „Holm“ BaFin .

Baude „Haben ein Problem, machen ein Gesetz“ Was sind die Verhältnisse von Freiheit? Privatheit, gegen den Staat Kennt der Algo einen selber?

Müller Wenn wissenschaftlicher Forschungsbedarf für Zeitschinden verwendet wird, am besten er soll die Politik nicht stören .. Banken, hatten GFC … Energiekonzerne, hatten RWE Mrds … in Versicherungskonzerne kommen ADMs … dies macht mich nervös. Zertifizierung durch Wirtschaftsprüfer.

Zweig Vertrauen in Entscheidungen Pluralität (geht verloren 70% vs. 71% - Überlappung oder Inklusion?) Ausverhandlungen gehen verloren, wenn wir sie den Maschinen überlassen.

Müller
Eine Sprache (nicht Jus, VWL, …) die für Menschen nachvollziehbar.

Gerd Billen
Fand es anregend. SVRV hat 4 Handlungseben aufgezeigt, daran wird orientiert. Geschäftsgeheimnis ist kein absolutes Gut. Eigentum verpflicht. Aufsicht, Kontrollinstitution.

Bildung, digitale Souveränität. Hoffnung auf Datenethikkommission. Q Moderator: Mehrheitsfähigkeit der Koalition - A: „Nächste Frage“. Wollen in demokratischen Gesellschaften leben. Nicht Eseln mit Möhren vor der Nase. Ist mein Gefühl, das Bewusstsein, dass wir uns für die Grundwerte einsetzen müssen, zunimmt. Sind nicht selbstverständlich. CSR Diskurs, vielleicht könnte man Unternehmenscoring einbringen.

Update 1. November 2018


„Nicht nur in der Wissenschaft, auch in der Öffentlichkeit wird die Transparenz von Scoring-Verfahren diskutiert. Im Februar 2018 starteten die gemeinnützigen Organisationen Open Knowledge Foundation und Algorithm-Watch die Initiative OpenSCHUFA. Zu den erklärten Zielen des Projektes gehört es, den Algorithmus zu „knacken“, mit dem die Schufa ihre Bonitäts-scores ermittelt (OpenSCHUFA, 2018). Sowohl die in die Berechnung des Score-Wertes eingehenden Daten als auch das Verfahren, nach dem aus diesem Datenmaterial ein individueller Score ermittelt wird, will die Initiative herausfinden, indem möglichst viele Personen der Initiative ihren Schufa-Score (den sie dort erfragen) und ihre persönlichen Merkmale mitteilen. Zahlreiche Medien berichteten über das Anliegen der Initiative (exemplarisch Erdmann, 2018; Schneider, 2018), die SCHUFA selbst trat ihr kritisch entgegen (SCHUFA Holding AG, 2018)“

GI Studie

Wir verweisen auf die sieben Prinzipien des ACM (p 123 GI Studie)

Prinzipien für algorithmische Transparenz und Verantwortlichkeit sind folgende:

  1. Awareness: Eigentümer, Designer, Benutzer und andere Beteiligte von Analysesystemen sollten sich der möglichen Vorurteile bewusst sein, die mit ihrer Gestaltung, Implementierung und Verwendung sowie dem möglichen Schaden, den Voreingenommenheit Einzelpersonen und der Gesellschaft verursachen kann, verbunden sind.

  2. Zugang und Rechtsbehelfe: Die Regulierungsbehörden sollten die Einführung von Mechanismen fördern, die Befragungen und Rechtsbehelfe für Einzelpersonen und Gruppen ermöglichen, die von algorithmisch fundierten Entscheidungen betroffen sind.

  3. Rechenschaftspflicht: Institutionen sollten für Entscheidungen verantwortlich gemacht werden, die durch die von ihnen verwendeten Algorithmen getroffen werden, auch wenn es nicht möglich ist, im Detail zu erklären, wie die Algorithmen ihre Ergebnisse produzieren.

  4. Erläuterung: Systeme und Institutionen, die algorithmische Entscheidungen treffen, werden ermutigt, Erläuterungen sowohl zu den vom Algorithmus verfolgten Verfahren als auch zu den spezifischen getroffenen Entscheidungen zu geben. Dies ist besonders wichtig in öffentlichen politischen Kontexten.

  5. Datenprovenienz: Eine Beschreibung der Art und Weise, in der die Trainingsdaten gesammelt wurden, sollte von den Erstellern der Algorithmen beibehalten werden, begleitet von einer Untersuchung der möglichen Verzerrungen, die durch den menschlichen oder algorithmischen Datenerfassungsprozess induziert werden. Die öffentliche Überprüfung der Daten bietet maximale Möglichkeiten für Korrekturen. Bedenken hinsichtlich des Datenschutzes, des Schutzes von Geschäftsgeheimnissen oder der Offenlegung von Analysen, die böswilligen Akteuren erlauben könnten, das System zu manipulieren, können jedoch den Zugang auf qualifizierte und autorisierte Personen einschränken.

  6. Überprüfbarkeit: Modelle, Algorithmen, Daten und Entscheidungen sollten aufgezeichnet werden, damit sie in Fällen, in denen ein Schaden vermutet wird, überprüft werden können.

  7. Validierung und Testen: Institutionen sollten strenge Methoden anwenden, um ihre Modelle zu validieren und diese Methoden und Ergebnisse zu dokumentieren. Insbesondere sollten sie routinemäßig Tests durchführen, um zu beurteilen und festzustellen, ob das Modell diskriminierende Schäden verursacht. Die Institutionen werden ermutigt, die Ergebnisse solcher Tests öffentlich zu machen.</i>

Wie geht es weiter bei OpenSCHUFA?

Am 21. November werden wir in einer Podiumsdiskussion bei Wikimedia das weitere Vorgehen diskutieren. Infos folgen!

9.11 Überwachung: Umfassendes Social Scoring wie in China ist auch bei uns möglich wired.de
Bericht vom Tagesspiegel
Ein Sachverständigenrat sieht in einem Gutachten Gesetzgeber und Aufsichtsbehörden in der Pflicht heise.de
Der erwähnte ProPublica Klassiker
Datenwahrsagerei mit echten Folgen netzpolitik
Mehr Transparenz für Verbraucher-Scores netzpolitik
Transparenzschnittstelle FAZ
Mitglieder der Datenethikkommission der Bundesregierung
A Right to Reasonable Inferences: Re-Thinking Data Protection Law in the Age of Big Data and AI - paper

#CfP (Deadline: 30.11.18) für den den Workshop „Digitaler #Konsum: Herausforderung und Chancen der #Verbraucherinformatik“ im Rahmen der @WI_2019 am 24.2.19 verbraucherinformatik.de @vznrw