Allgemeiner Thread zu Diskriminierung - (Teil 2)

aktuelles interview mit Daphne Nechyba über die verwendung unterschiedlicher begriffe:

Mir fällt außerdem auf, dass Schlagwörter wie Cancel-Culture oder politische Korrektheit oder der Vorwurf, jemand betreibe Identitätspolitik, oft zur Übertönung der Menschen dienen, die über strukturelle Probleme reden möchten. Gefragt wird dann oft „Warum darf ich dies und jenes nicht mehr tun oder sagen?“ anstatt „Warum sind gewisse Menschen unterrepräsentiert?“.

7 „Gefällt mir“

mMn interessanter blickwinkel wie nicht-neutrale daten zu nicht-neutralen algorithmen und somit zu nicht-neutralen technischen lösungen werden:

3 „Gefällt mir“

Ich finde den Artikel fachlich ganz gut. Allerdings wird in fast jedem Studiengang, der sich mit der Thematik beschäftigt ziemlich genau darauf geachtet, dass die Studenten keinen Bais produzieren bzw. ihn so gering wie möglich zu halten.

Ich sag ja auch schon die ganze Zeit, dass KI einfach nur Stochastik auf Steroiden ist. Ich glaube, das Google und Facebook, wahrscheinlich auch Alibaba die einzigen Unternehmen sind, die genug Daten haben, um mal zu überlegen ob sie eine richtige KI hinbekommen. Ich bezweifle, dass wir dies noch miterleben dürfen. Da müsste schon etwas einsteinartiges über die Erde wandeln.

das finde ich interessant
wie geht das rein praktisch, wenn die ursprungs-daten bereits biased sind, wie im artikel beschrieben? wie kann ich mir das vorstellen?
wie werden die daten dann kuratiert, wenn es wie es im artikel heisst:

Datenpolitik

Hier wird es für viele heikel: Wenn KI aus Daten der Vergangenheit Handlungs­anweisungen für die Zukunft schliesst, dann muss man, will man biases beseitigen, sie mit einem Idealbild der Wirklichkeit füttern. Kuratierung von Daten heisst dann zu formulieren, in welcher Welt wir leben möchten. Und das ist, so weit haben kritische Stimmen wie Domingos recht, eine immens politische Frage.

Unrecht haben sie, wenn sie meinen, es gebe auch neutrale Kuratierung, oder wenn sie gar sagen, dass nichts zu tun unpolitisch wäre. Denn dass KI-Modelle nicht neutral sind, ist kaum zu bestreiten: Der private Thinktank Open AI, der auch GPT-3 entwickelt hat, zeigte in einer Analyse, dass sein jüngstes Modell ein eigenes Neuron ausgebildet hatte, das gleichermassen auf «Islam» und auf «Terrorismus» anspringt.

jetzt mal platt formuliert: sitzen die studenten dann vor den daten und gleichen sie mit einer idealen wirklichkeit ab, die sie sich vorher ausgedacht haben und ändern ihre ursprungsdaten dann nach gutdünken?
wo und wie wird diese politisch ideologische kuration dokumentiert? wie stellt man sicher, dass die kuration die ergebnisse nicht in einem ausmaß verfälschen, dass sie unbrauchbar werden usw. usf. ?

denn es geht ja im artikel nicht ursächlich um die frage, ob studenten (oder andere datenerheber) ihre eigene weltanschauung - evtl unabsichtlich - in die datensätze einbringen, sondern darum, dass die urspungsdatensätze bereits weltanschaulich biased sind.
die bereinigung dieses bias in den datensätzen aber bedingt wiederum das einbringen der eigenen - oder einer anderen idealtypischen - weltanschauung, und das ist ja das paradoxon und die, wie es im artikel heisst, hochpolitische fragestellung.

1 „Gefällt mir“

Ganz platt formuliert: Wenn ich einen Algorithmus bauen will, der die Kreditwürdigkeit einschätzen soll, muss ich die Input-Daten vorher bereinigen. Bei einigen Punkten ist es einfach: Hautfarbe fliegt raus, Name fliegt raus, Wohnort fliegt raus.

Aber klar gibt es auch Themen, die schwerer zu bewerten sind, ob sie rausfliegen oder nicht. Sehr schwer wird es dann auch bei Algorithmen deren Ziel nicht ganz so eindeutig beschreibbar und überprüfbar ist, wie die Kreditwürdigkeit.

Und ein weiterer Punkt: unbiased Algorithmen zu erstellen ist meist viel aufwändiger und schaffen evtl nicht die gleiche Genauigkeit, wie biased Algorithmen. In einer kapitalistischen Welt auch ein Problem.

okay, das ist klar.
aber dann ist die frage, sind das dann schon alle punkte, die die diskriminierung im algorithmus determinieren? wie finde ich nicht offensichtliche punkte? wie stelle ich sicher, dass der algorithmus noch immer hinreichend das tut, was er soll, oder nicht wieder biased ergebnisse produziert?
und wer entscheidet darüber, welche punkte rausfliegen und welche drinbleiben? ist das ein demokratischer prozess oder spielen da bspw. wirtschaftliche interessen eine rolle etc pp.?

das ganze ist bei näherer betrachtung weitaus komplexer und komplizierter als man so denkt, insbesondere wenn man die stellschrauben auch noch demokratisch aushandeln möchte und nicht einfach totalitär festlegen.

2 „Gefällt mir“

Stimme dir voll zu. Ich denke, da ist die Technologie (wie so oft in der Geschichte) seinen Kontrollmechanismen voraus. Immer noch wie der wilde Westen.

2 „Gefällt mir“

derstandard mal wieder:

Nechyba plädiert auch für das Großschreiben des Adjektivs schwarz im Sinne einer politischen Selbstbezeichnung in Texten wie diesem. Da sich diese Schreibweise noch nicht allgemein durchgesetzt hat, können wir dem Wunsch hier nicht entsprechen.

:cluelesseddy:

2 „Gefällt mir“

Das kommt ganz drauf an fuer was der Algorithmus sein soll. Bei sowas wie Kreditvergabe oder so waere die bereinigung klar das heraus streichen von Identitaetsmerkmalen und dann waer er theoretisch bereinigt. Natuerlich kommt dann das problem dass das was uebrig bleibt schon den vorherigen Bias drin hat. Sprich du bekommst jetzt halt kein Kredit wegen deines vorheriges rating anstatt weil du in Nachbarschaft xyz wohnst. Gerade diese Bewertungs KI sachen haben da ein daten satz problem.
Explainable AI ist da der Forschungszweig der versucht das zumindest irgendwie nachvollziehbar zu machen aber gerade bei Finanzen, Versicherungen und Polizei ist es halt ganz schwierig weil
a. Niemand bereit ist seine vorherigen Algorithmen offen zu legen. Schufa z.bsp. sagt immer noch nicht wie ihr rating wirklich zusammen kommt.
b. Da a. kann man die alten datensaetze nur schwer bereinigen und neue einfach so aufzustellen ist fast unmoeglich.

Der Vollstaendigkeit halber… Die ganzen Finanz und Versicherungsgeschichten sind natuerlich nur n Teil der KI und ganz vieles hat einfach kein richtiges Bias problem. z.bsp. KI fuer bildanalyse von MRT oder Roentgen bildern zu krebserkennung hat keine Bias faehigen infos im datensatz oder verkehrsoptimierung etc.

1 „Gefällt mir“

Wobei Bias ja auch ganz absurde Ausmaße annehmen kann. Da wird dann eine Fischart daran erkannt, dass menschliche Finger auf dem Bild sind, weil der Fisch bei Anglern beliebt ist und es Tausende Fotos davon gibt. Aber sowas hat dann ja weniger mit Bias in der Richtung Diskriminierung zu tun.

exakt. darum geht es ja, dass wenn der ursprungsdatensatz bereits biased ist, die sog. KI auch entsprechend biased ergebnisse liefert.
und dann sind wir wieder bei den o.a. fragen: wer bereinigt die ursprungsdatensätze wie, warum, was und was nicht und mit welcher legitimation?

und das ist ja auch klar. wenn die ursprungsdatensätze nicht biased sind, dann wird die KI auch keine biased ergebnisse aufgrund von biased ursprungsdatensätze liefern. :woman_shrugging:

Das ist durchaus schwierig. Amazon hatte vor 3 Jahren ihr Bewerber-KI abgeschaltet, weil sie Männer bevorzugte. Dabei wusste die KI zwar nicht das Geschlecht der Bewerbenden, wurde aber mit vorhandenen Bewerbungen trainiert. Da diese überwiegend männlich waren, hat die KI dafür einen Bias entwickelt:

Im Artikel wird z.B. genannt, dass die KI Bewerbungen schlechter eingestuft hat, weil eine Person z.B. im „Womans Chess Club“ war. Auch wurden Schulen abgewertet, wenn sie rein weiblich waren.

Das sind aber noch relativ offensichtliche Fehler, die auch abgestellt werden können. Problematisch wird es, wenn die KI Strukturen erkennt, die für den menschlichen Betrachter nicht so eindeutig auf das Geschlecht hinweisen, wie z.B. eine Kombination bestimmter Eigenschaften die hauptsächlich bei Männern auftauchen. Das lässt sich dann eigentlich nur noch durch regelmäßige Reviews entdecken.

Ja klar, wenn man die Daten aufbereitet, dann kann schon ein gewisser Bais reinkommen. Vielleicht sucht man sich einen Datensatz, der sehr gut zum Algorithmus passt. Oder man denkt sich die Daten könnten vielversprechend sein. Deswegen sollte man auch immer auf unterschiedlichen Datensätzen testen.

Was die Rohdaten betrifft kann es halt sein, dass die Daten nicht Balanced sind. Wenn man sich die Urschen von Kriminalität in den Städten von ansieht und sich nur Städte aussucht, die einen hohen Anteil an afroamerikanischen Kriminalität haben, dann wäre da schon von beginn ein Bais in den Daten. Ist jetzt ein extrem Beispiel, aber ich denke du siehst den Punkt den ich machen will.

Edit: Zu deinem Beispiel, es kann halt sein, dass einfach sehr viel islamischer Terror in dem Datensatz ist und das der Algorithmus dadurch eine Verbindung zwischen dem Islam und Terrorismus sieht.

Gefällt mir gut, der Text. Passt tatsächlich sehr gut zu dem was mir durch den Kopf ging. Etwas Elfenbeinturm-ig geschrieben, aber der Mann ist eben Linguist, man kennt das. :beanjoy:

Darauf wollte ich nämlich auch hinaus:

1) Bestimmte Begriffe wurden im Laufe der Zeit mit zusätzlichen Bedeutungen aufgeladen (und überladen), die zwangsläufig für Verwirrung sorgen und einen geordneten Austausch behindern.
2) Diese Überladenheit der Begriffe verhindert damit auch effektive Problemlösungen, da die eigentlichen Probleme gar nicht präzise benannt werden können, weil keine eindeutigen Begriffe dafür verwendet werden.

Und ergänzt habt ihr dann ja den dritten Punkt, den er auch anspricht:
3) Eine genaue Klärung und Entwirrung der Begriffe erfolgt jedoch nicht, da dies unter Berufung auf genau die Ungenauigkeit die ihnen nun innewohnt abgewiesen wird.

Die meiner Meinung nach zentralen Absätze

However, this usage of the term social justice is typically based on a very particular set of commitments especially influential in this moment: that all white people must view society as founded upon racist discrimination, such that all white people are complicit in white supremacy, requiring the forcing through of equity in suspension of usual standards of qualification or sometimes even logic (math is racist). A view of justice this peculiar, specific, and even revolutionary is an implausible substitute for millennia of discussion about the nature of the good, much less its apotheosis.

Hervorhebung durch mich, kursiv wie in der Quelle:

[…] What to do?
I suggest—albeit with little hope—that the terms social justice and equity be used, or at least heard, as the proposals that they are. Otherwise, Americans are in for decades of non-conversations based on greatly different visions of what justice and equ(al)ity are.

Hervorhebung durch mich, kursiv wie in der Quelle:

I would replace it with societal disparities, with a slot open afterward for according to race, or according to immigration status, or what have you. Inevitably, the sole term societal disparities would conventionalize as referring to race-related disparities. However, even this would avoid the endless distractions caused by using the same term —racism—for both prejudice and faceless, albeit pernicious, inequities.

Der Lösungsvorschlag ist als ein neuer, anderer Begriff mit spezifischem Zusatz, damit Informationen die sonst verknäuelt wären entbündelt und sichtbar gemacht würden - so dass man einfacher erkennen könnte worüber gesprochen wird, da der Inhalt der Begriffe enger, klarer eingefasst wäre.

Und unterm Strich kommt er dann auch hier an (Hervorhebung durch mich):

Legions will still either struggle to process racism both harbored by persons and instantiated by a society, or just quietly accept the conflation to avoid making waves.

What all of this will mean is a debate about race in which our problem-solving is hindered by the fact that we too often lack a common language for discussing the topic.

1 „Gefällt mir“

Quelle: Internationaler Roma-Tag – Angebote und Aktionen - Berlin.de

Internationaler Roma-Tag – Angebote und Aktionen


08.04.2021

Am 8. April ist der Internationale Roma-Tag. Seit 1990 wird er international begangen. Er erinnert an den ersten Internationalen Roma-Kongress vor genau 50 Jahren, der 1971 in London stattgefunden hat. Auf dem Kongress diskutierten 23 Vertreter:innen aus neun Staaten kulturelle und soziale Fragen mit Bezug auf die Roma. Dabei wurden auf dem Kongress mit der Flagge der Roma und der Hymne der Roma zwei wichtige Symbole der weltweiten Roma-Bürgerrechtsbewegung angenommen. Zur Erinnerung an dieses Ereignis beschloss der Vierte Welt-Roma-Kongress 1990 in Serock (Polen) formell die Einführung eines internationalen Aktionstages der Roma.
Der Tag soll genutzt werden, um die Kultur der Roma zu würdigen und zu feiern, aber auch, um auf ihre Situation aufmerksam zu machen und den Abbau von Benachteiligung zu fordern.

In der etwa 700-jährigen Geschichte der Roma in Europa war die Minderheit spätestens seit Beginn des 16. Jahrhunderts zahlreichen Formen von Diskriminierung und Verfolgung ausgesetzt. Zur Zeit des Nationalsozialismus wurde eine unbekannte Zahl, jedoch mindestens 500.000, Roma Opfer des Völkermords Porajmos. Auch heute sind Roma Diffamierung, Diskriminierung und sozialer, ökonomischer und politischer Marginalisierung ausgesetzt und in vielen Staaten eine von der Mehrheitsbevölkerung nicht erwünschte Minderheit.

Angebote und Aktionen

  • Den ganzen Tag über (8. April 2021, 10.00 – 19.30 Uhr) gibt es einen Livestream aus dem Maxim Gorki Theater in Berlin zum 50. Jahrestag des Welt-Roma-Kongresses. Das komplette Programm gibt es hier.
  • Die Romaday-Parade in Berlin, die ein öffentliches Zeichen zum Schutz des Denkmals für die ermordeten Sinti und Roma Europas setzen möchte. Mehr Informationen sind auf der Website des Veranstalters RomaTrial zu fnden.
  • Die Berliner Landeszentrale für politische Bildung hat im Jahr 2018 die Broschüre “Sinti und Roma in Berlin – 28 Fragen und Antworten erstellt. Sie steht hier zum Download bereit.
4 „Gefällt mir“
3 „Gefällt mir“

Klingt interessant, aber ich bekomme ein 404 wenn ich auf den Link klicke.

Hmm bei mir Funktioniert der Link.
Der Beitrag stammt aus der aktuellen Ausgabe des Monitor Magazin.

Einfach in der ARD Mediathek nach Monitor suchen, dort können auch einzelne Beiträge angewählt werden.

jetzt geht der Link auch wieder. Komisch. Vielleicht hatte die Mediathek ein Problem. Guter Beitrag!