Definities rondom discriminatie

[jaspervanderheide]

Voor de werkgroep non-discriminatie/bias/fairness is het relevant om te bepalen welke begrippen we moeten definiëren en wat die definities vervolgens zijn. Dus niet alleen wat betekent een begrip, maar ook: welke begrippen zijn relevant. Voor de definitie van een begrip is het het fijnst als we aansluiten bij bestaande definities, bijvoorbeeld uit wetgeving of andere kaders.

De volgende begrippen moeten volgens ons in ieder geval gedefinieerd worden:

• Discriminatie
• Bias
• Onderscheid
• Direct onderscheid
• Indirect onderscheid
• Fairness

(Op basis van deze discussie kunnen we de naam van de werkgroep nog aanpassen, om de scope helder te maken)

[jaspervanderheide]

Voor indirect onderscheid, direct onderscheid en onderscheid zelf kunnen we uitgaan van de Awgb:

• onderscheid: direct en indirect onderscheid, alsmede de opdracht daartoe;
• direct onderscheid: indien een persoon op een andere wijze wordt behandeld dan een ander in een vergelijkbare situatie wordt, is of zou worden behandeld, op grond van godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht, nationaliteit, hetero- of homoseksuele gerichtheid of burgerlijke staat;
• indirect onderscheid: indien een ogenschijnlijk neutrale bepaling, maatstaf of handelwijze personen met een bepaalde godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht, nationaliteit, hetero- of homoseksuele gerichtheid of burgerlijke staat in vergelijking met andere personen bijzonder treft.

Het nadeel is dat het zich dan alleen beperkt tot de verboden categorieën, en niet gaat over categorieën die wellicht in de overwegingen toch als onwenselijk gezien kunnen worden. Bijvoorbeeld onderscheid op basis van inkomen.

Voor discriminatie maakt CvRM in hun toetsingskader onderscheid tussen indirecte en directe discriminatie:

• Indirecte discriminatie: Wanneer een ogenschijnlijk neutrale bepaling, maatstaf of handelwijze personen met een bepaald beschermd persoonskenmerk (discriminatiegrond) in vergelijking met andere personen in het bijzonder benadeelt, tenzij hiervoor een objectieve rechtvaardiging bestaat.
• Directe discriminatie: De ongelijke behandeling van een persoon of groep personen ten opzichte van andere personen in een vergelijkbare situatie, op grond van een beschermd persoonskenmerk (discriminatiegrond)

Ik vraag me alleen af of het niet praktischer is om dat op het niveau van discriminatie niet los te trekken. En bijvoorbeeld op basis van een andere CvRM-pagina het te definiëren als "Het maken van verboden onderscheid".

Bias omschrijft de Algemene Rekenkamer in hun toetsingskader als "onwenselijke systematische afwijking".

[ruthkoole]

In het rapport van European Union Agency for Fundamental Rights - bias in algorithms worden verschillende definities van bias gegeven:

The term ‘bias’ can have a different meaning depending on the context in which it is
used and the particular discipline it comes from, for example law or computer science.
It is therefore important to clarify its meaning in the context of this report. Bias can
refer to any of the following.
― Differential treatment based on protected characteristics, such as discrimination
and bias-motivated crimes. This refers to an inclination for or against a person
or group based on protected characteristics, such as ethnic origin, gender,
religion, colour or sexual orientation. Discrimination defines a situation in which
an individual is disadvantaged in some way on the basis of ‘one or multiple
protected grounds’. Crimes committed with a bias motivation are a particularly
severe example of a result of biases against people based on their (assumed)
characteristics.* Such definitions are often used in legal contexts and the social
sciences.
― Differentiation. Bias understood in this sense is necessary for the proper
functioning of a statistical or machine learning algorithm. For example, a machine
learning model that has to differentiate between oranges and pears has to have
bias towards labelling round, orange objects as oranges. Such use of bias is mainly
found in computer science and machine learning.
― Statistical bias. This refers to the systematic difference between an estimated
parameter and its true value. Statistical bias exists when data are not adequately
measuring what they are intended to measure. For example, gross domestic
product per capita is not necessarily a good measure of the standard of living in
a country, as it does not account for inequality of income distribution. In addition,
data and the resulting statistical estimates may not be representative of the target
population. For example, if a sample of the general population contains more men
than women, it is said to be biased towards men. Bias is mainly understood in this
way in statistics.
― Offset from origin. In the context of deep learning, bias is also the name for an
estimated parameter. The fixed number indicating the average baseline estimate
in the linear weight functions of neural networks is called bias; it is often referred
to as a ‘constant term’ or ‘intercept’ in classical regression analysis. It is a purely
technical term, and as such it is not relevant to the present discussions, although it
is used in neural networks.
Bias is analysed in the context of discrimination (as a legal and normative concept) in
this report. Discrimination is mainly linked to prejudices picked up or enshrined in data,
but may also be the result of statistical bias.

[ruthkoole]

Hetzelfde rapport definieert ook verschillende vormen van discriminatie:

Discrimination can take different
forms:
― direct discrimination takes
place when a person receives
less favourable treatment
than another in a comparable
situation, based on a protected
ground;
― indirect discrimination takes
place when an apparently
neutral provision, criterion or
practice puts people with a
particular protected characteristic
at a disadvantage compared with
others;
― when several grounds of
discrimination are involved,
multiple discrimination (where
the grounds operate separately)
or intersectional discrimination
(where the grounds interact and
are inseparable) can occur;
― discrimination by association is
where a person is treated less
favourably based on another
person’s protected characteristic,
but is not themselves the person
with the protected characteristic.

[informusica]

Een van de beste rapporten die ik op dit gebied ken is de NIST-notitie Towards a Standard for Identifying and Managing Bias in Artificial Intelligence, die veel nuance geeft aan de socio-technische embedding van het bias-vraagstuk.

Zie Figuur 2 in dat rapport

en ook individuele definities van elk van die concepten binnen het rapport.