Recruitment algorithm says no

Op zoek naar een baan? Een sollicitatiebrief is overbodig. U hoeft alleen maar toegang te geven tot uw mailbox en Facebook- en Twitter-accounts en de rest gaat vanzelf. Het algoritme van de Finse startup DigitalMinds stelt op basis daarvan een persoonlijkheidsprofiel op waardoor de werkgever weet hoe u in elkaar zit. Lekker makkelijk voor beide partijen en betrouwbaarder dan ouderwetse assessments. Van privacy schending is volgens het bedrijf geen sprake: alles gebeurt op basis van toestemming van de sollicitant en vertrouwelijk informatie wordt niet gedeeld. Het Finse bedrijf gaat daarmee veel te kort door de bocht.*

“Solliciteren met brief en gesprek? Ouderwets zeg. Bedrijven als DigitalMinds vragen nu toegang tot de mailbox en maken obv een persoonlijk profiel. Advocaat Berber Brouwer vindt dat zulke bedrijven kort door de juridische bocht gaan en maakt zich grote zorgen. Lees meer over de juridische pijnpunten en bezoek 11 april de kennissessie van Berber tijdens Winnen met AI.”
Tweet this!

Aan gebruik van dit soort technologie kleven grote bezwaren, niet alleen omdat de onderliggende logica van algoritmes vaak onduidelijk is, maar ook vanwege de grote privacy impact en het gevaar dat mensen ten onrechte in een hokje worden geplaatst. Wetgeving is nodig om verkeerde toepassing te voorkomen, juist omdat de mogelijkheden om gedrag te beoordelen, te voorspellen en te beïnvloeden met big data en artificiële intelligentie (AI) oneindig groot zijn.

Inzet van AI op de werkvloer wordt steeds gewoner

Het gebruik van AI voor werving en selectie wordt steeds gewoner. Algoritmes voorspellen of kandidaten geschikt zijn of passen binnen de bedrijfscultuur op basis van gezichtsexpressie, stemgebruik, social media-profielen of andere gegevens zoals cv of personeelshistorie.

“Voordat we het weten worden we door algoritmes gereduceerd tot ‘human assets’ waaraan weinig menselijks meer te ontdekken valt.”

Het lijkt mooi, maar de inzet van die systemen wordt uiteindelijk gedreven door commerciële belangen. Juist daarom moeten we kritisch zijn op verkeerde toepassing. Voordat we het weten worden we door algoritmes gereduceerd tot ‘human assets’ waaraan weinig menselijks meer te ontdekken valt. Een bedrijf is immers gebaat bij harde werkers die nooit klagen en passen binnen de – logischerwijs steeds eenvormiger wordende – ‘bedrijfscultuur’; of bij managers die bij harde beslissingen geen last hebben van een knagend geweten en mensen met een statistisch geringe kans op ziekte of uitval. Een algoritme zou bijvoorbeeld kunnen voorspellen of iemand dreigt een burn-out of depressie te krijgen.

Strijd met privacyrecht?

Het lijkt evident dat het recruitment-algoritme van DigitalMinds botst met privacywetgeving, maar bestaande regels laten ruimte voor discussie. Hieronder bepleit ik een standpunt waarover op basis van de bestaande, open normen, ook anders over gedacht kan worden. Juist daarom zijn aanvullende regels nodig.

Het geautomatiseerd doorspitten van privé-informatie mag niet zonder toestemming van de sollicitant. Omdat in een mailbox of sociale media-account vaak ook gevoelige gegevens staan, zoals over gezondheid, religie of seksuele voorkeur, is zelfs ‘uitdrukkelijke toestemming’ vereist. DigitalMinds stelt dat door sollicitanten tot dusver nooit bezwaar is gemaakt, maar dat bewijst juist dat weigeren voor sollicitanten niet echt een optie is. Wanneer een kandidaat zich gedwongen voelt mee te werken, is van een geldige, in vrijheid gegeven toestemming geen sprake.

“Wanneer een kandidaat zich gedwongen voelt mee te werken, is van een geldige, in vrijheid gegeven toestemming geen sprake.”

Over het ‘black box’ probleem van AI is al veel geschreven: een zelflerend algoritme beslist op basis van eigen logica die voor mensen vaak niet meer te doorgronden is. Het algoritme krijgt daarmee de status van een soort orakel.

Dit staat op gespannen voet met het transparantiebeginsel in de Europese privacywet (de AVG) en de plicht om informatie te verstrekken over de onderliggende logica van automatische besluitvorming, waaronder profilering. Die informatieplicht bestaat echter alleen bij automatische besluitvorming zonder menselijke interventie, maar niet wanneer het algoritme alleen aanbeveelt of analyseert, zoals bij DigitalMinds.

Ook het gelijkheidsbeginsel is in het geding wanneer zelflerende AI wordt gebruikt voor besluitvorming over mensen. Algoritmes ontwikkelen op basis van trainingsdata vooroordelen die ongunstig kunnen uitpakken voor het individu. Wanneer mensen met bepaalde karaktertrekken bijvoorbeeld statistisch gezien een hoog risico hebben op uitval, hoeft dat niet te gelden voor een individuele sollicitant. Maar durft de werkgever deze sollicitant dan nog een kans te geven? Amazon besloot in 2018 te stoppen met het gebruik van een recruitment-algoritme toen bleek dat het programma een hardnekkige voorkeur had voor mannelijke kandidaten. Bijkomende vraag is wie kan worden aangesproken wanneer het algoritme dit vooroordeel zelf heeft ontwikkeld.

In meer algemene zin botst het ongericht verzamelen van persoonsgegevens met het wettelijke uitgangspunt dat niet meer persoonsgegevens verzameld mogen worden dan noodzakelijk is voor het beoogde doel. Verwerking moet tot een minimum beperkt blijven, waarbij ook meespeelt of er een minder ingrijpend middel voorhanden is om hetzelfde doel te bereiken.

“We hebben concrete wetsvoorstellen nodig, voordat er van onze eigen autonomie niet veel meer overblijft.”

Ook als toegang tot de onlineaccounts van sollicitanten plaatsvindt zonder persoonlijke informatie op te slaan en uitsluitend voor het geautomatiseerd opstellen van een persoonlijkheidsprofiel, is de privacy impact enorm. DigitalMinds kan misbruik van het systeem nooit 100 procent uitsluiten. Bovendien wordt iedere controle over het sollicitatieproces aan de sollicitant ontnomen.

Aanvullende wetgeving is nodig

Dat met AI veel goede dingen gedaan kunnen worden is duidelijk, maar het omgekeerde geldt ook. Uiteindelijk is de vraag hoe we grip kunnen houden op ontwikkelingen die onvermijdelijk een grote invloed gaan hebben op ons dagelijks leven. Van belang is dat proactief wetgeving wordt ontwikkeld voor AI inclusief toezicht op de naleving daarvan.

AI-systemen die worden gebruikt voor beslissingen over mensen moeten begrijpelijk en transparant zijn. Daarnaast moeten regels ontwikkeld worden voor ethische en betrouwbare AI, waarin duidelijk staat wie verantwoordelijk is en met de verplichting menselijke controle in te bouwen bij autonome AI. Op initiatief van de Europese Commissie zijn conceptrichtlijnen voor ethische AI gepubliceerd. Hopelijk leiden deze tot concrete voorstellen, voordat er van onze eigen autonomie niet veel meer overblijft.

* De dienst van DigitalMinds wordt besproken in een recent rapport over automatische besluitvorming van de Europese onderzoeksgroep Algorithm Watch.


Berber BrouwerBerber Brouwer is als advocaat gespecialiseerd in juridische vraagstukken op het gebied van privacy, auteursrecht en informatietechnologie. Zij heeft een grote interesse in de manier waarop nieuwe technologie ingrijpt in grondrechten zoals privacy en informatievrijheid en de juridische en morele dilemma’s die daarbij ontstaan. Zij publiceert regelmatig over onderwerpen op dit terrein. Berber Brouwer heeft meer dan 15 jaar ervaring in de advocatuur. Voor de oprichting van Brouwer & Law in 2018 gaf zij leiding aan de afdeling IP/IT van het kantoor Bergh Stoop & Sanders Advocaten in Amsterdam.

Kennissessie tijdens de AI-conferentie Winnen met AI

De juridische gevolgen van AI zijn complex en veelomvattend. Wat zegt de wet er op dit moment over? Waar moet je rekening mee houden als je als professional zelf aan de slag wilt met AI? Van privacy, aansprakelijkheid tot eigendom: in de kennissessie van Berber Brouwer op 11 april 2019 vertelde ze over krijg je de juiste juridische handvatten.

Ben jij klaar voor de wereld waarin kunstmatige intelligentie een “must-have” is?

Tijdens een intensieve 2-daagse masterclass leer je van de toptrainers van Growth Tribe – Europe’s First Growth Hacking Academy – de fundamenten van kunstmatige intelligentie: van terminologie, processen tot toepassingen. Je wordt een volwaardig gesprekspartner van data scientists en machine learning experts en genereert concrete ideeën en processen voor AI-experimenten om bedrijfsresultaten te optimaliseren.

Meld je aan voor de masterclass 'AI voor managers'!

Blijf op de hoogte!

Blijf op de hoogte!

Wil je op de hoogte blijven van toekomstige NRC Live events? Schrijf je dan in voor onze nieuwsbrief!

Suggesties voor een spreker?

Suggesties voor een spreker?

Ken jij iemand die goed zou kunnen spreken op een van onze events? Stel dan een spreker aan ons voor!