Responsablite pou patipri algoritmik: ki moun ki responsab anba lalwa Olandè ak Inyon Ewopeyen an?

Yon òganizasyon ki itilize yon sistèm otomatik responsab pou rezilta diskriminatwa li pwodui yo, kit li te bati modèl la kit li pa t bati l epi kit yon moun te gen entansyon pou rezilta a kit li pa t la. Nan Peyi Ba yo, responsablite sa a repoze sou lalwa sou domaj (Atik 6:162 nan Kòd Sivil Olandè a, BW), lejislasyon sou egalite tretman ak GDPR la; règ ki gen gwo risk nan Lwa sou Entèlijans Atifisyèl Inyon Ewopeyen an pou sistèm rekritman, kredi ak asirans yo aplike sèlman apati 2 desanm 2027.

Nan lalwa sou diskriminasyon Olandè a, se efè yon desizyon ki konte, pa motif la. Yon filtè rekritman, yon modèl kredi oswa yon nòt fwod ki dezavantaje yon gwoup pwoteje ka mennen nan yon plent sivil, yon plent bay Enstiti Dwa Moun Olandè a ak yon ankèt pa Otorite Pwoteksyon Done Olandè a, tout sou menm reyalite yo.

Ki sa ki yon patipri algoritmik e ki kote li soti?

Patipri algoritmik rive lè yon sistèm trete moun konparab yon fason diferan sou yon baz pwoteje, oubyen sou yon kritè ki aji kòm yon ranplasman pou youn. Paske yon modèl aplike menm modèl la nan chak dosye, yon modèl patipri fonksyone tankou yon règleman olye de yon ensidan.

• Done antrènman: yon modèl ki antrene sou desizyon sot pase yo repwodui modèl ki ladan yo.
• Varyab: yon karakteristik ki sanble net tankou kòd postal la ka ranplase etnisite epi lakòz diskriminasyon endirèk.
• Itilizasyon rezilta a: yon nòt ki akseptab kòm konsèy kapab ilegal kòm sèl baz pou rejte yon aplikasyon.
• Mank siveyans: yon modèl ki te balanse nan lansman an ap derive pandan done yo ap chanje.

Diskriminasyon dirèk itilize yon baz pwoteje ouvètman. Diskriminasyon endirèk, kote yon kritè net dezavantaje yon gwoup pwoteje, ka jistifye sèlman si objektif la lejitim epi mwayen yo apwopriye e nesesè, epi òganizasyon an dwe kapab pwouve sa.

Kilè yon òganizasyon responsab anba lalwa Olandè a?

De kò lalwa Olandè yo fè pi fò nan travay la. Lalwa sou domaj domaj mande si òganizasyon an te aji avèk neglijans epi li te lakòz pèt; lalwa sou tretman egal mande si rezilta a te yon distenksyon entèdi.

Dega: deplwaman neglijan

Anba Atik 6:162 BW, yon pati responsab pou yon aksyon ilegal (onrechtmatige daad) ki atribiyab a li ki lakòz domaj. Itilizasyon yon sistèm ki pa te teste, valide oswa kontwole kapab an li menm yon konduit neglijan. Moun ki pote plent lan dwe pwouve aksyon ilegal la, atribisyon an, domaj la ak lyen kozatif la.

Achte sistèm nan nan men yon founisè pa retire obligasyon sa a nan òganizasyon ki deplwaye li a. Li ka gen yon reklamasyon apa kont founisè a pou move pèfòmans (Atik 6:74 BW), men sa pa afekte reklamasyon aplikan yo te rejte a.

Lwa sou tretman egal ak chay prèv la

Lwa Jeneral sou Egalite Tretman an (Algemene wet gelijke behandeling, AWGB), lwa sou diskriminasyon laj (WGBL) ak lwa sou andikap ak maladi kwonik (WGBH/CZ) entèdi distenksyon dirèk ak endirèk sou baz pwoteje; nan anplwa, Atik 7:646 BW ajoute règ sou sèks. Yon fwa moun ki pote plent lan prezante reyalite ki sijere diskriminasyon, òganizasyon an dwe pwouve ke li pa t fè diskriminasyon.

Yon òganizasyon ki pa ka montre ki pwa modèl li a te itilize, sou ki done ak ak ki tès, pa ka satisfè chay sa a. Yon plent kapab ale tou nan Enstiti pou Dwa Moun nan Peyiba (College voor de Rechten van de Mens), ki gen opinyon ki pa obligatwa men yo souvan itilize kòm prèv nan ka tribinal pita.

Ki sa GDPR a egzije pou desizyon otomatik yo?

Atik 22 GDPR a bay yon moun dwa pou l pa sibi yon desizyon ki baze sèlman sou tretman otomatik ki gen efè legal oswa efè enpòtan menm jan an. Desizyon sou rekritman, kredi ak benefis yo anjeneral kalifye.

Patisipasyon imen an pran yon desizyon deyò Atik 22 sèlman si li gen sans: yon moun ki gen otorite ak enfòmasyon pou deside yon lòt jan, pa yon moun ki konfime sa ekran an montre. Prensip jistis ki nan Atik 5(1)(a) a aplike nan nenpòt ka, epi Atik 35 egzije yon evalyasyon enpak pwoteksyon done anvan tretman ki gen gwo risk tankou pwofilaj sistematik. Anba Atik 83(5) GDPR a, amann yo ka rive nan €20 milyon oswa 4% nan woulman anyèl atravè lemond, kèlkeswa sa ki pi wo a. Gade apèsi nou sou vi prive done, GDPR, IA ak gwo done yo.

Kisa Lwa sou IA a egzije kounye a, e kisa ki kòmanse apre?

Lwa sou IA a, Règleman (Inyon Ewopeyen) 2024/1689, te antre an vigè nan dat 1ye Out 2024 epi li aplike pa etap. Pratik entèdi ki nan Atik 5 la aplike depi 2 Fevriye 2025; obligasyon ki gen gwo risk pou sistèm rekritman, kredi ak asirans yo aplike apati 2 Desanm 2027.

Obligasyon pou modèl IA pou itilizasyon jeneral ak dispozisyon penalite yo aplike depi 2 out 2025. Omnibus Dijital sou IA, Règleman (EU) 2026/1744 ki an vigè depi 27 jiyè 2026, te ranvwaye rejim ki gen gwo risk la: sistèm ki nan lis nan Anex III, tankou sa yo ki itilize pou rekritman, pwomosyon ak revokasyon, solvabilite ak evalyasyon risk asirans, swiv nan dat 2 desanm 2027, epi sistèm ki gen gwo risk nan pwodwi reglemante yo (Anex I) nan dat 2 out 2028. Omnibus la te adousi tou devwa alfabetizasyon IA nan Atik 4 la pou l vin yon devwa pou sipòte alfabetizasyon IA nan mitan anplwaye yo.

Yon fwa rejim ki gen gwo risk la aplike, li mande done fòmasyon reprezantatif ak verifye, dokiman teknik, anrejistreman, transparans, sipèvizyon imen ak yon evalyasyon konfòmite. Moun ki deplwaye done yo gen pwòp devwa pa yo, tankou kenbe anrejistreman epi asiyen sipèvizyon bay anplwaye konpetan. Amann yo rive nan 35 milyon ero oswa 7% nan woulman mondyal la pou pratik entèdi ak 15 milyon ero oswa 3% pou vyolasyon obligasyon ki gen gwo risk yo. Yo retire Direktiv Responsablite Entèlijans Atifisyèl ki te pwopoze a, kidonk yon reklamasyon pou domaj nan Peyi Ba yo rete yon reklamasyon anba lalwa Peyi Ba yo. Plis enfòmasyon sou sa nan gid nou an sou aspè legal entèlijans atifisyèl ak Lwa Inyon Ewopeyen an sou Entèlijans Atifisyèl.

Ki sa tribinal ak regilatè Olandè yo deside?

Nan dat 5 fevriye 2020, Tribinal Distri La Haye a te deside ke lejislasyon ki dèyè SyRI a, sistèm risk fwod gouvènman an, te vyole Atik 8 Konvansyon Ewopeyen sou Dwa Moun paske li pa t ase transparan e verifye (ECLI:NL:RBDHA:2020:865). Ni modèl risk la ni endikatè yo pa te divilge, kidonk pèsonn pa t ka verifye efè diskriminatwa yo.

Nan eskandal benefis gadri timoun yo (toeslagenaffaire), administrasyon taks la te itilize seleksyon risk kote doub nasyonalite te konte kòm yon endikatè fwod. Otorite Pwoteksyon Done Olandè a te jwenn tretman sa a ilegal e diskriminatwa epi li te bay administrasyon taks la yon amann. Leson pou òganizasyon prive yo: yon sistèm pèsonn pa ka eksplike pa ka defann, epi chwazi pou dirije li se aksyon ki jije a.

Ki moun ki responsab: founisè a oswa itilizatè a?

Moun ki te sibi domaj la pote plent kont òganizasyon ki te pran desizyon an, ki prèske toujou se moun ki deplwaye sèvis la. Dapre Lwa sou Entèlijans Atifisyèl la, founisè a ak moun ki deplwaye sèvis la chak gen pwòp devwa pa yo.

Yon kontra avèk founisè a ka asiyen konsekans finansye yo epi garanti enfòmasyon ou bezwen pou defann yon reklamasyon, men li pa ka retire yon amann regilasyon oswa yon obligasyon legal. Atik nou an sou ki moun ki responsab pou erè ki fèt pa entèlijans atifisyèl diskite sou asiyasyon sa a.

Kisa ou ta dwe verifye antanke yon òganizasyon k ap itilize IA?

• Èske ou te teste pousantaj rezilta yo atravè gwoup pwoteje yo anvan deplwaman an epi tcheke varyab pou proksi?
• Èske ou kontinye fè tès apre ou fin mete sistèm nan an fonksyon, epi ou gen yon moun ou nonmen ki gen otorite pou sispann li?
• Èske revizyon imen an enpòtan kote Atik 22 GDPR a aplike, epi èske evalyasyon enpak la te fèt anvan lansman an?
• Èske komite travay la gen dwa pou bay konsantman anba Atik 27 nan Lwa sou Komite Travay yo (WOR), pa egzanp pou sistèm ki kontwole anplwaye yo?
• Èske kontra founisè a ba ou aksè a dokiman, rezilta tès ak jounal, epi yon dwa pou odit?
• Èske ou ka eksplike chak desizyon bay moun ki konsène a nan yon langaj senp?

Kisa ou ta dwe tcheke antanke yon kandida oswa yon anplwaye ki afekte pa yon desizyon?

• Èske desizyon an te pran san yon patisipasyon imen enpòtan? Ou ka envoke Atik 22 GDPR la.
• Èske ou te mande aksè a done ou yo epi yon eksplikasyon sou lojik ki enplike a (Atik 15 GDPR)?
• Èske gen prèv ki sijere yon baz pwoteje oswa yon entèmedyè te jwe yon wòl? Chaj prèv la chanje apre sa.
• Èske yon opinyon (oordeel) ki soti nan Enstiti pou Dwa Moun nan Peyiba sifi, oubyen èske ou bezwen yon reklamasyon pou domaj nan tribinal?

Kisa nou ka fè pou ou ak responsablite pou patipri algoritmik?

Avoka IT nou yo konseye konpayi yo sou aspè legal pran desizyon otomatik.

• Nou evalye ekspoze ou anba lalwa Olandè sou domaj, lalwa sou egalite tretman ak GDPR pou yon sistèm espesifik.
• Nou revize evalyasyon enpak ou a ak pwosesis sipèvizyon imen ou an pou Atik 22 GDPR la.
• Nou prepare konfòmite ou avèk Lwa sou Entèlijans Atifisyèl (IA) pou sistèm rekritman, kredi ak asirans ki gen gwo risk.
• Nou negosye kontra ak founisè yo sou dokimantasyon, dwa odit ak responsablite.
• Nou jere plent, pwosedi Enstiti, reklamasyon ak ankèt regilasyon.

Rezime

• Òganizasyon ki deplwaye a responsab pou rezilta diskriminatwa, menm avèk yon sistèm ki deja aksepte.
• Yon fwa gen reyalite ki sijere diskriminasyon, òganizasyon an dwe pwouve li pa t fè diskriminasyon.
• Atik 22 GDPR a limite desizyon otomatik sèlman; revizyon imen an dwe reyèl.
• Devwa ki gen gwo risk nan Lwa sou IA pou rekritman, kredi ak asirans yo aplike apati 2 desanm 2027.
• Dokimantasyon tès ak siveyans se kè nenpòt defans.

Kesyon yo poze souvan