Voice in Bulgaria

Правна помощ и застъпничество за мигранти, търсещи закрила и бежанци в България

EN

EN
Материали

CLA Публикации

Приложението на изкуствения интелект в миграцията

12.06.2023

Становище на „Център за правна помощ - Глас в България“ относно „Регламент на Европейския съвет и на Съвета за Определяне на Хормонизирани правила относно Изкуствения интелект – Законодателен акт за Изкуствения интелект“ и неговото приложение в Миграцията

Част I – Общ преглед на регулацията на ЕС за Изкуствения интелект

  1. Въведение

На 14 юни 2023 г. Европейският парламент ще гласува дългоочаквания „Законодателен акт за Изкуствения интелект“, EU AI Regulation[1], (наричан по-нататък Регулацията или Предложението за регулация). След тази стъпка текстът ще бъде изпратен на Съвета на Европейския съюз за консултации и гласуване. В този процес на тристранно обсъждане между Парламента, Съвета и Комисията се очаква да бъдат направени нови промени и допълнения. Ето защо гражданският сектор и правозащитните организации следва да продължат своята активност и да предложат промени гарантиращи спазването на човешките права във всяка сфера, включително при най-уязвимите групи на територията на Съюза. Настоящото становище представлява преглед на Проекта за регулация с фокус върху рисковете от използването на Изкуствен интелект от страните членки при изпълнение на миграционните политики и политиките за сигурност.

Общ преглед

Eвропейската комисия публикува Предложението за регулация през Април 2021 г. като проект на наднационален механизъм за регулиране на изкуствения интелект на територията на Европейския съюз. Предложението беше разпространено заедно с Координирания план за Изкуствен интелект – 2021[2], който цели да насърчи инвестициите и инфраструктурата за създаване и развитие на технологии в областта на изкуствения интелект, Интернет на нещата и роботиката. Регулацията и Координираният план са дългоочаквана и дълго обсъждана тема, както в страните членки на ЕС, така и извън него, тъй като всички големи доставчици на услуги в тази област имат интерес да развиват дейността си на европейския пазар, включително водещите компании като Open AI, Google и IBM. След двугодишни дискусии с гражданския сектор, технологичните компании и правителствата на страните членки, Комисията избра да предложи централизирана хоризонтална регулация, която е основана на риска от конкретен технологичен инструмент. Основните две балансиращи се цели посочени в документа са – защита на основните права и свободи на гражданите на Европейския съюз и насърчаване на иновациите в изкуствен интелект, роботика и Интернет на нещата(IoT).

Въпреки добрите намерения, Регулацията е критикувана от редица експерти и правозащитни организации, поради липсата на адекватни гаранции, че ИИ няма да бъде използван за нарушаване на правата на мигрантите и търсещите закрила на територията на Съюза. В следващите редове са разгледани основните принципи и норми уредени в Регулацията, рисковете свързани с използването на ИИ, както и дейностите включващи използване на ИИ, които застрашават правата на мигрантите. В заключение становището предлага промени в Регулацията, които да гарантират, че технологии с неприемлив и висок риск няма да бъдат използвани в миграционните политики на Съюза.

  1. Подход базиран на риска

За да балансира подхода си и да насърчи иновациите, Регулацията разделя технологиите с Изкуствен интелект на четири групи съобразно рисковете за човека и неговите права.

  • Неприемлив риск. Технологиите с „неприемлив риск“ ще бъдат забранени на територията на Европейския съюз. Те не са изчерпателно изброени, но обхващат практики, които са противоположни или в непримирим конфликт с основните права и ценности на Съюза, например – системи, които имат за цел да манипулират човешкото поведение към предизвикване на самонараняване или опасно поведение, социално профилиране за целите на получаване на публични ресурси, както и някои биометрични технологии, които събират дистанционно лични данни за гражданите. Във втората част на това изследване посочваме, че подобни технологии с неприемлив риск не бива да бъдат използвани за целите на миграционния контрол и националната сигурност.
  • Висок риск – системите с висок риск са основна цел на регулацията. Тези системи поставят в риск живота, здравето, или основните права и свободи на гражданите. Подобни са приложенията в областта на здравеопазването, транспорта – например автономните автомобили, разследването на престъпления и критичната инфраструктура. За тези системи Регулацията предвижда подробни и задължителни процедури за лицензиране и правила за експлоатация. Високорисковият изкуствен интелект, за да бъде лицензиран трябва да минава през оценка на съответствието, да бъде прозрачен като процес и модел, както и лесно обясним. Доставчиците трябва да предоставят пълна и ясна информация относно алгоритмите, възможностите и ограниченията на технологичните модели. В тази си част Комисията се опитва да ограничи една от основните характеристики на изкуствения интелект, а именно - „черна кутия“, която дори и собствените й създатели трудно могат да предвидят и контролират. В основата на „самообучителния“ процес при „дълбокото учене“ е, че човекът не може да предвиди напълно до какви резултати и заключения ще достигне моделът. Друг важен аспект от Регулацията е, че потребителите имат право да бъдат уведомени, когато взаимодействат с AI (например чат-бот) и да поискат намесата на човек или да обжалват решенията на изкуствения интелект.
  • Ограничен риск и Минимален риск – за системите с ограничен и минимален риск е предвидена доброволна стандартизация, която ще работи на базата на доверието и доброволното сертифициране на качеството.
  1. Централизираност и субсидиарност

Регулацията предвижда създаването на Европейски съвет за изкуствения интелект, който да координира усилията на страните членки по прилагане на регламента. Заедно с това национални регулатори ще извършват мониторинг на пазара, така че технологичните иновации да отговарят на техническите и законови изисквания. Регулацията също така промотира споделянето на данни в рамките на Европейския съюз и урежда създаването на обща база данни за целите на технологичния напредък в различни сектори. Въпреки че лесният достъп до данни може да насърчи развитието на старт-ъпи и да подобри икономическата екосистема в Съюза, е притеснително, че данните на потребители от различни сфери ще бъдат администрирани от централизирани органи на Европейската комисия и използвани за иновации. Дори и тези данни да бъдат анонимизирани, остава огромният риск от злоупотреби, кибератаки, корупция и дискриминация при централизираното обработване на голямо количество лични данни.

  1. Директива за гражданската отговорност при Изкуствен интелект

Паралелно с предложението за Регулацията на изкуствения интелект, Европейските институции разработиха Директива на Европейския парламент и на Съвета за извъндоговорна гражданска отговорност приложима при използването на Изкуствен Интелект – AI Libility Directive[3]. Директивата бе гласувана през септември 2022 г. и разглежда част от рисковете за потребителите от използването на изкуствен интелект. Тези рискове и аргументите към директивата се припокриват с част от рисковете посочени в Предложената ИИ регулация, въпреки че Директивата има доста по-тесен обхват – „извъндоговорната отговорност при използването на Изкуствен интелект“. Уредена е хармонизирана рамка за приемане от страните членки на безвиновна (обективна) отговорност при използването на ИИ, съпътствана с обръщане на тежестта на доказване. 

  1. Рискове

Както Регулацията, така и Директивата посочват четири основни групи рискове свързани с използването на ИИ - свързаност, автономност, зависимост от данни и непрозрачност. Свързаността позволява на кибератаки или грешки в ИИ да доведат до бързо разпространение на евентуална опасност до множество потребители. Автономността е в основата на изкуствения интелект, но тя може бързо да превърне технологията в неуправляема. Основна характеристика на ИИ е, че създателите на конкретен алгоритъм за „дълбоко учене“(deep learning) не могат да предвидят всички резултати, които ще произведе моделът, тъй като той не е базиран на обикновената компютърна логика «ако….., тогава…»(if…, then). Тъкмо обратното ИИ моделите се самообучават и по този начин „надскачат“ онова, което е заложено в самото стартиране на модела. Самообучението е в основата на достиженията, но също така може да доведе до аномалии в различни сфери. Зависимостта от данни е друга характеристика на ИИ, която може да представлява сериозен риск за правата на човека. При некачествени или непълни данни, ИИ може да доведе до нежелани и опасни последици. Основна опасност идва от там, че непълните или изкривени данни могат лесно да направят модела дискриминационен за отделни личности или групи от хора. Не на последно място като сериозен риск, Директивата и Предложението за регулация посочват непрозрачността на ИИ моделите. Те са наречени от някои експерти „черни кутии“, именно защото не може да се проследи връзката между изходните данни и резултатите, които предлага моделът. Сложността на „невронните мрежи“, които представляват самообучаващата се матрица за „дълбоко учене“ прави невъзможно дори за създателите на мрежата да кажат по какъв път и логика даден резултат или решение са постигнати. Това има своите последствия при доказване на конкретни вреди, предвиждането на резултати или оценка на въздействието. 

 

Част II. Изкуственият интелект в Миграцията – Полезен инструмент за защита на сигурността или експеримент с човешката личност?

Посочените по-горе опасности от ИИ, се отнасят в най-голяма степен до ИИ проектирано и използвано за целите на граничния контрол и миграцията. Въпреки че има изисквания за липса на дискриминация при използването на системите с висок риск, проектът за Регулация е критикуван остро, че не съдържа адекватни механизми за защита на икономическите и социални права на гражданите. Например Human Rights Watch[4] посочва, че автоматизираните системи за оценка на хората кандидатстващи за социално подпомагане представляват риск във всички свои фази: 1) Верифициране на идентичността, 2) Оценяване на заявителя и 3) Превенция и разследване на измами и рискове. Сходни системи се използват и при миграцията. Част от използваните в Европа системи за идентификация и верификация на идентичността събират и обработват ненужно голям набор от лични данни и са расистки и дискриминационни, според HRW[5]. При използването на системи за идентификация и верификация има голям риск от дискриминация базирана на расов или друг вид физически признак, тъй като технологиите работят със снимки и видеа, които се оценяват на базата на предварително създадени алгоритми. Самите алгоритми могат да бъдат „обучени“ да оценяват на базата на цвета на  кожата и произхода на лицето.

На следващо място, редица експерти [6] критикуват Европейските институции и страните членки за използване на изкуствен интелект за автоматизирана оценка на потенциална опасност от мигранти или групи от мигранти влизащи в ЕС. Специалният докладчик на ООН по Расизма, Расовата дискриминация и Ксенофобията подчертава в свой доклад, че използваните от страните членки и Фронтекс технологии като дронове по Средиземноморието, инструменти предсказващи движението на хора и автоматизирано вземане на решение по конкретни миграционни дела, „увеличават расизма и дискриминацията и могат да доведат до допълнителни щети в една вече дискреционна система.“[7]  

  1. Пилотни инициативи в Миграцията

Страните членки на ЕС и Фронтекс вече използват ИИ пилотно в различни сфери на граничния контрол и миграцията. Инициативите като изброените по-долу будят сериозно безпокойство сред наблюдателите и експертите по човешки права. (AI in Migration[8].)

Пилотно в различни инициативи страните членки използват ИИ за:

  • Обработване на исканията за работни визи
  • ETIAS изискванията за безвизово пътуване в ЕС,
  • Исканията за продължителен и постоянен престой
  • Предоставяне на международна закрила
  • Подобряване на процесите при системите SIS-SIRENE[9] за обмен на информация между службите за сигурност на страните членки, както и между тях и Европол.
  • Засилване на граничния контрол в Шенген. Заявената цел е да бъде осигурен сигурен и надеждно администриране на границите.
  • Подобряване на оперирането на ИТ системите в Европейския съюз.
  • Подобряване на изготвянето на политики и процедури в рамките на ЕС.

ИИ инструментите, които ще бъдат използвани в тези пилотни, а по късно и постоянни  инициативи са – а) чатботове и интелигентни агенти, б) приложения за оценка на риска, в) приложения за управление на знанието и данните, г) аналитични инструменти и компютърни визуални програми за оценка на снимки, видеа и реални образи.  Почти във всяка от изброените по-горе инициативи ще бъдат използвани инструменти за оценка на риска, които имат ИИ характер, което означава, че конкретни лица или група от мигранти ще бъдат оценявани от автоматизирани системи.

Ще вземем за пример Инициативата за предоставяне на международна закрила[10]. Предвижда се ИИ да бъде използван във всяка една от частите на процеса – Заявление (Application), Оценка(Assessment) и Комуникация(Communication). Основните активности, които ще бъдат извършвани от ИИ са – 1. Анализ на уязвимостта на търсещия закрила – в каква степен той е в опасност от преследване или изтезание, 2. Чатбот, който се използва за процеса по регистриране на Искането за закрила „там където не се изисква човешка намеса“. Тук възниква въпросът – кой и как решава къде се изисква човешка намеса и къде не? 3. На следващо място ще бъде използван ИИ модел, който предвижда какъв е рискът за приемащата страна от определено лице търсещо закрила на база на характеристики като – страна на произход, предишни искания за закрила, години и др. Тук опасността от автоматизирана оценка също е голяма, както от грешни така и от дискриминативни решения на модела, 4. Предвижда се използването на ИИ, който да разпределя конкретни лица и групи търсещи закрила в географски региони на база на техните характеристики, 5. Не на последно място, ще бъде внедрен инструмент за интелигентно разузнаване и намиране и обработване на чувствителни данни.

Заявената цел на тази инициатива и нейните дейности е да направи процеса по предоставяне на закрила „воден от данни“, което би довело до твърдяно увеличение на прозрачността на процесите. Въпреки заявените цели, всяко едно от посочените действия и инструменти оставя в ръцете на изкуствения интелект съдбите на стотици хиляди хора търсещи закрила. Сериозни рискове има във възможността ИИ моделите да бъдат захранени с некоректни или непълни данни, или самите ИИ модели да дадат неточни резултати. Този риск се посочва от анализаторите на Делойт, които са натоварени да направят Оценка на въздействието на предложените ИИ в миграционните процеси. [11]

  1. Рискове и критики

Редица експертни и правозащитни организации в Европа критикуват подхода на ЕС и страните членки при използването на ИИ в миграционните процеси и защитата на границите на Съюза. Регулацията е видяна като недостатъчна, за да гарантира правата, свободите и достойнството на мигрантите влизащи в Европа. Повече от 160 организации подписаха съвместно становище[12], което заключава, че Регулацията не предлага адектватна защита рисковете свързани с използването на ИИ – („the EU AI Act does not adequately address and prevent the harms stemming from the use of AI in the migration context.“)

Някои от ИИ системите в миграцията са с изначално „неприемлив риск“, който следва да бъде забранен напълно, защото рискът от тях не може да бъде намален чрез технологични или законови подобрения. Такива са например предсказващите аналитични инструменти, които имат за цел да забранят или ограничат миграцията. Те обикновено се използват от трети страни “gatekeepers” и имат за цел да предскажат, в кои региони се очаква да има „незаконна миграция“, за да бъде пресечено движението на големи групи от хора. Друг инструмент, който носи неприемлив риск са системите за оценка на риска (risk assessment) и за профилиране на индивидуални мигранти. Тези инструменти имат за цел да предскажат дали дадено лице би носило опасност за ЕС или каква е вероятността от извършването на незаконна дейност. На следващо място особено опасни са ИИ системите, които се използват за „емоционално разпознаване“ като например такива, които оценяват дали дадено лице лъже или казва истината – „автоматизирани детектори на лъжата“ основани на емоционална оценка изготвена от ИИ.  Други системи, които се използват в контрола на границата и миграцията, дори и да не бъдат забранени, следва да бъдат категоризирани като такива с висок риск – като например системите за наблюдение на границите, за обработване и оценка на биометрични данни и др.

 

Заключение

В заключение необходимо е Европейската комисия и страните членки да включат в Регулацията конкретни гаранции, че ИИ с „неприемлив риск“ няма да бъдат използвани в Миграцията, а такива, които са фактически с „висок риск“ ще бъдат категоризирани правилно и подложени на засилен мониторинг. В тази връзка следва да се забранят 1) системите за предсказване и спиране на „нелегални миграционни потоци“, 2) системите за индивидуално профилиране и оценка на мигранти, 3) автоматизираните „детектори на лъжата“,  4) както и ИИ системи, които дистанционно събират и оценяват биометрични данни на публични места. За други системи, които представляват потенциална опасност за правата и свободите на мигрантите, следва да се уредят по-високи изисквания за прозрачност и институционален контрол като се включат в списъка с „високорискови“ системи – такива са например системите за наблюдение на границите от дронове и камери с лицево разпознаване, за събиране и обработка на биометрични данни на мигранти, както и на системи за оценка на доказателствата, свързани с миграционните процедури. Не на последно място Регулацията следва да включи и адекватни административни механизми, по които засегнати от ИИ мигранти да могат да оспорят използването на конкретни системи нарушаващи човешките им права и свободи.

 

Изготвил: Любомир Авджийски, експерт застъпничество към ЦПП-Глас в България

Визуална апликация: Лидия Станулова, направено през EthicAI=Labs 2022 Goethe-Insitut

Становището е част от изпълниявяния от „ЦПП - Глас в България“ проект “В отговор на кризата в Украйна”, финансиран от Европейската програма за интеграция и миграция (EPIM), съвместна инициатива на Мрежата на европейските фондации (NEF).

[1] Законодателен акт за Изкуствения интелект,  2021, https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=celex%3A52021PC0206

[2] Координиран план за „Развиване на европейски подход към изкуствения интелект“, 2021, https://digital-strategy.ec.europa.eu/en/library/coordinated-plan-artificial-intelligence-2021-review

[3]AI Liability Directive, 2022, https://commission.europa.eu/system/files/2022-09/1_1_197605_prop_dir_ai_en.pdf

[4] How the EU’s Flawed Artificial Intelligence Regulation Endangers the Social Safety Net: Questions and Answers, 2021, https://www.hrw.org/news/2021/11/10/how-eus-flawed-artificial-intelligence-regulation-endangers-social-safety-net#_how_are_governments

[5] https://www.hrw.org/news/2021/11/10/how-eus-flawed-artificial-intelligence-regulation-endangers-social-safety-net#_how_are_governments

[6] Technological Testing Grounds: Border tech is experimenting with people’s livesр 2020, https://edri.org/our-work/technological-testing-grounds-border-tech-is-experimenting-with-peoples-lives/

[7] Пак там.

[8] European Commission, Directorate-General for Migration and Home Affairs, Opportunities and challenges for the use of artificial intelligence in border control, migration and security . Volume 1, Main report – , Publications Office, 2020, https://data.europa.eu/doi/10.2837/923610

[9] SIRENE cooperation, explanation, https://home-affairs.ec.europa.eu/policies/schengen-borders-and-visa/schengen-information-system/sirene-cooperation_en

[10] See 8, p.24, https://op.europa.eu/en/publication-detail/-/publication/c8823cd1-a152-11ea-9d2d-01aa75ed71a1/language-en

[11] https://op.europa.eu/en/publication-detail/-/publication/c8823cd1-a152-11e-9d2d-01aa75ed71a1/language-en

[12] Joint statement: The EU Artifical Intelligence Act must protect people on the move, 2022, https://www.statewatch.org/news/2022/december/joint-statement-the-eu-artifical-intelligence-act-must-protect-people-on-the-move/