Zacznij od systemu i jego przeznaczenia
Klasyfikacja wysokiego ryzyka w AI Act dotyczy konkretnego systemu i sposobu użycia. Etykieta dostawcy, wielkość kupującej firmy ani sam wybór modelu ogólnego przeznaczenia nie rozstrzygają tej oceny. Trzeba opisać, co system ma robić, na czyje decyzje wpływa i jak będzie wykorzystywany.
Narzędzie szeregujące kandydatów do pracy wymaga innej analizy niż narzędzie formatujące wcześniej zatwierdzoną treść ogłoszenia. Oba mogą korzystać z AI, ale ich wpływ na decyzję jest różny.
Dwie ścieżki z art. 6
Art. 6 ust. 1 — produkty regulowane. Dotyczy systemu AI, który sam jest produktem lub ma pełnić funkcję komponentu bezpieczeństwa produktu objętego prawodawstwem z załącznika I, gdy właściwy produkt podlega ocenie zgodności przez stronę trzecią.
Art. 6 ust. 2 — zastosowania z załącznika III. Dotyczy konkretnych zastosowań w wymienionych obszarach. Trzeba przeczytać opis danego przypadku, zamiast uznawać za wysokie ryzyko każdy system w danej branży.
Art. 6 ust. 3 przewiduje warunkowy wyjątek dla określonych systemów z załącznika III, które nie stwarzają istotnego ryzyka i nie wpływają materialnie na wynik decyzji. Warunki dotyczą między innymi wąskich zadań proceduralnych, przygotowawczych lub wskazanego wsparcia. System z załącznika III profilujący osoby fizyczne pozostaje systemem wysokiego ryzyka. Dostawca powołujący się na wyjątek musi udokumentować ocenę i spełnić właściwe obowiązki rejestracyjne.
Nadzór człowieka sam nie wyłącza wysokiego ryzyka. Trzeba ocenić rzeczywistą rolę narzędzia i spełnienie warunków prawnych; przycisk akceptacji wyniku nie zastępuje tej analizy.
Osiem obszarów załącznika III
| Obszar | Zastosowania wymagające szczególnej analizy |
|---|---|
| Biometria | Określona zdalna identyfikacja, kategoryzacja i rozpoznawanie emocji. |
| Infrastruktura krytyczna | Komponenty bezpieczeństwa AI we wskazanych rodzajach infrastruktury i usług. |
| Edukacja i szkolenie | Dostęp, ocena wyników nauki, ustalanie poziomu kształcenia i wskazane monitorowanie testów. |
| Zatrudnienie | Rekrutacja, selekcja oraz określone decyzje i monitorowanie dotyczące pracowników. |
| Podstawowe usługi | Określone decyzje o świadczeniach publicznych, zdolności kredytowej osób, ubezpieczeniach na życie i zdrowotnych oraz reagowaniu alarmowym. |
| Ściganie prawa | Wskazane zastosowania przez właściwe organy lub w ich imieniu. |
| Migracja i granice | Wskazane zastosowania właściwych organów dotyczące migracji, azylu i kontroli granicznej. |
| Wymiar sprawiedliwości i demokracja | Określone wsparcie organów sądowych oraz wpływanie na wybory lub zachowania wyborcze. |
Osobno trzeba sprawdzić zakazy z art. 5. Niektóre zastosowania biometryczne oraz rozpoznawanie emocji w pracy lub edukacji są zakazane na warunkach i z wyjątkami określonymi w akcie. Nazwanie praktyki wysokim ryzykiem nie czyni dozwolonym zastosowania objętego zakazem.
Trzy scenariusze biznesowe
Selekcja kandydatów. System punktujący kandydatów lub filtrujący aplikacje może należeć do zastosowań dotyczących zatrudnienia. Oceń przeznaczenie, wpływ na decyzję i profilowanie. Dostawca systemu i pracodawca stosujący narzędzie mają różne obowiązki.
Zdolność kredytowa osoby fizycznej. Taki system może należeć do załącznika III. Trzeba odróżnić ocenę zdolności kredytowej od przewidzianego w załączniku wyjątku dla wykrywania oszustw finansowych. Obok AI Act mogą obowiązywać przepisy sektorowe.
Ocena wyników nauki. System oceniający osiągnięcia lub wpływający na dostęp do kształcenia może podlegać wysokiemu ryzyku. Asystent redakcyjny wykładowcy nie jest automatycznie tym samym co system oceniania. Znaczenie ma cały proces i rzeczywisty nadzór.
Co musi uwzględnić dostawca wysokiego ryzyka
Właściwe wymagania obejmują zarządzanie ryzykiem przez cykl życia, zasady dotyczące danych, dokumentację techniczną, rejestrowanie zdarzeń, instrukcje, nadzór człowieka, dokładność, odporność i cyberbezpieczeństwo. Obowiązki dostawcy dotyczą również systemu zarządzania jakością, oceny zgodności, działań korygujących i odpowiedniej rejestracji.
Ścieżka oceny zgodności zależy od systemu i właściwego prawodawstwa. Nie każdy system wymaga udziału jednostki notyfikowanej i nie każdy trafia do tej samej publicznej części rejestru. Istotna zmiana może wymagać ponownej oceny.
Jak udokumentować klasyfikację
Dla każdego systemu zapisz dostawcę, przeznaczenie, osoby objęte wpływem, dane wejściowe i wyjściowe oraz udział w decyzjach. Wskaż właściwe przepisy załącznika I lub III, możliwe zakazy i uzasadnienie ewentualnego wyjątku. Dołącz dostępne instrukcje oraz dowody.
Wyznacz odpowiedzialną osobę i przeglądaj ocenę po zmianie przeznaczenia, modelu, danych lub procesu. Role providera i deployera oraz kalendarz stosowania przepisów to odrębne części tej analizy.
Wymagania w projekcie oprogramowania
Wymagania bezpieczeństwa, dokumentacji i nadzoru trzeba określić dla konkretnego zastosowania oraz roli organizacji. Ocenę prawną należy powiązać z decyzjami technicznymi i organizacyjnymi.
Q-Dev to software house QA10. Projektujemy oprogramowanie według uzgodnionego zakresu; cenę i harmonogram ustalamy dla konkretnego projektu. Prawa do kodu przechodzą na klienta po rozliczeniu całego projektu.
Źródło prawne
AI Act — rozporządzenie (UE) 2024/1689 w EUR-Lex. Artykuł wyjaśnia ramy przyjętego aktu. Przy decyzji dotyczącej wdrożenia trzeba sprawdzić aktualny tekst, zmiany, przepisy przejściowe i fakty dotyczące konkretnego systemu.