MI-biztonság (AI safety)

Az MI-biztonság a mesterséges intelligencia kutatásának és fejlesztésének azon területe, amely azt vizsgálja, hogyan előzhetők meg az MI-rendszerek nem szándékolt, káros vagy veszélyes viselkedései. Ide tartozik annak biztosítása, hogy egy rendszer a tervezett célok szerint működjön, ne okozzon véletlen kárt, ne legyen manipulálható rosszindulatú célokra, és hosszú távon is kezelhető maradjon az emberi felügyelet számára.

A terület gyakorlati és elméleti kérdéseket egyaránt felölel. A gyakorlati oldal olyan problémákkal foglalkozik, mint a hibás vagy elfogult kimenetek kiszűrése, a rendszerek robusztussága váratlan bemenetekkel szemben, vagy a visszaélésre való alkalmasság csökkentése. Az elméleti, hosszabb távra fókuszáló ág az úgynevezett alignment (értékösszehangolás) kérdéseivel foglalkozik: hogyan biztosítható, hogy egyre önállóbb és képesebb rendszerek célkitűzései valóban megfeleljenek az emberi szándékoknak, még akkor is, ha a rendszer viselkedése nehezen értelmezhetővé vagy előre jelezhetetlenné válik.

Az MI-biztonság jelentősége azzal nő, ahogy az MI-rendszerek egyre nagyobb autonómiával és egyre szélesebb körben, kritikus döntéshozatali folyamatokban vesznek részt, például egészségügyben, közlekedésben vagy pénzügyekben. A terület módszertana magában foglalja a rendszerek tesztelését és auditálását, az értelmezhetőségi kutatásokat, a biztonsági korlátok beépítését a tanítási folyamatba, valamint a kockázatértékelési kereteket, amelyeket kutatóintézetek, vállalatok és szabályozó szervek is egyre inkább alkalmaznak.