Експертът по сигурността Бар Ланядо наскоро направи някои изследвания за това как генеративните AI модели допринасят неволно за огромни потенциални заплахи за сигурността в света на разработката на софтуер. Подобно изследване на Lanyado откри тревожна тенденция: AI предлага пакети от въображаем софтуер и разработчиците, без дори да знаят, го включват в своите кодови бази.
Изданието е разкрито
Сега проблемът е, че генерираното решение е измислено име - нещо типично за AI. Въпреки това, тези измислени имена на пакети след това се предлагат уверено на разработчиците, които имат затруднения при програмирането с AI модели. Наистина, някои измислени имена на пакети са частично базирани на хора - като Lanyado - а някои продължиха напред и ги превърнаха в истински пакети. Това от своя страна доведе до случайно включване на потенциално злонамерен код в реални и законни софтуерни проекти.
Един от бизнесите, които попаднаха под това въздействие, беше Alibaba, един от основните играчи в технологичната индустрия. В рамките на техните инструкции за инсталиране на GraphTranslator Lanyado установи, че Alibaba е включила пакет, наречен „huggingface-cli“, който е бил фалшифициран. Всъщност имаше истински пакет със същото име, хостван в Python Package Index (PyPI), но ръководството на Alibaba се позоваваше на този, който Lanyado беше направил.
Тестване на устойчивостта
Изследването на Lanyado имаше за цел да оцени дълготрайността и потенциалната експлоатация на тези имена на пакети, генерирани от AI. В този смисъл LQuery изпълни различни AI модели за предизвикателствата при програмирането и между езиците в процеса на разбиране, ако, ефективно, по систематичен начин, тези измислени имена бяха препоръчани. В този експеримент е ясно, че съществува риск вредоносните субекти да злоупотребят с имена на пакети, генерирани от AI, за разпространение на зловреден софтуер.
Тези резултати имат дълбоки последици. Лошите участници могат да се възползват от сляпото доверие на разработчиците в получените препоръки по такъв начин, че да започнат да публикуват вредни пакети под фалшиви самоличности. С AI моделите рискът се увеличава с последователни AI препоръки, направени за измислени имена на пакети, които биха били включени като зловреден софтуер от неосъзнати разработчици. **Пътят напред**
Следователно, тъй като AI се интегрира допълнително с разработването на софтуер, може да възникне необходимост от коригиране на уязвимостите, ако са свързани с препоръки, генерирани от AI. В такива случаи трябва да се направи надлежна проверка, така че софтуерните пакети, предложени за интегриране, да са законни. Освен това платформата, която хоства хранилището на софтуера, трябва да бъде налице, за да се провери и да бъде достатъчно силна, за да не се разпространява код със злонамерено качество.
Пресечната точка на изкуствения интелект и разработката на софтуер разкри тревожна заплаха за сигурността. Също така, AI моделът може да доведе до случайно препоръчване на фалшиви софтуерни пакети, което представлява голям риск за целостта на софтуерните проекти. Фактът, че в инструкциите си Alibaba е включил кутия, която никога не е трябвало да има, е само постоянно доказателство за това как възможностите всъщност могат да възникнат, когато хората роботизирано следват препоръките
дадени от AI. В бъдеще ще трябва да се внимава при проактивни мерки, така че да се предпази от злоупотреба с AI за разработване на софтуер.
Източник: https://www.cryptopolitan.com/ai-generated-software-packages-threats/