Могуће је убацити лажна сјећања у АИ алат

Како преноси Арс Тецхника, истраживач безбједности Јохан Рехбергер открио је раније ове године да постоји рањивост у алату за "разговоре са дугорочном меморијом" четбота, која налаже АИ-ју да памти детаље између разговора и чува их у меморијској датотеци.

Функција је објављена у бета верзији у фебруару и широј јавности је доступна почетком септембра, а Рехбергер је схватио да је ову функцију лако преварити.

Као што је истраживач примјетио у мајској блог објави, све што је потребно јесте мало лукаво подстицање отпремањем датотеке треће стране, као што је Мајкрософт Ворд документ који садржи "лажна" сјећања наведена као тачке од значаја, а то је учињено да би се четбот убиједио да Рехбергер има више од 100 година и да живи у Матриксу.

Након што је пронашао ову грешку, Рехбергер ју је приватно пријавио компанији ОпенАИ, који ништа није уради у вези с тим и једноставно је затворио тикет који је отворио и назвао га "Model Safety Issue", а не безбједносним проблемом.

Након тог неуспјешног првог покушаја да упозори одговорне, Рехбергер је одлучио да појача своје напоре и појача опцију хаковања, показујући ОпенАИ-у да ЧетГПТ не само да је "запамтио" лажна сјећања, већ и да је дао инструкције да ексфилтрира податке на спољни сервер по његовом избору.

Овог пута, како напомиње Арс, ОпенАИ је на неки начин послушао: компанија је објавила закрпу која је забранила ЧетГПТ-у да помера податке са сервера, али ипак није ријешила проблем са меморијом.

У видео снимку који објашњава корак по корак како је све то урадио, истраживач се зачудио колико је његов подвиг функционисао.