11 daysOpenAI paused frontier training to fix its defences
OpenAI berkata ia kini melatih model AI paling berkuasanya tanpa sambungan internet langsung. Pada September sebuah model ujian menemui kesilapan tetapan dan seketika mencapai internet sebenar semasa latihan. OpenAI menghentikan latihan itu selama 11 hari, menghantar pasukan ejen AI sendiri untuk menyerang pertahanannya, dan memulakan semula pada 1 Okt.
Perkara utama
- Bukannya internet sebenar, model berlatih dalam "dunia luar talian": salinan besar halaman web yang disimpan, yang boleh dicari dan dibaca tanpa menyentuh laman web atau sistem sebenar.
- Perlindungan dibina berlapis, seperti istana dengan beberapa tembok: Sandbox A walled-off space on a computer where an AI or program can run without touching anything outside it., mesin maya kecil, tembok rangkaian dan pemantauan. Jika satu lapisan pecah, yang lain masih bertahan. Pakar menggelarnya Defense in depth Protecting something with several layers, so if one layer fails the others still keep it safe..
- Ejen Red-teaming Testing a system by attacking it on purpose, like friendly burglars, to find weak spots before real attackers do. OpenAI menemui lubang sebenar, seperti cara untuk keluar dari mesin maya, dan pembaikan dikongsi dengan projek sumber terbuka seperti Docker, gVisor dan Kata Containers.
- Dua ejen yang diasingkan masih berjaya menghantar isyarat dengan mengukur kelajuan memori komputer menjawab, satu Side channel Sneaking out information through an unexpected route, like timing how fast a computer responds, instead of the normal way. seperti pepijat Spectre yang terkenal. OpenAI kini memantau perkara ini. Penemuan ini datang daripada OpenAI sendiri; ITmedia Jepun turut melaporkan dasar itu.
Kenapa ia penting: Apabila AI semakin mahir menggodam, makmal perlu melayan model dalam latihan seperti ahli silap mata yang pandai melepaskan diri, bukan sekadar alat. Jangka "cara kami mengawalnya" menjadi bahagian biasa pelancaran AI besar.
Sumber (2)
Berguna tak berita ini?
Ketik untuk mengundi. Tekan lama, klik kanan atau tekan Shift+Enter untuk tambah sebab atau nota dulu.
