INT21 își rafinează AI-ul cu un roi de agenți: cum au creat în 60 de minute un motor de inferență pentru Drama 3 fără Python

INT21, o companie de infrastructură AI care investește în propria raftă de rezultate, a atras din nou atenția cu o abordare neobișnuită. în loc să caute rapid să cumpere mai multe procesoare GPU sau să repete rețete vechi, compania a conectat un grup de agenți AI pentru a proiecta și optimiza runtime-urile necesare ca un model să ruleze. Scopul era clar: să se livreze mai repede inferențe ale unor modele ca Drama 3, folosind Rust în loc de Python în calea de rulare. Rezultatul a fost surprinzător: un runtime funcțional creat în aproximativ o oră, care a depășit soluțiile existente în unele cazuri, fără ca oamenii să fi scris manual codul.

La baza acestui proces stă conceptul de „Self-Improving Infrastructure” al INT21. În loc să aibă programatori care scriu fiecare linie de cod, un roi de agenți AI se ocupă de structurarea, testarea și optimizarea codului. Platforma SwarmOS coordonează mii de agenți în același timp, iar rezultatul este o serie de motoare de inferență care încarcă greutățile modelului pe hardware și rulează operațiile matematice necesare pentru a genera răspunsuri. Ideea este ca fiecare nou motor să pornească de la rezultatele celui anterior, scurtând semnificativ timpul de implementare a noilor versiuni.

Un avantaj cheie este eliminarea Python-ului din fluxul de servire. Python este popular și ușor de folosit, dar poate adăuga întârzieri în lanțul de rulare și necesită soluții complicate pentru a menține performanța. Echipa a ales Rust, un limbaj compilat și sigur, care interacționează mai aproape de hardware. Aceasta reduce complexitatea sistemului și poate îmbunătăți stabilitatea procesului de inferență, explică reprezentanții companiei.

În cazul Drama 3, roiul de agenți a reușit să proiecteze un runtime personalizat în aproximativ 60 de minute. Pe lângă viteza de execuție, proiectul a evidențiat cum agenții pot gestiona mai multe arhitecturi similare, învățând din rezultatele anterioare. Din interviuri cu fondatorul INT21, ideea este că, în viitor, agentul ar putea acoperi atât procesarea, cât și gândirea în timp real, reducând nevoia de a integra mai multe componente separate pentru ascultare, raționare și exprimare.

Procesul nu implică redesign-ul sau reclasificarea modelelor existente. În schimb, echipa definește obiectivele, hardware-ul țintă și criteriile de acceptare, iar roiul setează direcția. Această metodă poate reduce timpul de adaptare a noilor arhitecturi, fără a compromite calitatea rezultatelor. Desigur, abordarea ridică întrebări despre cum vor evolua rolurile oamenilor în AI, însă pentru moment promite o flexibilitate mai mare în lansările de modele și în optimizarea lor pe diverse platforme.