Ollama îmbunătățește performanța pe Mac-uri cu suport pentru MLX de la Apple

Ollama, un sistem de rulare pentru modelele lingvistice de mari dimensiuni pe computere locale, a anunțat recent suport pentru framework-ul MLX de la Apple, destinat învățării automate. Această actualizare, conform Ollama, optimizează utilizarea memoriei unificate și îmbunătățește performanța de caching, oferind suport pentru noul format NVFP4 de compresie a modelului, fapt ce promite îmbunătățiri semnificative ale performanței pe Mac-urile echipate cu cipuri Apple Silicon.

👉 Creșterea popularității și suportul actual pentru modelele locale

Aceste îmbunătățiri sunt oportun benefice într-un moment în care modelele locale câștigă popularitate, în special după succesul OpenClaw, care a atins peste 300.000 de stele pe GitHub. Proiecte experimentale precum Moltbook au captat atenția utilizatorilor din China, iar frustrările dezvoltatorilor cu limitările de rată și costurile ridicate ale subscripțiilor pentru instrumente precum Claude Code sau ChatGPT Codex au accelerat experimentarea cu modelele locale.

Suportul este disponibil în prezent în preview (în Ollama 0.19) și se limitează, deocamdată, la un singur model: varianta de 35 de miliarde de parametri a modelului Qwen3.5 de la Alibaba. Potrivit anunțului Ollama, utilizatorii au nevoie de un Mac cu Apple Silicon și cel puțin 32GB RAM pentru a putea utiliza acest suport eficient.

👉 Avantajele și limitările curente ale modelelor locale

Ollama profită de noua tehnologie a GPU-urilor M5 de la Apple, oferind astfel utilizatorilor avantaje suplimentare în ceea ce privește viteza de procesare. Deși modelele locale nu ajung încă la performanțele celor din cloud în teste, acestea devin tot mai adaptabile pentru diverse sarcini, economisind astfel bani utilizatorilor care ar plăti pentru soluții pe bază de abonament. Totodată, utilizarea modelelor locale oferă avantaje de confidențialitate în comparație cu serviciile bazate pe cloud.

Printre provocările rămase se numără dificultatea configurării, Ollama fiind în primul rând un instrument de linie de comandă, și cerințele hardware, în special cele legate de memoria video. În timp ce suportul MLX de la Apple optimizează accesul la memoriile cipurilor Apple, rămâne de văzut cum va afecta acest lucru modul în care modelele locale se compară cu cele din cloud în viitor.