Приложение Ollama, предназначенное для запуска искусственного интеллекта на домашних компьютерах с операционными системами Windows, macOS и Linux, обновилось, получив поддержку аппаратного ускорения для процессоров серии Apple M5.
В отличие от облачных сервисов, таких как ChatGPT, которые требуют постоянного интернет-соединения и не позволяют запускать модели локально, Ollama дает возможность пользователям загружать и использовать ИИ-модели непосредственно на своих устройствах. Эти модели часто доступны на разных платформах или предоставляются разработчиками для свободной загрузки.
Тем не менее, запуск таких моделей на локальном уровне может быть затруднительным из-за высоких требований к оперативной и видеопамяти. Чтобы решить эту проблему, разработчики интегрировали в версию Ollama 0.19 поддержку фреймворка машинного обучения MLX от Apple, что значительно улучшило производительность на системах с чипами Apple.
На данный момент это обновление касается только последних процессоров Apple M5, M5 Pro и M5 Max. Ollama 0.19 использует нейроускорители на этой платформе, что сокращает время до первого токена и ускоряет генерацию токенов в целом. В результате приложения, такие как OpenClaw и специализированные инструменты вроде OpenCode, Anthropic Claude Code и OpenAI Codex, теперь работают быстрее. Однако стоит отметить, что для полноценной работы компьютеру необходимо иметь не менее 32 Гбайт унифицированной памяти.