Применительно к данному контексту. можно развернуть сколько хочешь докер контейнеров (которые уже собраны добрыми людьми), в котором будет нужный тебе линукс (с соответствующей glibc); каждый будет по 50..60 МБ вначале.
потом apt install gcc (ну или в Dockerfile прописать), и собрать инструмент.
можно всё заавтоматизировать по самое нехочу.
я буквально сегодня баловался, запустил докер образ с Deepseek-R1 и поработал локально. всё уже настроено.
https://github.com/ollama/ollama/blob/main/README.md#quickstart
https://hub.docker.com/r/ollama/ollama