paragekbote/gemma3-torchao-quant-sparse
A swift setup of gemma-3-4b with INT8 weight-only quantization and sparsity for efficient inference.
Популярность: 68 запусков
Запуск модели
Для MVP ввод передается raw JSON в поле `input` Replicate.
Чтобы запускать модели, войдите в аккаунт.