glavin001/exllama-airoboros-7b-gpt4-1.4-gptq

Test out fast inference with ExLlama and 4bit quantization!

Популярность: 1 711 запусков

Запуск модели

Для MVP ввод передается raw JSON в поле `input` Replicate.

Чтобы запускать модели, войдите в аккаунт.

Метаданные

  • Ownerglavin001
  • Nameexllama-airoboros-7b-gpt4-1.4-gptq
  • Visibilitypublic
  • Latest Version5800082ef20a00cec4be72f57dc1a51b8f18bf05c43cef113e161ea18c9bc3eb