GGUF — бінарний формат файлів для зберігання моделей машинного навчання, призначений переважно для локального запуску моделей за допомогою бібліотеки GGML та сумісних із нею програм, зокрема llama.cpp. Формат оптимізовано для швидкого завантаження й збереження моделей.
Один файл GGUF зазвичай містить ваги моделі, опис тензорів і типізовані метадані: архітектуру, параметри конфігурації, відомості про токенізатор та інші дані, потрібні для запуску. На відміну від форматів, що зберігають лише тензори, у GGUF також стандартизується й метадані моделі.
Квантування та використання Моделі, створені у фреймворках на зразок PyTorch, зазвичай конвертують у GGUF перед запуском у програмах екосистеми GGML . GGUF може зберігати ваги з різними типами числового подання та блокового квантування, завдяки чому розмір моделі й потребу в пам’яті можна зменшити ціною певної втрати точності обчислень.
Формат використовується для локального запуску моделей у llama.cpp та інших сумісних застосунках . Водночас наявність розширення .gguf сама по собі не гарантує, що конкретна програма підтримує архітектуру, токенізатор або тип квантування певного файлу: сумісність залежить від можливостей реалізації, яка завантажує модель.
Практичне використання Файли формату GGUF часто використовують у llama.cpp, Ollama, LM Studio, GPT4All та інших інструментах для локального запуску моделей штучного інтелекту.
Примітки