GGML — это библиотека тензоров для машинного обучения, которая обеспечивает большие модели и высокую производительность на товарном оборудовании. Он поддерживает 16-битную квантованию плавания и целочисленного целого числа, автоматическую дифференциацию и встроенные алгоритмы оптимизации. Он оптимизирован для Apple Silicon и имеет веб -поддержку через Webassembly и Wasm Simd. Он не имеет сторонних зависимостей и нулевого распределения памяти во время выполнения. Он включает в себя два проекта: Whisper.cpp для высокопроизводительного речи в текст и Llama.cpp для эффективного вывода на Apple Silicon Adnught. Проект является открытым ядром и побуждает участников пробовать сумасшедшие идеи и создавать дикие демонстрации.
Добавить комментарий