Promptfoo

Rackfoo — это CLI и библиотека для оценки качества выходов на языковой модели. Это позволяет систематически проверять подсказки с предварительно определенными тестовыми случаями, сравнивать выходы бок о бок и выбирать лучшую подсказку и модель для вашего варианта использования. С помощью простых и декларативных тестовых случаев, QuickFoo оптимизирует процесс оценки и улучшения производительности языковой модели. Он поддерживает различных поставщиков LLM и может использоваться с OpenAI, антропным, Azure, Google, моделями с открытым исходным кодом, таким как Llama или Custom API-провайдеров. Rackfoo является проверенным в битве и ориентирован на конфиденциальность, полностью работает на вашей машине.

Попробовать