Featherless.ai：无服务器的 LLM 托管平台
Featherless.ai 是一个创新的无服务器 LLM 托管提供商，为用户提供了一系列独特的优势。
概述： Featherless.ai 为用户提供了对 Hugging Face 模型的便捷访问，拥有超过 2800 种兼容模型可供选择。用户可以根据自己的需求选择不同的定价计划，以满足个人和企业的不同需求。
核心功能：
- 支持多种模型架构，目前包括 LLaMA - 3 系列和 QWEN - 2 等，且计划不断扩展支持的架构。
- 使用 FP8 量化技术，在保持输出质量的同时显著提高推理速度。
- 拥有自定义推理堆栈，能够在不到 1 秒的时间内动态切换 10B 模型，根据用户工作量快速重新配置基础设施并自动扩展。
基本用法：
- 用户可以根据自己的需求选择不同的定价计划，如 Basic 计划每月 10 美元，Premium 计划每月 25 美元，Scale 计划每月 75 美元。
- 平台提供无限的模型使用时间，但为确保公平使用，根据所选计划对并发请求进行了限制。
- 输出速度为每秒 10 - 40 个令牌，具体取决于模型和提示大小。
总之，Featherless.ai 以其便捷的模型访问、多样化的定价计划和先进的技术功能，为用户提供了高质量的 LLM 托管服务。
