Pruna AI是一家欧洲初创公司，一直致力于人工智能模型的压缩算法，周四将其优化框架开源。Pruna AI一直在创建一个框架，该框架将缓存、修剪、量化和蒸馏等多种效率方法应用于给定的AI模型。Pruna AI联合创始人兼首席技术官John Rachwan告诉TechCrunch：“我们还对压缩模型的保存和加载进行了标准化，应用了这些压缩方法的组合，并在压缩后对压缩模型进行了评估。”。特别是，Pruna AI的框架可以评估压缩模型后是否存在显著的质量损失，以及您获得的性能提升。“如果我用一个比喻，我们就像Hugging Face标准化的变压器和扩散器一样——如何称呼它们，如何保存它们，加载它们等等。我们也在做同样的事情，但为了提高效率，”他补充道。大型人工智能实验室已经在使用各种压缩方法。例如，OpenAI一直依靠蒸馏来创建其旗舰模型的更快版本。这可能就是OpenAI开发GPT-4 Turbo的方式，GPT-4的更快版本。同样，Flux.1-schnell图像生成模型是黑森林实验室Flux.1模型的简化版本。蒸馏是一种用于从具有“师生”模型的大型AI模型中提取知识的技术。开发人员向教师模型发送请求并记录输出。有时会将答案与数据集进行比较，以了解它们的准确性。然后，这些输出用于训练学生模型，该模型经过训练以近似教师的行为。Rachwan说：“对于大公司来说，他们通常会在内部构建这些东西。在开源世界中，你可以找到的通常是基于单一方法的。例如，假设LLM有一种量化方法，或者扩散模型有一种缓存方法。”。“但你找不到一个工具可以聚合所有这些，使它们易于使用和组合在一起。这就是Pruna现在带来的巨大价值。”从左到右：Rayan Nait Mazi、Bertrand Charpentier、John Rachwan、Stephan Günnemann图片来源：Pruna AI虽然Pruna人工智能支持任何类型的模型，从大型语言模型到扩散模型、语音到文本模型和计算机视觉模型，但该公司现在更专注于图像和视频生成模型。Pruna AI的一些现有用户包括Scenario和PhotoRoom。除了开源版本，Pruna AI还有一个企业产品，具有高级优化功能，包括优化代理。Rachwan说：“我们即将发布的最令人兴奋的功能将是压缩剂。”。“基本上，你给它你的模型，你说：‘我想要更快的速度，但不要让我的准确性下降超过2%。’然后，代理就会施展魔法。它会为你找到最佳组合，并为你返回。作为开发人员，你不必做任何事情。”Pruna AI的专业版按小时收费。Rachwan说：“这类似于你在AWS或任何云服务上租用GPU时对GPU的看法。”。如果你的模型是你的人工智能基础设施的关键部分，你最终会在优化模型的推理上节省很多钱。例如，Pruna AI使用其压缩框架将Llama模型缩小了八倍，而没有造成太大损失。Pruna人工智能希望其客户将其压缩框架视为一项自负盈亏的投资。Pruna AI几个月前筹集了650万美元的种子资金。这家初创公司的投资者包括EQT Ventures、Daphni、Motier Ventures和Kima Ventures。