微软一出手就是大招，无需高贵GPU，普通CPU就能运行百亿参数大模型。而且输出速度也不慢，每秒5至7个tokens完全够用。无论是windows本还是苹果本都可以在本地安装你们一直想要的高质量无审查模型，可以肆无忌惮的跑起来了。就在刚刚微软开源了一个只需要CPU就能跑起来的大模型推理框架Bennet。它用了1.5比特的权重来压缩模型参数，能把几十个G的模型最高压缩到原来的20分之1大小，帮你节省存储空间，而且不会损失推理质量。目前可以运行battle net拉玛3和fox 3系列的模型，最高100亿的参数足够你应付大部分的日常任务了。安装方法我放在这儿了，有需要的截图自己去搞一个玩一玩吧。
《探索微软开源大模型推理框架：普通CPU的强大潜力》攻略
在当今科技飞速发展的时代，大模型成为了众多领域的热门话题。微软此次开源的大模型推理框架Bennet，无疑为广大用户带来了新的机遇。无需昂贵的GPU，仅一块普通CPU就能在本地运行百亿参数的大模型，这对于很多人来说是一个巨大的福音。
首先，我们来了解一下这个框架的优势。它采用1.5比特的权重压缩模型参数，能将几十个G的模型大幅压缩到原来的20分之1大小，节省了大量存储空间。而且在压缩过程中不会损失推理质量，输出速度每秒5至7个tokens也完全能满足日常需求。
对于Windows本和苹果本用户来说，都可以轻松在本地安装高质量无审查模型并运行。目前它能支持battle net拉玛3和fox 3系列的模型，最高100亿的参数足以应对大部分日常任务。
安装方法其实并不复杂，按照提供的步骤操作即可。大家可以自己去尝试，感受一下普通CPU运行大模型的魅力。
通过这个框架，我们可以在本地进行各种模型的测试和应用，为工作和学习带来更多便利。无论是数据分析、文本处理还是其他相关领域，都能借助这个强大的工具提升效率。
总之，微软的这个开源框架为我们打开了一扇新的大门，让更多人能够轻松接触和使用大模型，探索其中的无限可能。
微软,大模型,CPU,推理框架,Bennet,模型压缩,日常任务,安装方法,高质量模型,无审查模型
[Q]：微软开源的大模型推理框架叫什么名字？
[A]：叫Bennet。
[Q]：运行这个框架需要什么样的硬件？
[A]：只需要一块普通的CPU即可。
[Q]：它能把模型压缩到多大？
[A]：能把几十个G的模型最高压缩到原来的20分之1大小。
[Q]：目前可以运行哪些系列的模型？
[A]：可以运行battle net拉玛3和fox 3系列的模型。
[Q]：输出速度如何？
[A]：每秒5至7个tokens。
[Q]：Windows本和苹果本都能安装吗？
[A]：都可以在本地安装并运行。
[Q]：安装方法在哪里获取？
[A]：文中已说明安装方法，可自行查看。
[Q]：压缩模型参数会损失推理质量吗？
[A]：不会损失推理质量。