GPT 量化加速推理的几个方案
GPT 量化加速推理的几个方案越来越多的开源优质模型，我们的选择也越来越多了，模型的质量上去了，硬件的要求更高了。 在我们有限的硬件条件下，甚至，在一些便携设备下，运行 LLM 几乎不可用。但是还是有些办法的：量化加速，CUDA，Vulcan，Metal，等。 量化加速通常会把LLM的 30G+ 的文件，处理到 10G以下。有一个通用标准：GGUF，单文件，可以让整个过程更轻松。 量化加速方案 我目前推荐4种： llama.cpp （支持的很多，HF上的GGUF能直接用的也有很多） MLC-LLM（有自己的特定格式，但HF有自己能直接用的模型库，预构建的二进制文件安装很友好） chatglm.cpp（ChatGLM的量化方案，对于国内的语言环境比较友好，但是缺点很严重） LM Studio（桌面版安装，哪..
更多
SSE 和 NDJSON
背景最近再折腾GPT的时候， 遇到流式的响应，总是感觉有点怪怪的，但是又很好，解析了一下，发现竟然是标准化更广的一种协议。 Server-Sent Eventsdata: {"id":"id-1720428652482","object":"chat.completion.chunk","created":1720428652,"model":"gemma-7b-it","choices":[{"delta":{"content":"。"}}..
更多