Llama.cpp本地CPU部署大模型

机器是2021年M1的MacBook Pro,斗胆一试。 引言 master分支的commit记录:2075a66 分别部署了Llama-2-7B-Chat,Llama-2-13B-Chat, Llama-2-70B-Chat三款大模型,部署方式完全一致,我拿7B模型举例。 ...

Created: 2024-06-15 · Updated: 2024-06-15 · 2 分钟 · Martin