Llama.cpp本地CPU部署大模型
机器是2021年M1的MacBook Pro,斗胆一试。 引言 master分支的commit记录:2075a66 分别部署了Llama-2-7B-Chat,Llama-2-13B-Chat, Llama-2-70B-Chat三款大模型,部署方式完全一致,我拿7B模型举例。 ...
机器是2021年M1的MacBook Pro,斗胆一试。 引言 master分支的commit记录:2075a66 分别部署了Llama-2-7B-Chat,Llama-2-13B-Chat, Llama-2-70B-Chat三款大模型,部署方式完全一致,我拿7B模型举例。 ...