中文LLaMA模型和指令精調的Alpaca大模型在text-generation-webui和llama.cpp上的部署
LLaMA是facebook的meta公司放出來的大語言模型，這個模型的中文能力非常差。Chinese-LLaMA-Alpaca在原版LLaMA的基礎上擴充了中文詞表並使用了中文數據進行二次預訓練，進一步提升了中文基礎語義理解能力。目前已開源的模型版本：7B（標準版、Plus版）、13B（標準版）。這些版本可以在16G，甚至可以在8G內存的個人電腦上部署。似乎不用顯卡。今天我在16G內存的個人筆記上部署了。這是記錄。
由於筆記本電腦只有16G，所以我選擇是LLaMA/Alpaca Plus版本（7B）版本。7B的模型占內存13GB，8bit量化後是7.8GB。