lmstudio_zh

使用LM Studio进行聊天

LM Studio是一个多平台（macOS, Windows, Linux）的大模型聊天程序，能够加载GGUF格式（llama.cpp）的模型。接下来将以macOS下的程序为例，简要介绍使用方法。其余用途请自行尝试和查阅官方手册进行了解。

Step 1: 下载对应平台的应用程序

官方下载地址：https://lmstudio.ai/

Step 2: 整理模型目录

新建一个models目录，并按以下格式整理模型文件（可以复制，也可以设置软连接），与HuggingFace模型库中的命名类似。 例如：hfl/llama-3-chinese-8b-instruct模型可以按以下目录形式设置，其中最后一层里放入GGUF模型（llama.cpp格式）。

- hfl
  - llama-3-chinese-8b-instruct
    - ggml-model-q8_0.gguf

Step 3: 打开程序，设置模型库地址

1）打开程序之后，点击左侧最后一个文件夹图标的TAB。

2）在Local models folder一栏，点击change，指向上一步新建的models目录。

3）完成设置后将会列出所有识别出的模型（如未识别，请重新启动程序）。

4）点击“choose default preset”，选择Llama 3指令模板。

Step 4: 开始聊天

1）点击左侧第三个对话按钮，进入聊天程序

2）上方选择模型进行加载；右侧栏可设置系统指令、启用GPU、上下文窗口大小等内容；左侧栏可新建会话。