ChatGLM6B在云服务器上玩，GPU如丝般流畅，

3> 下载模板文件

首先您应该已经下载了模板并将必要的文件上传到服务器。

下载地址：https://pan.quark.cn/s/3d37e58a3e72

• 如果您使用CPU，请下载ChatGLM-6B-INT4型号，
• 如果您使用GPU，请下载ChatGLM-6B或ChatGLM- 6B-INT8 模型

我只提供模型文件。真正的运行还需要模型序列化、配置等文件。创建如下：

mkdir /home/ChatGLM-6B/THUDM
cd /home/ChatGLM-6B/THUDM
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm-6b

代码帮助我们自动下载模型所需的各种小文件。

接下来我们只需要下载我们需要的模板，将其解压并移动到ChatGLM-6B目录即可。

注：我使用的是FP16非量化模型，这是最好的模型。租赁的机器是A4000

如果是：INT4或者INT8型号，A2000应该就够了。如果有什么问题可以私聊我。联系方式在文章末尾。

cd /home/ChatGLM-6B/THUDM
unzip /mnt/example/chatglm-6b.zip

如果询问是否覆盖已存在的文件，直接输入：A 覆盖全部。

测试运行

在/home/ChatGLM-6B创建一个新笔记本。

• 试驾

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("chatglm-6b-int4", trust_remote_code=True)
# CPU
model = AutoModel.from_pretrained("chatglm-6b-int4", trust_remote_code=True).float()

# GPU
# model = AutoModel.from_pretrained("chatglm-6b-int4", trust_remote_code=True).half().cuda()

model = model.eval()

response, history = model.chat(tokenizer, "你好, 自我介绍下，我可以用你做什么", history=[])
print(response)

先检查型号是否正确~

问一个简单的问题，2-3秒就能给出答案：

response, history = model.chat(tokenizer, "Python写一个Excel表合并脚本", history=[])
print(response)

如果问代码的话，运行速度会慢一点~10左右-20秒。

GPU使用：

response, history = model.chat(tokenizer, "我现在有个csv数据表, 表头是：用户手机号 上次登录时间 超出空间，需要统计指定日期前登录用户超出空间总和，并打印这些用户手机号；另外还需要统计超出指定容量用户的总超出空间数，并打印这些用户手机号，使用python pandas 实现，假设数据文件为：123.csv", history=[])
print(response)

对于复杂的问题，等待时间要长40秒左右，而且响应码的参数名称甚至有汉字！ ！ ！

• GLMCLI版本运行

# 进入项目目录
cd /home/ChatGLM-6B
# 启动脚本
python cli_demo.py

的效果如图：

• GLMAPI版本运行

# 进入项目目录
cd /home/ChatGLM-6B
# 启动脚本
python api.py

成功启动后，服务在8000端口，需要发送POST请求。我们之前租的时候定制了8000端口的机器。您可以在租赁页面找到相应的公共网络链接：

例如：https://hz.xxxx.com:xxxx/?token=xxxxx

请注意，该请求不需要令牌，因此只需使用：https://hz.xxxx.com:xxxx。

Curl 请求：

curl -X POST "https://hz.xxxx.com:xxxx" \
     -H 'Content-Type: application/json' \
     -d '{"prompt": "你好", "history": []}'

Python 请求：

import requests
import json
def getGLM(prompt, history):
    '''
    curl -X POST "https://hz.xxxx.com:xxxx" \
     -H 'Content-Type: application/json' \
     -d '{"prompt": "你好", "history": []}'
    '''
    url = 'https://hz.xxxx.com:xxxx'
    # 设置请求头
    headers = {
    'Content-Type': 'application/json'
    }
    data = {
    'prompt': prompt,
    'history': history
    }
    # 发送请求并获取响应
    response = requests.post(url, headers=headers, data=json.dumps(data))
    # 检查响应状态码
    if response.status_code == 200:
        # 获取响应数据
        rsp = response.json()
        return rsp
    else:
        print('请求失败，状态码：', response.status_code)
        
# 测试请求
history=[]
prompt = "假设你是一位Python高手，请用Python Pandas 模块实现一个Excel文件批量合并脚本"
getGLM(prompt, history)

速度和直接向服务器请求差不多，大约 30s。

• GLMWEB3版本运行

# 进入项目目录
cd /home/ChatGLM-6B
# 安装依赖
pip install streamlit streamlit_chat
# 启动脚本
streamlit run web_demo2.py --server.port 8000 --server.address 0.0.0.0

后，服务在8000端口启动，主机设置为0.0.0.0，这样我们就可以从租赁页面的8000端口链接访问对应的服务。

我们之前租的时候定制了8000口的机器。您可以在租赁页面找到对应的公共网络链接：

例如：https://hz.xxxx.com:xxxx/?token=xxxxx

注意，实际上我们的请求不需要token，所以只需使用：https://hz.xxxx.com:xxxx。

第一次可能会很慢。它仅在询问时才开始下载检查模板。

说实话，这个问题的答案有点出乎意料。我得到了一个用 pygame 编写的猜谜游戏，通常会回答 cmd 版本。

我是老手了，这篇文章结束了，欢迎加我微信讨论更多AIGC问题和开发需求~比如，下一期我会告诉你如何利用自己的聊天数据来训练自己GPT 克隆。

鼓励的话：一只彩色猫看着远处的科技大楼，以程序员极客的风格思考和滑稽的废话

头图@Adobe Firefly