跳转至

设置服务代理

租赁实例后,我们在实例里启动了一个服务,如何访问这个服务呢?

我们以Ollama为例,假如我们在实例里启动了一个Ollama服务,服务端口是11434,且已允许所有IP访问。

现在我们来设置访问规则

进入实例列表页面,启动实例后,在快捷工具栏可以看到"查看代理"按钮

alt text

点击查看代理,会看到代理端口配置窗口,这里我们将服务端口设置为11434

alt text

然后点击确定按钮,系统开始设置代理,设置代理会需要一段时间,请耐心等待,一般一分钟左右可以设置完成。

等待一分钟左右,再次点击"查看代理",这时服务端口后面会多出现两个按钮,分别是服务链接按钮和代理链接alt text按钮

alt text

点击代理链接alt text ,即可访问实例里的服务。 这里我们点击最右侧的代理链接按钮,会进入新的浏览器窗口,出现如下的

Ollama is running

代表已设置成功

设置代理后无法访问

Ollama 默认只允许本机访问,由于Ollama部署在云端,本地访问会出现502错误,需允许其他IP访问;解决办法是设置OLLAMA_HOST 环境变量:export OLLAMA_HOST=0.0.0.0。
完整命令如下

export OLLAMA_HOST=0.0.0.0 ; ollama serve

修改模型存放位置

通常的模型文件较大,很容易导致磁盘空间不足,建议将模型文件存放在数据盘,以免因系统盘空间不足导致无法开机;设置Ollama模型存放位置可以通过设置OLLAMA_MODELS环境变量来实现;
完整命令如下

export OLLAMA_HOST=0.0.0.0 ; export OLLAMA_MODELS=/root/zscloud-tmp/; ollama serve

注意:设置代理端口会导致实例重启,代理设置完后需要重启实例里的服务。