【白嫖】Tesla T4 16G 算力

听说 NS 全是白嫖怪？不是白嫖文不看？

非广，轻嫖

前言

本文仅发布于 NodeSeek，如见其他平台非本人发布，请向作者 反馈。
Cloud Studio 是基于浏览器的集成式开发环境（IDE），为开发者提供了一个永不间断的云端工作站。用户在使用 Cloud Studio 时无需安装，随时随地打开浏览器就能在线编程。

叠甲

本文非广告，没有需求也不要大量恶意占用，共建美好使用生态

教程开始

登录

大家应该都有腾讯云账户吧，点此链接 登录进入。

高性能空间：未欠费帐户，每月赠送 50000分钟免费高性能空间基础型使用时长。赠送时长使用完暂不支持续费，可付费新建并使用HAI GPU空间。
基础型【免费】
适用于推理场景，每个月50000分钟免费时长
显存：16GB +
算力：8 + TFlops SP
CPU：8 核
内存：32GB

每个月 50000 分钟？34.7 天？

很显然，开一台机器即可完美免费使用 16G 显存的基础型高性能空间。

看看配置吧

/workspace# nvidia-smi
Sun Nov 17 12:21:20 2024       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.105.17   Driver Version: 525.105.17   CUDA Version: 12.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla T4            On   | 00000000:00:09.0 Off |                    0 |
| N/A   35C    P8     9W /  70W |      5MiB / 15360MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

Tesla T4 是也，跑跑小模型够用了。

启动环境

点击下一步，随意选取一个环境进入

安装 ollama

注意：如果选择的是 ollama 环境，需要删除原本的 ollama，由于其默认版本太低，无法拉取最新的诸如 llama3.2-vision 这样的模型。

1. 更新环境

apt update && apt upgrade -y && apt install -y wget screen curl

2. 手动安装 ollama

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
tar -C /usr -xzf ollama-linux-amd64.tgz

注意：如果下载太慢，可以选择自己手动下载到电脑上之后再上传，或者自行解决国际互联问题。

3. 配置环境变量

# 因为不关机，所以懒得写到系统里了，直接写到终端了
export OLLAMA_HOST=0.0.0.0
export OLLAMA_ORIGINS=*

4. 启动 ollama

screen ollama serve

5. 拉取模型

官网 众多模型随便挑选

示例：

ollama pull llama3.2
ollama pull qwen2.5-coder
ollama pull llama3.2-vision

外部接口调用

此时此刻，使用内网穿透工具将 11434 端口穿透出去即可使用