Colab 免费 GPU 跑 Qwen3

先说结论:如果你已经订阅了 Google AI Pro,Colab 里那块免费的 T4 GPU 别只在网页里玩玩。把它和 Drive 缓存、Cloudflare 隧道、本地命令行接起来,就是一台有固定域名、手机和家里都能调用的私人模型服务器。本文这条链路我从头到尾跑通过,下面写的每一步都是实测过的。

一、AI Pro 的 Colab 福利:不只是一个 notebook

很多人把 Colab 当成“免费 Jupyter”,但订阅 AI Pro 之后,它多出来的东西刚好能拼成一台服务器:

  • 计算单元更多、GPU 分配更优先:免费版也能分到 T4,但高峰期经常排队或者只给 CPU;Pro 的配额明显宽松得多,T4 基本随要随有。
  • 后台执行:合上浏览器标签页,运行时不会立刻被回收,适合挂长时间任务。
  • Drive 5TB:Pro 订阅把 Drive 从 15GB 提到 5TB。这点最关键——模型权重可以直接缓存进 Drive,下次启动不用重新下载,一个 9B 模型 5-6GB,下载一次就够了。
  • Colab Secrets:敏感信息(比如 Cloudflare 隧道 Token)可以存在 Secrets 里,代码里只写名字,不落明文。

免费版不是不能跑,后面这套流程在免费版上一样能走通,区别是额度更紧、排队更久、会话更容易被回收。

二、免费用 Google GPU:从零到第一个回答

新建一个 notebook,把运行时类型改成 T4 GPU,然后按这个顺序走:

1. 挂载 Drive 做模型缓存。 第一次运行会弹授权,挂上之后在 MyDrive/colab-cache 里建个目录,以后 Ollama 的模型就存在这里。实测第二次启动直接命中缓存,省掉几 GB 的下载时间。

2. 装 Ollama,拉模型。 Colab 的运行时是干净的 Ubuntu,每次启动都要重装。装 Ollama 就是一条命令的事,装完先等它就绪——实测启动后要轮询 /api/tags,最多等 120 秒,别急着调接口。

curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen3:8b
ollama run qwen3:8b "用一句话介绍你自己"

3. 验证接口通了。 Ollama 默认监听 11434,跑通后先在本地调一次:

curl http://localhost:11434/api/tags

有个坑我踩过:第一次冷启动走 Cloudflare 调 generate,Cloudflare 100 秒超时会返回 524,模型本身没问题,先在本地热一次身再对外发布就没事了。

免费额度的边界要心里有数:会话不是无限的,闲置一段时间会被回收,连续高强度用也可能被限流。这套玩法适合“每天用几个小时”的场景,不适合当 7×24 的生产服务。

三、Cloudflare 发布出去:给 GPU 一个固定网址

Colab 的运行时没有公网 IP,也没法做端口映射,所以传统的“暴露端口”思路走不通。正确姿势是 Cloudflare Named Tunnel:运行时里跑一个 cloudflared,主动向 Cloudflare 的边缘节点建一条出站隧道,再把你的域名解析到这条隧道上。

步骤很简单:

  1. 在 Cloudflare 后台建一条 Named Tunnel,拿到 Token。Token 是一次性的,只能用一次,用完就失效,别贴到任何地方。
  2. 把 Token 存进 Colab Secrets,代码里只引用名字。
  3. 在 notebook 里启动 cloudflared,把本地 11434 映射出去:
cloudflared tunnel --no-autoupdate run --token $CLOUDFLARE_TUNNEL_TOKEN
  1. 域名解析到这条隧道之后,https://qwen.example.com 就是你的模型 API 地址,手机、家里、另一台电脑都能调。

还有个细节:通过 Cloudflare 调接口时,HTTP 客户端的 User-Agent 不能用 urllib 的默认值,否则 Cloudflare 会直接返回 403。用 Mozilla/5.0 就没问题——这是我实测踩过的坑。

四、本地装 colab ssh:不用开网页也能管 Colab

每次都要开浏览器点 notebook 很麻烦。Google 官方的命令行工具 google-colab-cli 可以把 Colab 装进本地终端:

conda create -n colab-cli python=3.12
conda activate colab-cli
pip install google-colab-cli
colab login

登录一次之后,常用命令就三个:

  • colab exec:远程执行命令或脚本(注意它接的是文件或标准输入,不是直接跟 shell 命令,耗时操作要给足超时)。
  • colab ssh <会话名>:直接 SSH 连进正在跑的运行时,像管一台普通 Linux 一样。
  • colab stop -s <会话名>:释放实例,停止占用。

把启动脚本(装 Ollama + 拉模型 + 起隧道)写成一个文件,colab exec 一把梭,整个链路不用开浏览器就能拉起来。

五、跑非审查模型 Qwen3:abliterated 是什么

Qwen3 官方版在 Ollama 上直接能拉,但它带有一套安全对齐:某些问题它会拒绝回答,或者绕着弯子说。社区里有一类公开的微调版叫 abliterated——去掉了这层拒绝式对齐,模型本身还是 Qwen3,权重在 Hugging Face 和 Ollama 上都是公开的。

实测跑过的几个版本:

模型大小备注
qwen3:8b(官方)约 5.2GB基准,带对齐
lukey03/qwen3.5-9b-abliterated约 5.2GB文本版,去对齐
lukey03/qwen3.5-9b-abliterated-vision约 6.1GB带视觉理解
huihui_ai/qwen3-abliterated:8b约 5.0GB去对齐
huihui_ai/qwen3-abliterated:14b约 9.0GB更大,去对齐

T4 是 16GB 显存,8B/9B 跑起来很轻松,14B 量化版也能跑,但余量不大。Qwen3.5 的模型需要 Ollama 0.17.1 以上,装的时候注意版本。

实测现象只说一句:同一类问题,官方版会拒绝或含糊带过,abliterated 版会直接给出答案。具体问答内容我就不贴了。提醒一句:自己搭着研究、学习可以,拿去公开提供服务或者做违规的事不在本文讨论范围。

六、保命机制(进阶):别让 GPU 空转烧额度

这节是进阶需求,原理一句话:后台起两个守护线程,一个每 10 分钟发一条消息心跳汇报“还活着”(走你自己的消息代理,别把凭证写进脚本),一个计时满 6 小时自动停掉 Ollama 和隧道、释放实例。想提前停,手动 touch /tmp/qwen-stop 或者 colab stop 就行。核心就一句话:提醒不如自动停。

七、成本与限制:一张表

免费版 ColabGoogle AI Pro
GPUT4,随缘分配T4,优先分配
Drive 缓存15GB,放不下几个模型5TB,随便放
后台执行很受限支持
适合跑的模型8B 级别8B/9B,14B 勉强
对外发布都要走 Cloudflare Tunnel同左
费用0订阅费

八、收尾:四条注意事项

  1. Token 和密钥只放 Secrets 或环境变量,别写进代码,别进 git,别贴到聊天记录里。
  2. 隧道别当公共服务开放,自己的域名自己用,公开出去就是帮别人烧你的额度。
  3. 遵守 Colab 的服务条款,别拿免费 GPU 去挖矿或者跑违规任务,封号是真的会封。
  4. 模型缓存放 Drive,脚本放仓库,这样换一台机器、重开一个会话,十分钟就能恢复。

核实于 2026 年 11 月 16 日:本文链路(Colab T4 + Ollama + Drive 缓存 + Cloudflare 隧道 + google-colab-cli + 心跳自动停)均为作者 2026 年 11 月 13–14 日实测跑通过;命令示例中的域名、Token 均为占位符,请替换为自己的值。