用 AI 控制

简介

T256s 机身里没有大模型。它通过 USB 网卡提供 HTTP 接口,把温度、画面和原始数据开放出来,AI 工具只要能发 HTTP 请求,就能读取这些数据并给出结论。

不需要额外的服务端,也不需要安装 SDK。有两种接法:

  • 直接调用 HTTP:AI 工具能执行命令(curl、Python 等)时,直接让它访问接口,最简单,推荐;
  • 通过 MCP:AI 工具支持 MCP 时,在电脑上运行随附的 MCP server,把接口接成固定工具,模型不用每次拼命令;本文以 OpenCode 为例。

两种方式读到的数据完全一样,都是同一套 HTTP 接口;MCP server 只是一个转接层,不是必须的。

工作原理

方式一:AI 工具 --HTTP--> T256s  http://192.168.17.1

方式二:AI 工具 --MCP--> t256s_mcp_server.py
                --HTTP--> T256s  http://192.168.17.1

其中:

  • 两种方式读到的都是 /api/v1/thermal、/frame.jpg、/frame.temp16 这些接口;
  • MCP server 运行在电脑上,只提供读取类工具,不改相机设置;
  • 相机仍按正常方式通过 USB 连接,电脑上的网卡地址不变。

使用前准备

开始前,请先确认:

  • 相机固件为 26.40.0 或更高版本,已连接电脑,浏览器可以打开 http://192.168.17.1;
  • 方式一:AI 工具能够执行本地命令,例如 Claude Code、OpenCode、Cursor 等;
  • 方式二:电脑已安装 Python 3.8 或更高版本,已下载 t256s_mcp_server.py,AI 工具支持 MCP(例如 OpenCode)。

相机固件版本可以在设备状态面板或设备网页查看,具体方法见系统更新。

方式一:直接调用 HTTP(推荐)

AI 工具能执行命令时,不需要任何中间层,让它直接访问接口即可。

先确认接口

curl http://192.168.17.1/api/v1/thermal

能返回温度 JSON 就可以用了。

在对话里说明取数规则

在对话开头说明规则,比每次口头叮嘱可靠:

你现在接了一台 Sipeed T256s 热成像仪,接口在 http://192.168.17.1。

读数规则:
1. 温度只从 /api/v1/thermal 读取,逐像素数据用 /frame.temp16;
2. 回答时带上帧号和坐标,坐标基于 256×192 横向画面;
3. 判断温度趋势前至少采样 5 次;
4. 只读接口可以直接用,改网段等写操作必须先问我;
5. 读不到数据就如实说明,不要编造。

之后正常提问就行,AI 会自己执行 curl 取数。

使用示例

使用 T256s,读取当前最高温度,并告诉我它在画面里的位置。
使用 T256s,观察 10 秒,告诉我温度是在上升还是已经稳定。
使用 T256s,抓一张画面保存下来,并结合温度说明哪个区域最热。
使用 T256s,每隔 5 秒读一次温度,连续读 1 分钟,超过 60 ℃ 时提醒我。

建议从简单、可确认的操作开始,例如先读一次温度、看一次趋势。需要 AI 长时间连续读取时,先确认它使用的采样间隔,避免频繁请求。

温度以接口返回的数值为准。JPEG 画面可以用来判断位置和形状,但画面已经上色,颜色不能当成温度。AI 如果从画面颜色估温度,得到的数字不要采信。

方式二:通过 MCP(可选)

如果希望把读取接口固定成工具(例如使用 OpenCode),或者客户端只能通过 MCP 接工具,就运行随附的 MCP server,让模型直接调用工具。

准备脚本

把 t256s_mcp_server.py 保存到电脑上,例如用户目录下的 t256s 文件夹。

脚本用环境变量 T256S_BASE 指定相机地址,默认是 http://192.168.17.1。相机改过网段时,在配置里修改这个变量即可,脚本不用改。

脚本只使用 Python 标准库,不需要安装其他依赖。Windows 上一般使用 python 命令,Linux 和 macOS 上一般使用 python3。

在 OpenCode 中添加 MCP

OpenCode 通过配置文件添加 MCP server。全局配置放在 ~/.config/opencode/opencode.json,也可以放在项目目录下的 opencode.json。

也可以直接用命令行添加,OpenCode 会按当前版本写入正确结构:

opencode mcp add t256s --env T256S_BASE=http://192.168.17.1 -- python3 /path/to/t256s_mcp_server.py

手动编辑时,如果配置文件里已经有其他 MCP server,在 mcp 下再加一个 t256s 项即可,原来的项不用动:

{
  "$schema": "https://opencode.ai/config.json",
  "mcp": {
    "t256s": {
      "type": "local",
      "command": ["python3", "/path/to/t256s_mcp_server.py"],
      "environment": { "T256S_BASE": "http://192.168.17.1" }
    }
  }
}

新版 OpenCode(V2)把 server 放在 mcp.servers 下。如果你的配置已经是 "mcp": { "servers": { ... } } 的结构,把 t256s 放进 servers 里,字段不变。

其中:

  • type 固定为 local,表示由 OpenCode 在本机启动这个进程;
  • command 是启动命令,第一个元素是 Python 命令,第二个是脚本路径;Linux 和 macOS 一般写 python3,Windows 一般写 python;
  • environment 里的 T256S_BASE 是相机地址。

保存后重新打开 OpenCode,server 会自动连接。在 OpenCode 里执行 /mcps,能看到 t256s 处于 connected 状态即可。

确认连接

重新打开后,在工具列表中应该能看到 t256s 提供的四个工具:

工具 用途
t256s_device_info 型号、固件、分辨率、支持的格式
t256s_thermal 当前帧的中心、最高、最低温度和坐标
t256s_capture 抓一张 JPEG,并返回同一帧的温度
t256s_watch 在一段时间内采样温度,返回变化趋势

可以先发一句简单的话测试:

使用 T256s 读取当前温度,告诉我最高温是多少、在画面哪个位置。

AI 应该调用 t256s_thermal 并给出具体数值。如果工具列表为空,见常见问题。

其他:接入自己的程序

如果要把相机接到自己的平台或工具调用流程里,可以使用随附的 OpenAPI 描述:

openapi.json

导入后,每个 operationId 会变成一个工具。给 AI 用的工具集建议只保留读取类接口,不要包含修改网段的接口。

常见问题

AI 一定要通过 MCP 吗

不需要。OpenCode 这类能执行命令的工具直接调用 HTTP 就行;MCP 只是把接口固定成工具,减少模型自由拼命令。

AI 读不到数据

请检查:

  • 相机是否已连接,浏览器能否打开 http://192.168.17.1;
  • curl http://192.168.17.1/api/v1/thermal 是否正常;
  • AI 工具是否有权限执行命令、访问本机网络;
  • 自己拼 HTTP 请求时,Host 头是否为设备地址(否则会被当成 Captive Portal 探测)。

AI 工具里看不到 t256s 工具

请检查:

  • 配置文件保存后是否完全退出了 AI 工具并重新打开;
  • mcp 下的层级和字段名是否正确(新版可能是 mcp.servers),type 是否为 local;
  • command 数组里的命令能否在终端中直接运行,例如执行 python3 --version;
  • command 数组里的脚本路径是否正确,路径中有空格时需要完整填写;
  • 脚本是否存在语法错误,可以先在终端里运行一次 python3 t256s_mcp_server.py,确认没有报错。

AI 能读温度,但抓图失败

请检查:

  • /frame.jpg?source=sr 在浏览器中能否正常打开;
  • 当前是否有其他程序占用了大部分 USB 带宽,例如同时在拉多路视频流;
  • 是否同时开了 4 路以上连续流,超过上限会返回 409。

AI 读到的温度是 0 或者 NaN

设备刚启动时可能还没有可用帧。等 1 到 2 秒再读一次;如果一直如此,先在浏览器中打开 /api/v1/thermal 确认接口本身是否正常。

Windows 上提示找不到 python3

Windows 的 Python 命令通常是 python,把配置中 command 数组的第一个元素改成 python 即可。也可以在终端中执行 where python 确认命令名称。

相机换了网段后 AI 读不到数据

直接调用 HTTP 时,把对话里的地址改成新的 192.168.<网段>.1;通过 MCP 时,修改配置里的 T256S_BASE,保存后重启 AI 工具。

能让 AI 修改色板或网段吗

不能。当前接口没有色板控制;修改网段属于写操作,AI 的规则里应明确禁止,需要时由人手动执行(见 HTTP API)。

AI 给出的温度和热像仪屏幕显示不一致

常见原因:

  • 两边读的不是同一帧;
  • 设备刚上电,还没有达到热平衡;
  • 被测表面发射率低,例如光亮金属;
  • AI 使用了画面颜色而不是接口数据。

确认 AI 使用的是 /api/v1/thermal 或 TEMP16 的数值,而不是对画面的描述。

安全注意事项

  • 只连接可信的 AI 工具;
  • 不要把 192.168.17.1 暴露到公网,也不要在不可信的网络中开放;
  • 在对话规则里禁止写操作;需要修改网段时,由人手动执行;
  • 不要让 AI 在无人值守的情况下长时间连续采集;
  • 输入密码、密钥等敏感信息前,确认当前 AI 工具和网络环境可信。

下一步

  • 想了解接口字段、数据格式和错误码,见 HTTP API;
  • 想先用 UVC 看画面,见使用指南。