img2threejs 是一个开源项目,GitHub 上已有 14.8k star、1.2k fork。它做的事情是:输入一张物体的参考图片,输出一段 TypeScript 代码,这段代码用 Three.js 的几何体与程序化着色器,在浏览器里重建出这个物体的 3D 模型。产物是代码加 JSON 规格,不是多 MB 的网格文件;模型自带 pivot、socket、collider 层级,拿到手就能做动画。最新版本 v1.5.1 于 2026 年 8 月 23 日发布,采用 Apache-2.0 许可。

与常见 image-to-3D 的区别

同类工具大多走网格提取、摄影测量,或直接下载现成美术资源。img2threejs 走的是纯代码重建:把参考图里的物体当作「要照着实现的规格」,用基础几何体、程序化着色器和生成几何体拼出模型。官方演示画廊 img2threejs.io 里的每个模型,都是浏览器里实时运行的生成代码,没有网格文件,也不需要下载。

分阶段雕刻流水线

重建不是一次生成,而是分 8 个阶段推进:blockout(粗模)→ structural(结构)→ form(形体)→ material(材质)→ surface(表面)→ lighting(光照)→ interaction(交互)→ optimization(优化)。每个阶段生成一个构建 pass,视觉评审对照参考图与渲染图决定通过或打回;打回时带着失败指标回到上一阶段修正。循环自纠错,直到所有识别身份的关键特征都达到阈值。

模型 token 只花在判断上

流水线里的核心分工是:确定性 Python 脚本负责校验、门禁、规格撰写、PBR 提取和比对图打包;模型 token 只花在看一张对比图、决定通过还是不通过。脚本用纯 Python 3.10+ 标准库写成,不依赖 pip、numpy、PIL 或 Playwright——零依赖意味着不需要在环境里现场安装任何东西。

细节盘点门禁

生成代码之前,管线先做细节优先分析:枚举定义物体身份的小细节——光泽与哑光分区、倒角与圆角、螺丝与铆钉、蚀刻或喷涂的线条、污渍与磨损。每条细节必须映射到真实组件或材质条目,盘点不完整就阻止生成,避免在规格不完整时浪费 token 渲染注定不合格的模型。

物体、人物与武器三条管线

主体类型分为 object(硬表面物体)、character(人物)、hybrid(混合)。人物走解剖学轨道,v1.5「The Character Update」加入从组件树推导的骨架、测地线蒙皮和头发五阶段子系统(带头皮暴露硬门禁)。武器有专项评审:CS2 武器门禁要求组件覆盖证据与去掉贴图的 blockout 图,防止一张像样的贴图掩盖真实结构的缺失。

Token 开销从哪里省下来

项目把 token 效率写成了设计原则:pass 门控生成,每次只生成当前解锁的阶段,模型不用反复重读整个模型;每次评审只打包一张对比图;产出是便于 diff 的 TypeScript 与 JSON 规格,而不是网格二进制。图片转 3D 的推理成本没有消失,但被压到「只看图、只写码」的位置。

接入方式

img2threejs 是 Agent Skill,与宿主无关,Claude Code、Codex、OpenCode 都能跑。安装就是克隆到 skills 目录,比如 git clone https://github.com/img2threejs/img2threejs.git ~/.claude/skills/img2threejs。调用时给一句指令,例如「Rebuild this object as a Three.js model, keep the proportions, angles, and colours」,管线会自动分类主体、跑细节盘点、逐 pass 展示参考图与渲染图的对比。

边界说得很清楚

项目对自己的限制交代得很直白:单张图片无法揭示隐藏面,也无法保证 100% 相似度。管线按区域报告置信度,必要时要求补拍多视角;人物重建是风格化结果,不是照片级写实。「从这张图达不到你要的保真度」是一条合法且预期的输出。

路线图:从单物体到可玩的游戏世界

已发布版本覆盖物体(v1.0 至 v1.2)、质量与效率(v1.3)、CS2 武器(v1.4)、人物(v1.5)。后续计划:v1.6 环境更新(建筑、房间、街道、植被),v1.7 游戏管线(Unity 与 Unreal 导出器、Blender 桥接),v1.8 动画更新(自动绑定、Mixamo 兼容),v1.9 AI Studio(Web UI、批处理、云渲染),v2.0 程序化世界(多视图重建、程序化城市生成、插件生态与 API)。

如果你要的是「图片 → 可直接动画、可审查、全链路可控的 3D 资产」,img2threejs 是代码重建这条路上系统化程度最高的开源参考之一。