1. 背景 ChatGPT, MidJourney, StableDiffusion已经证明了它们具有强大的AGI能力，但它仍然存在着局限。 ChatGPT深陷数据隐私的问题，三星不允许员工使用便是一例。但更深层次的，围栏是人类的本性，有人的地方就有圈子，在垂直细分领域，将大模型专精化，便有其革命之地。 限制大模型训练的一是训练数据，二是硬件需求。StableDiffusion基于LAION数据集训练，它有50亿个样本，需要几百台A100训练几周，一般人承受不起。就算小一点的ControlNet，基于合成的数据集，训练量级也在100万样本，100GPU小时（A100）。这都不是一般人玩得起的。 但好在pretrained+finetune在很多时候效果已经足够好，也就可以成为垂直领域的应用逻辑。它意味着小样本，小计算量就能得到一个不错的模型，影响的因素只有训练的数...

最近做的一个实验，用一个椅子模型去匹配图片。 主要受到CMR这篇论文的启发，MPI之前的一系列文章，比如SMPlify。用到了最近比较热门的可微分渲染器，比如Neural Mesh Renderer。 最后能生成一个模型和一张贴图，贴上贴图在Blender里预览一下 由于预先分了对称的uv，以及拟合pose不太准的问题，贴图看上去还是有点莫名其妙，并且看不到的部分还是白的。 uv texture 这里给个引子介绍一下几篇相关的论文。 Category-Specific Mesh Reconstruction 论文标题Learning Category-Specific Mesh Reconstruction from Image Collections，ECCV2018的文章。作者Kanazawa是UCB的博士，之前在德国马普所交...