DeepLearning | 码工图形

Neural Network Post Processing v1.0 Released ! | NNPP v1.0发布了!

Posted on 2019-01-23 by maajor

前文提到的Unity中神经网络后处理插件终于过审发布了！ AssetStore页面：Neural Network Post Processing Github源码（不包含预训练模型）：Neural Network Post Processing 一些截图：参考资料 Post Processing with Fast Neural Style Transfer in Unity | Unity中快速神经风格迁移后处理 Train post-processing with GAN | 使用生成对抗网络训练后处理

Dabble FrankenGAN with Houdini | Houdini中测试FrankenGAN

Posted on 2019-01-182020-02-15 by maajor

本文尝试在Houdini中测试和实现FrankenGan的（部分）功能 1. FrankenGAN 首先介绍一下这篇文章 FrankenGAN: Guided Detail Synthesis for Building Mass-Models Using Style-Synchonized GANs 发表在刚刚结束的Siggraph Asia 2018. 基本思路是：用GAN训练神经网络，给粗糙的建筑体块模型添加模型和贴图细节。源码在Github上有，前端是java写的：chordatlas，显示和资源管理等任务后端是pytorch：bikegan，完成GAN生成的任务作者将添加细节这个操作分成了很多步，每一步都训练了一个bicycleGAN完成任务首先会对立面和屋顶进行标注，区分语义。之后通过标注生成贴图。最后用超分辨率提高分辨率。总共9个GAN! 预训练的模型原作都...

Tensorflow/Pytorch in Houdini | Houdini中使用Tensorflow/Pytorch

Posted on 2019-01-162019-01-18 by maajor

(首先假定读者有基本的Linux/Houdini/Python操作经验) Houdini作为最好的程序化建模软件，又正好深度学习框架大部分在Python中，那么进行一些建模/图形的深度学习任务时，怎么能少得了在Houdini？然而有几乎没有文章讲如何在Houdini中使用Tensorflow或者Pytorch，本文聊一聊这个。笔者查到的唯一一篇文章是这个： Houdiniで機械学習 with TensorFlow 作者在Houdini里搭建了一个Minst识别程序。本文先不讲应用，主要是安装步骤，下一篇再讲应用。首先一个问题是，Windows下行不行？笔者感觉，想直接在Houdini里写Python，似乎不能用Windows。主要原因是Windows版本的Houdini使用的一个特殊编译的Python2.7.5版本，一些其它python版本预编译的packag...

Post Processing with Fast Neural Style Transfer in Unity | Unity中快速神经风格迁移后处理

Posted on 2018-12-172020-02-15 by maajor

1 NNPP with FNST 快速神经风格迁移后处理承接上文用GAN训练后处理，其实那篇也算是一种风格迁移吧，只不过风格损失函数在NST中定义为最大均值差，在GAN中定义为一个熵，用discriminator表示。 2 Fast Neural Style Transfer 基本上是基于Perceptual Losses for Real-Time Style Transfer and Super-Resolution这篇文章，与Gatsy最早的文章A Neural Algorithm of Artistic Style不同的是，本文提出用一个神经网络做生成器，训练时候loss函数与原来一样，区别在于更新的不是loss network的输入图片，而是生成器的权重。这样生成好的生成器就可以离线将图片生成为风格化图片和pix2pix很像了，pix2pix的genera...

Train post-processing with GAN | 使用生成对抗网络训练后处理

Posted on 2018-12-062020-02-15 by maajor

1 Post-Processing To Image to Image Translation 后处理到图片翻译这次想做的是如何用神经网络来后处理。后处理是游戏中常见的一种图像效果，核心任务也就是把原始图片通过一些图片处理的手段，转化成另一种更好看的效果，常见的比如Bloom, LUT等等。而深度学习界最近出现的一个很热的话题就是图片翻译，如何从一张图片转化成另一张图片？其实两者都是图片到图片的任务，但也有很大不同通用性，后处理一般是精心设计的工程方法，适用于特定的任务；但是神经网络基本可以算是通用方法了，就目前来看几乎可以做任意domain图片的转化性能，后处理对实时性要求很高，内存占用也不能太大。而神经网络没有个几GB的显存或者TPU就别想训练了。本文这里是希望能否让通用性的神经网络以实时性能运行起来？下图是训练的效果可以看演示的效果，在...