Tensorflow/Pytorch in Houdini | Houdini中使用Tensorflow/Pytorch

(首先假定读者有基本的Linux/Houdini/Python操作经验) Houdini作为最好的程序化建模软件,又正好深度学习框架大部分在Python中,那么进行一些建模/图形的深度学习任务时,怎么能少得了在Houdini?然而有几乎没有文章讲如何在Houdini中使用Tensorflow或者Pytorch,本文聊一聊这个。 笔者查到的唯一一篇文章是这个: Houdiniで機械学習 with TensorFlow 作者在Houdini里搭建了一个Minst识别程序。本文先不讲应用,主要是安装步骤,下一篇再讲应用。 首先一个问题是,Windows下行不行? 笔者感觉,想直接在Houdini里写Python,似乎不能用Windows。主要原因是Windows版本的Houdini使用的一个特殊编译的Python2.7.5版本,一些其它python版本预编译的packag...
Read More

Post Processing with Fast Neural Style Transfer in Unity | Unity中快速神经风格迁移后处理

1 NNPP with FNST 快速神经风格迁移后处理 承接上文用GAN训练后处理,其实那篇也算是一种风格迁移吧,只不过风格损失函数在NST中定义为最大均值差,在GAN中定义为一个熵,用discriminator表示。 源码详见笔者的Github项目NeuralNetworkPostProcessing 2 Fast Neural Style Transfer 基本上是基于Perceptual Losses for Real-Time Style Transfer and Super-Resolution这篇文章,   与Gatsy最早的文章A Neural Algorithm of Artistic Style不同的是,本文提出用一个神经网络做生成器,训练时候loss函数与原来一样,区别在于更新的不是loss network的输...
Read More

Train post-processing with GAN | 使用生成对抗网络训练后处理

1 Post-Processing To Image to Image Translation 后处理到图片翻译 这次想做的是如何用神经网络来后处理。后处理是游戏中常见的一种图像效果,核心任务也就是把原始图片通过一些图片处理的手段,转化成另一种更好看的效果,常见的比如Bloom, LUT等等。而深度学习界最近出现的一个很热的话题就是图片翻译,如何从一张图片转化成另一张图片? 其实两者都是图片到图片的任务,但也有很大不同 通用性,后处理一般是精心设计的工程方法,适用于特定的任务;但是神经网络基本可以算是通用方法了,就目前来看几乎可以做任意domain图片的转化 性能,后处理对实时性要求很高,内存占用也不能太大。而神经网络没有个几GB的显存或者TPU就别想训练了。 本文这里是希望能否让通用性的神经网络以实时性能运行起来? 下图是训练的效果 ...
Read More