Neural Network Post Processing v1.0 Released ! | NNPP v1.0发布了!

前文提到的Unity中神经网络后处理插件终于过审发布了! AssetStore页面:Neural Network Post Processing Github源码(不包含预训练模型):Neural Network Post Processing   一些截图:   参考资料 Post Processing with Fast Neural Style Transfer in Unity | Unity中快速神经风格迁移后处理 Train post-processing with GAN | 使用生成对抗网络训练后处理
Read More

Dabble FrankenGAN with Houdini | Houdini中测试FrankenGAN

本文尝试在Houdini中测试和实现FrankenGan的(部分)功能 1. FrankenGAN 首先介绍一下这篇文章 FrankenGAN: Guided Detail Synthesis for Building Mass-Models Using Style-Synchonized GANs 发表在刚刚结束的Siggraph Asia 2018. 基本思路是:用GAN训练神经网络,给粗糙的建筑体块模型添加模型和贴图细节。 源码在Github上有, 前端是java写的:chordatlas,显示和资源管理等任务 后端是pytorch:bikegan,完成GAN生成的任务     作者将添加细节这个操作分成了很多步,每一步都训练了一个bicycleGAN完成任务 首先会对立面和屋顶进行标注,区分语义。之后通过标注生成贴图。最后用超分辨率提高分辨率。总共9个GAN! 预训练的模型原作都...
Read More

Tensorflow/Pytorch in Houdini | Houdini中使用Tensorflow/Pytorch

(首先假定读者有基本的Linux/Houdini/Python操作经验) Houdini作为最好的程序化建模软件,又正好深度学习框架大部分在Python中,那么进行一些建模/图形的深度学习任务时,怎么能少得了在Houdini?然而有几乎没有文章讲如何在Houdini中使用Tensorflow或者Pytorch,本文聊一聊这个。 笔者查到的唯一一篇文章是这个: Houdiniで機械学習 with TensorFlow 作者在Houdini里搭建了一个Minst识别程序。本文先不讲应用,主要是安装步骤,下一篇再讲应用。 首先一个问题是,Windows下行不行? 笔者感觉,想直接在Houdini里写Python,似乎不能用Windows。主要原因是Windows版本的Houdini使用的一个特殊编译的Python2.7.5版本,一些其它python版本预编译的packag...
Read More

Post Processing with Fast Neural Style Transfer in Unity | Unity中快速神经风格迁移后处理

1 NNPP with FNST 快速神经风格迁移后处理  承接上文用GAN训练后处理,其实那篇也算是一种风格迁移吧,只不过风格损失函数在NST中定义为最大均值差,在GAN中定义为一个熵,用discriminator表示。 2 Fast Neural Style Transfer 基本上是基于Perceptual Losses for Real-Time Style Transfer and Super-Resolution这篇文章,   与Gatsy最早的文章A Neural Algorithm of Artistic Style不同的是,本文提出用一个神经网络做生成器,训练时候loss函数与原来一样,区别在于更新的不是loss network的输入图片,而是生成器的权重。这样生成好的生成器就可以离线将图片生成为风格化图片   和pix2pix很像了,pix2pix的genera...
Read More

Train post-processing with GAN | 使用生成对抗网络训练后处理

1 Post-Processing To Image to Image Translation 后处理到图片翻译   这次想做的是如何用神经网络来后处理。后处理是游戏中常见的一种图像效果,核心任务也就是把原始图片通过一些图片处理的手段,转化成另一种更好看的效果,常见的比如Bloom, LUT等等。而深度学习界最近出现的一个很热的话题就是图片翻译,如何从一张图片转化成另一张图片?   其实两者都是图片到图片的任务,但也有很大不同 通用性,后处理一般是精心设计的工程方法,适用于特定的任务;但是神经网络基本可以算是通用方法了,就目前来看几乎可以做任意domain图片的转化 性能,后处理对实时性要求很高,内存占用也不能太大。而神经网络没有个几GB的显存或者TPU就别想训练了。   本文这里是希望能否让通用性的神经网络以实时性能运行起来? 下图是训练的效果   可以看演示的效果,在...
Read More