照亮星星的人们 » 日志
【AI动画技术研究】日志更新(329)

今日工作总结

1. 测试TCVC和AMT。

今天对这两个pipeline进行最后的尝试。

TCVC的cGAN结构已经落后于时代了，由于网络参数规模小+CNN表现力不足Diffusion，无法达到原文的效果。在同样的网络结构上修改了object，表现还是很糟糕。因此TCVC估计是彻底不行了。

AMT使用光流估计，这个思路从根本上讲存在问题。光流仅适用于稠密自然图像而不适合稀疏动画，虽然加了后期后动画也有色彩梯度和某种意义上的纹理，但是在成片上做光流估计有什么意义吗，是要做中割还是上色呢？都有成片了还需要你中割和上色..这就有点本末倒置了。不管怎样，还是尝试了FT，不过从结果上看，效果并不好。

这个领域大部分都没有没有github代码，所以目前只尝试了那些有代码的。发现前人的方法有很强的局限性   当时他们的方法有效是因为他们的数据集很小   一旦扩大规模效果就不好了。这方面还需要更多的研究。

明天开始准备arxiv preprint. 后续的实验放到五月份再做。