照亮星星的人们2023-6-12 22:06 /
---今日工作总结---
1. 动画制作流程中的一些常识
纸欣的动画上色介绍 Retas / Paintman
https://www.bilibili.com/video/BV1eE411x7is/?spm_id_from=333.999.0.0
cover到色见本，色彩工作岗位分工和职能，以及上色的具体操作等。
光学核心的全方位动画制作流程
https://www.bilibili.com/video/BV1KM4y1r7Np/?spm_id_from=333.999.0.0&vd_source=f9be4fc18e7a5523eaa864b3603331f2
顺藤摸瓜地带出每一个制作环节和作用，非常推荐。
2. 了解了一种controlNet在目前动画流工作上的一种技术路线，配置webui插件环境。
https://www.bilibili.com/video/BV118411o7nv/?vd_source=f9be4fc18e7a5523eaa864b3603331f2
技术路线沿着这个视频，基本思路是使用controlNet的conditional生成方法进行一个逐帧的风格迁移。最开始使用前期使用isnet+tag进行逐帧segmentation获得无背景的目标序列，然后进行controlnet lineart_anime，tile_sample等预处理输入到加了controlNet的SD中进行inference(有training吗？)。中途使用了Adetailer方法修复面部，之外tagger, cutoff等tag工具生成也被用于生成SD所需要的prompt。然后后期输出又使用ESRGAN进行了一个上采样放大，整个工作流就是个纯纯的AI缝合怪。
目前还没有进行实操测试。从workflow的角度来说，这种方法没有考虑到任何consistency的问题，生成动画的方式仍在当前的controlNet范畴内。由于controlNet本身并不包含针对consistency的探讨，加之中间引入了一些可能引入扰动的tags（被用于SD中），所以整个工作流作为一种批量化的风格迁移，并不算是真正的动画生成？还是有些牵强。但就从最后的结果上来说效果确实很好，但是要引入到真正产业中还是有很长的一段路要走。
3. 了解LoRA模型训练的基本过程。
从已有的教程中可以得知训练目标的数据集应该不少于50张。这个数量级的训练样本确实非常可行。
之前低估了SD社区的潜力，现在webui琳琅满目的插件已经表明了其作为一个社区的强大活力。简单易扩展的脚本允许用户非常方便地在同一个UI界面中集合大量的AI工具。如果动画生成方面的研究成果发布了，很大概率也会被整合到webui上来，所以接下来的一段时间内好好补补课吧。
1. 动画制作流程中的一些常识
纸欣的动画上色介绍 Retas / Paintman
https://www.bilibili.com/video/BV1eE411x7is/?spm_id_from=333.999.0.0
cover到色见本，色彩工作岗位分工和职能，以及上色的具体操作等。
光学核心的全方位动画制作流程
https://www.bilibili.com/video/BV1KM4y1r7Np/?spm_id_from=333.999.0.0&vd_source=f9be4fc18e7a5523eaa864b3603331f2
顺藤摸瓜地带出每一个制作环节和作用，非常推荐。
2. 了解了一种controlNet在目前动画流工作上的一种技术路线，配置webui插件环境。
https://www.bilibili.com/video/BV118411o7nv/?vd_source=f9be4fc18e7a5523eaa864b3603331f2
技术路线沿着这个视频，基本思路是使用controlNet的conditional生成方法进行一个逐帧的风格迁移。最开始使用前期使用isnet+tag进行逐帧segmentation获得无背景的目标序列，然后进行controlnet lineart_anime，tile_sample等预处理输入到加了controlNet的SD中进行inference(有training吗？)。中途使用了Adetailer方法修复面部，之外tagger, cutoff等tag工具生成也被用于生成SD所需要的prompt。然后后期输出又使用ESRGAN进行了一个上采样放大，整个工作流就是个纯纯的AI缝合怪。
目前还没有进行实操测试。从workflow的角度来说，这种方法没有考虑到任何consistency的问题，生成动画的方式仍在当前的controlNet范畴内。由于controlNet本身并不包含针对consistency的探讨，加之中间引入了一些可能引入扰动的tags（被用于SD中），所以整个工作流作为一种批量化的风格迁移，并不算是真正的动画生成？还是有些牵强。但就从最后的结果上来说效果确实很好，但是要引入到真正产业中还是有很长的一段路要走。
3. 了解LoRA模型训练的基本过程。
从已有的教程中可以得知训练目标的数据集应该不少于50张。这个数量级的训练样本确实非常可行。
之前低估了SD社区的潜力，现在webui琳琅满目的插件已经表明了其作为一个社区的强大活力。简单易扩展的脚本允许用户非常方便地在同一个UI界面中集合大量的AI工具。如果动画生成方面的研究成果发布了，很大概率也会被整合到webui上来，所以接下来的一段时间内好好补补课吧。