照亮星星的人们2023-6-12 00:43 /
---今日工作总结---
1. 阅读DDPM论文，复习公式推导，熟悉工程实现
https://github.com/kjsman/stable-diffusion-pytorch
2. 复习Attention和Multihead Attention, 简单复现了Transformer
这是目前看到的最好的教程了
https://zhuanlan.zhihu.com/p/380892265
https://zhuanlan.zhihu.com/p/380426619
代码复现参考
https://github.com/hyunwoongko/transformer
3. 继续阅读LoRA的论文
可以从LoRA模型入手，
了解LoRA模型的工作流->工程实现->模型理解
在这一块做工作多一些，毕竟把SD和LoRA用好了也能放简历上
4. 联系上一位同样做动画AI的同好。目前做的工作是用ControlNet和DM，用csp中画好的线稿生彩色图，这一点可以借鉴学习一下。对方是做技术美术的。简单交流了目前动画AI方面的情况和最近新进的技术。
New ideas:
从简笔生成一原，用DM做。
人设图+pose/sketch+generalized data -> 成品
5. 补充了AnimeSketcher在github上的内容。
对前几天的项目做一个简单的解释。
做了一个从成片到原画线稿的风格迁移，目前这份工作可以作为一个data augmentation的方法。由于方法简单(cycleGAN)，加上原始数据集分辨率低，数量少，导致目前的效果不能达到很好。但是可以再探索一下。如果能够通过这种原画生成的模型批量产生出数据对，那么就可以为后续的“原画-成片”提供大量的数据。
还可以再深入了解一下动画制作岗位内容的细节，比如上色，中割的概念，技术细节，问题等。目前由于理解的不够深入会对实际的工作产生错误估计。
---明日工作安排---
1. 了解LoRA模型及其训练，workflow
1. 阅读DDPM论文，复习公式推导，熟悉工程实现
https://github.com/kjsman/stable-diffusion-pytorch
2. 复习Attention和Multihead Attention, 简单复现了Transformer
这是目前看到的最好的教程了
https://zhuanlan.zhihu.com/p/380892265
https://zhuanlan.zhihu.com/p/380426619
代码复现参考
https://github.com/hyunwoongko/transformer
3. 继续阅读LoRA的论文
可以从LoRA模型入手，
了解LoRA模型的工作流->工程实现->模型理解
在这一块做工作多一些，毕竟把SD和LoRA用好了也能放简历上
4. 联系上一位同样做动画AI的同好。目前做的工作是用ControlNet和DM，用csp中画好的线稿生彩色图，这一点可以借鉴学习一下。对方是做技术美术的。简单交流了目前动画AI方面的情况和最近新进的技术。
New ideas:
从简笔生成一原，用DM做。
人设图+pose/sketch+generalized data -> 成品
5. 补充了AnimeSketcher在github上的内容。
对前几天的项目做一个简单的解释。
做了一个从成片到原画线稿的风格迁移，目前这份工作可以作为一个data augmentation的方法。由于方法简单(cycleGAN)，加上原始数据集分辨率低，数量少，导致目前的效果不能达到很好。但是可以再探索一下。如果能够通过这种原画生成的模型批量产生出数据对，那么就可以为后续的“原画-成片”提供大量的数据。
还可以再深入了解一下动画制作岗位内容的细节，比如上色，中割的概念，技术细节，问题等。目前由于理解的不够深入会对实际的工作产生错误估计。
---明日工作安排---
1. 了解LoRA模型及其训练，workflow