照亮星星的人们2024-5-14 15:05 /
论文公开！
今日工作总结
从今天开始正式可以在Arxiv上看到自己的文章了
这篇文章是数据集的工作，第一个动画相关的大数据集，包含有各式各样从网上收集到的动画成片和中间数据(比如推特上公开的原画)，提供了文字caption，算是一个多模态的数据集。
自己做这个工作的初衷是解决动画研究长期以来的数据缺乏问题，加上这几年scaling law的兴起让人们看到了大模型的惊人zero-shot能力，因此想着能不能拿来应用到动画上。现在的大模型都是在自然图像上训练的，放到动画上就不好使了，因此算是做了一个铺垫工作。
其实这篇文章还是有相当多不足的地方，自己也非常清楚。比如总感觉实验偏少，text description的精度不高，视频分辨率有限等等.. 有些还能在接下来的工作中逐渐完善，有些就完全需要另起炉灶才能解决。但是不管如何，自己是将Sakuga Dataset当作一块基石来看待的，基础工作需要长期维护的打磨，并不断更新和完善，当然这一切的前提是如果项目能保持开源下去。
除了这个项目之外，自己还在做Anita这个数据集，相比起Sakuga的力大飞砖，Anita数据则是提供更专业的中间动画，比如各种高精度的线稿，其实后者才是自己最开始的目标。原本是打算两个数据集同时放出，但是无奈工作量实在是太大了...
anyway.. 感慨就这么多，今天摸了一天?，明天继续上工去
今日工作总结
从今天开始正式可以在Arxiv上看到自己的文章了
这篇文章是数据集的工作，第一个动画相关的大数据集，包含有各式各样从网上收集到的动画成片和中间数据(比如推特上公开的原画)，提供了文字caption，算是一个多模态的数据集。
自己做这个工作的初衷是解决动画研究长期以来的数据缺乏问题，加上这几年scaling law的兴起让人们看到了大模型的惊人zero-shot能力，因此想着能不能拿来应用到动画上。现在的大模型都是在自然图像上训练的，放到动画上就不好使了，因此算是做了一个铺垫工作。
其实这篇文章还是有相当多不足的地方，自己也非常清楚。比如总感觉实验偏少，text description的精度不高，视频分辨率有限等等.. 有些还能在接下来的工作中逐渐完善，有些就完全需要另起炉灶才能解决。但是不管如何，自己是将Sakuga Dataset当作一块基石来看待的，基础工作需要长期维护的打磨，并不断更新和完善，当然这一切的前提是如果项目能保持开源下去。
除了这个项目之外，自己还在做Anita这个数据集，相比起Sakuga的力大飞砖，Anita数据则是提供更专业的中间动画，比如各种高精度的线稿，其实后者才是自己最开始的目标。原本是打算两个数据集同时放出，但是无奈工作量实在是太大了...
anyway.. 感慨就这么多，今天摸了一天?，明天继续上工去