我想从视频中获取角色图像

安装额外依赖

waifuc同样提供了从视频中获取图像的方法

在开始运行之前首先需要安装额外的依赖，其中包含pyav库，以便对视频进行处理：

pip install git+https://github.com/deepghs/waifuc.git@main#egg=waifuc[video]

从视频文件中获取图像

在waifuc中，可以使用VideoSource对视频文件进行抽帧处理，并以图像的形式保存到给定的路径中，如下所示：

from waifuc.export import SaveExporter
from waifuc.source import VideoSource

if __name__ == '__main__':
    source = VideoSource(
        '/data/videos/[IrizaRaws] Oresuki - 03 (BDRip 1920x1080 x264 10bit FLAC).mkv'
    )
    source.export(
        SaveExporter('/data/dstdataset')
    )

保存的图像如下所示：

从包含视频的文件夹中获取图像

在此基础上，很多情况下，我们需要对下载好的一整部动漫系列视频进行处理，而他们常常被放在同一个文件夹中

为此我们可以直接从包含视频的文件夹中进行抽帧，如下所示：

from waifuc.export import SaveExporter
from waifuc.source import VideoSource

if __name__ == '__main__':
    source = VideoSource.from_directory('/data/videos')
    source.export(
        SaveExporter('/data/dstdataset')
    )

该代码将对/data/videos路径下的全部视频文件进行逐一抽帧，并保存至/data/dstdataset文件夹

从包含视频的文件夹中获取角色图像

在上述代码的基础上，我们只需要为其添加PersonSplitAction即可从视频文件夹中截取人像图像，如下所示：

from waifuc.action import PersonSplitAction
from waifuc.export import SaveExporter
from waifuc.source import VideoSource

if __name__ == '__main__':
    source = VideoSource.from_directory('/data/videos')
    source = source.attach(
        PersonSplitAction(),
    )
    source.export(
        SaveExporter('/data/dstdataset')
    )

上述代码从视频中抽帧，并从抽取的图像中截取人像保存下来，如下所示：

不过看起来似乎有一些图像并不适合用于训练。因此在实际的动漫视频中，可以通过添加更多的Action来获得更高质量的训练数据集。例如下面的代码：

from waifuc.action import PersonSplitAction, FilterSimilarAction, FileOrderAction, MinSizeFilterAction, FaceCountAction
from waifuc.export import SaveExporter
from waifuc.source import VideoSource

if __name__ == '__main__':
    source = VideoSource.from_directory('/data/videos')
    source = source.attach(
        # 过滤掉全帧相似的视频片段，
        # 例如片头、片尾
        FilterSimilarAction(),

        # 逐张拆分出每个人物
        PersonSplitAction(),

        # 丢弃没有人脸或有多个人脸的图像
        FaceCountAction(1),

        # 丢弃短边小于320像素的图像
        MinSizeFilterAction(320),

        # 丢弃相似或重复的图像
        FilterSimilarAction(),

        # 按顺序重命名文件，扩展名为'.png'
        FileOrderAction(ext='.png'),
    )
    source.export(
        SaveExporter('/data/dstdataset')
    )

最终将得到如下的数据集