About paper

[ApolloRay]

论文里说“For video processing, we sample one frame per second for videos shorter than 128 frames. For longer videos, we uniformly sample 128 frames.“，这里对于视频处理的帧数上限不是128帧吗？没有太理解论文提到的2048帧是怎么进行处理的，感谢解答。

[shuyansy]

您好！训练的时候出于训练效率以及显存的考虑，我们最大长度开到128帧。（由于训练时候会打开MLLM所有参数占的显存非常大）；而在推理的时候，由于我们LLM的压缩设计可以节省大部分显存，最大可以达到16倍的压缩，因此可以处理2048帧。