“I”:视频输入。GPT-4V对视频的理解还相当原始，因为它将视频视为一系列离散图像。减少信息冗余的最聪明方法是什么?学习目标应该是什么?下一帧预测与下一个单词预测有着明显的类比关系，但它是否是最佳的?如何与语言交错?如何引导机器人和人工智能的视频学习?业界尚未达成共识。
没有一套基准、排行榜或评估工具能够成为模型评估的一站式服务。
与此同时，苹果在iPhone等产品中改进AI功能的努力令人失望。与大型科技领域的同类产品相比，苹果对ChatGPT等AI产品的流行反应较慢，尽管该公司目前正在积极开发一系列生成式AI产品。不过，苹果将难以跟上步伐，部分原因是其对隐私的激进立场将使其无法充分利用在云中运行的最先进的AI形式。
在得到一系列离散代码之后，就可以像处理语言词向量一样，输入到预训练的大语言模型，最终生成翻译的文本内容。
VCoder作为一个视觉编码器，为MLLM提供了更好的视觉感知能力，能够处理特殊类型的图像，并改善了对象感知任务的表现。在与其他模型的比较中，VCoder在对象计数和识别方面表现出色，特别是在复杂场景中。