🔗 未来增强承诺: 摩根大通承诺以轻量级方式将视觉融入DocLLM，进一步提升其多模态文档理解能力。
2024年将是AI技术从炒作转向现实的关键时刻。以下是一些可能的趋势:
在得到一系列离散代码之后，就可以像处理语言词向量一样，输入到预训练的大语言模型，最终生成翻译的文本内容。
其次是保持一致性，修正手部的同时不会影响图像的整体质量，保持了图像其他部分的一致性。另外，HandRefiner利用合成数据进行训练，这使得它能够有效地处理真实手和合成手之间的域差异，学习不同手的样子，并找到合适的方式来修正手部。
CogAgent还提供了可视化代理的能力，能够返回任何给定任务的计划、下一步行动和带有坐标的具体操作。它还增强了与图形用户界面相关的问题解答功能，可以处理与网页、PC应用程序、移动应用程序等任何图形用户界面截图相关的问题。另外，通过改进预培训和微调，CogAgent还增强了OCR相关任务的能力。这些功能的提升使得CogAgent在多个基准测试上实现了最先进的通用性能。