🔗 未来增强承诺: 摩根大通承诺以轻量级方式将视觉融入DocLLM,进一步提升其多模态文档理解能力。
2024年将是AI技术从炒作转向现实的关键时刻。以下是一些可能的趋势:
在得到一系列离散代码之后,就可以像处理语言词向量一样,输入到预训练的大语言模型,最终生成翻译的文本内容。
其次是保持一致性,修正手部的同时不会影响图像的整体质量,保持了图像其他部分的一致性。另外,HandRefiner利用合成数据进行训练,这使得它能够有效地处理真实手和合成手之间的域差异,学习不同手的样子,并找到合适的方式来修正手部。
CogAgent还提供了可视化代理的能力,能够返回任何给定任务的计划、下一步行动和带有坐标的具体操作。它还增强了与图形用户界面相关的问题解答功能,可以处理与网页、PC应用程序、移动应用程序等任何图形用户界面截图相关的问题。另外,通过改进预培训和微调,CogAgent还增强了OCR相关任务的能力。这些功能的提升使得CogAgent在多个基准测试上实现了最先进的通用性能。