依赖于预训练大语言模型:DeWave在实现脑电波到文本的转换过程中使用了预训练大语言模型,如BART。
它不仅可以从图片中提取信息并回答问题,还可以将图片转化为JSON格式。LLaVA还可以识别验证码、识别图中的物体品种等,展现出了强大的多模态能力。在性能上接近GPT-4的情况下,LLaVA具有更高的成本效益,训练只需要8个A100即可在1天内完成。
一方面,这依托于低门槛的UGC创作体系,它使得无数突破想象力的乐园地图涌现出来。蛋仔有着手游中几乎天花板级别的创作工具,再加上AIGC等新技术的加成,它让每个人都有用场景去表达自我的机会,也让游戏有了源源不断的新鲜乐趣。
目前,已有超过400家企业启动了鸿蒙原生应用开发,覆盖了导航、新闻、工具、旅游、金融、便捷生活、美食、游戏等多个品类。
模型下载地址:https://huggingface.co/damo-vilab/dreamtalk