来源:上海报
作者:王子霖
上证报中国网讯(记者 王子霖)记者从南宫28ng科技获悉,在4月27日举行的“2024中关村论坛·超高清视听科技创新发展论坛”上,南宫28ng科技与北京经济技术开发区联合发布BlackEye大模型基座及应用场景。
会上,依托BlackEye多模态视听大模型生成的AI视频短片《BlackEye:让每一个视听的想象都成为现实》惊艳全场,该短片凭借卓越的画面连贯性、优异的画质及立体震撼的三维声效,赢得了在场观众的高度赞誉。从“青萍之末的风”到“吹皱一池春水”,从“微澜之间的浪”到“惊涛拍岸”,不管是远景、近景,还是全景、特写,这个基于BlackEye生成的AI短片,都体现出其对物理世界丰富的理解能力。
据了解,BlackEye融合了多种深度神经网络组件,包括Transformer、Diffusion等组件,通过文本、图像、视音频、三维模型等多种模态的编码、解码、多模态潜空间对齐、多模态语言推理及生成等技术,实现不同模态信息之间的推理和预测生成。
同时,BlackEye深度整合了视频、音频、图像、文本和三维模型等跨模态内容的推理与生成能力,包括文本生成、文生视频、图生视频等生成式算法,以及AI视觉增强、AI横竖转换、AI智能集锦等编辑式算法。这些技术的融合应用,可为视听传媒、空间计算、工业视觉和智能座舱等行业提供完整的创新解决方案。