关于AI生成视频是目前AI方向最火爆的赛道之一,各大厂商投入了巨量的资源,相信很快会迎来奇点时刻,并给视频平台带来难以估量的影响,以下是一些知名的AI视频生成产品:
-
Sora12:由OpenAI开发,能够根据文本描述生成长达60秒、1080P高质量的视频,包含精细复杂的场景和生动的角色表情。
-
Hedra13:专注于利用AI技术将基础模型转化为创意产品,其核心产品Character-1可以根据人物照片和语音内容生成具有表现力的视频。
-
VidAU13:一个AI驱动的视频创作平台,可以快速批量生成引人入胜的视频,适用于多种场景。
-
Viva13:由智象未来推出的免费在线AI创意视觉设计平台,提供视频生成和图像生成功能。
-
Glato13:一个AI驱动的广告视频创作平台,提供自动化的视频生成和数字化克隆技术。
-
Vidu13:由生数科技发布的视频大模型,支持一键生成长达16秒、1080P高清视频内容。
-
VASA-113:微软亚洲研究院开发的技术,能够将静态图像和语音音频转换成逼真的对话面部动画。
-
MagicTime13:由Open Sora 团队发布的项目,用于制作时间延迟视频。
-
有言13:一站式AIGC视频创作平台,提供海量高质量超写实3D虚拟人角色。
-
PixVerse15:爱诗科技开发,致力于打造全球领先的AI视频生成大模型及应用。
-
HiDream.ai(智象未来)16:专注于构建视觉多模态基础模型及应用的生成式AI公司。
-
6Pen16:从AI绘画工具起步,逐步打造AIGC社区,提供文字生成视频模式。
-
艺映AI16:由MewXAI团队开发,提供文本、图像生成AI视频的工具。
-
右脑科技(RightBrain AI)16:专注于AI图像和视频生成的初创公司。
-
Boximator16:字节跳动研究院推出的AI视频生成产品,可以通过文本控制生成视频中人物或物体的动作。
-
光流补帧技术:这项技术通过计算两帧图像之间的像素运动向量来生成中间帧,具有计算量小和速度快的优点1。EbSynth是这项技术的代表产品。
-
基于姿态的补帧技术:利用人体关键点检测来计算姿态信息,适合制作具有复杂运动的对象或角色的动画1。
-
重参考补帧技术:使用前后向帧作为参考,通过双向帧信息进行像素级补帧,以提升视频的整体质量和连贯性1。
-
端到端视频生成技术:如Runway公司的产品,使用GAN(生成对抗网络)、VAE(变分自编码器)和Transformer自注意力机制等技术,这些技术各有优势,如GAN能生成逼真视频但控制难度大,VAE可以控制生成过程但质量略低,而Transformer则在时序建模上表现更好但计算量大1。
-
AI视频生成面临的问题:包括生成时间长、视频质量不稳定、语义不连贯、帧间闪烁和分辨率较低等问题。解决方案包括使用渐进生成和增强时序一致性的模型等1。
-
应用场景:AI视频生成技术被应用于专业创作、自媒体、企业客户等不同领域,帮助降低成本、提供灵感和辅助视频编辑1。
-
产品实测:例如,PixVerse和Morph Studio在视频生成时长、提示词内容表现能力等方面表现较好,而其他一些产品如Vega AI、艺映AI和Pixeling则在某些方面存在不足3。
-
Sora模型:由OpenAI开发,通过视频压缩网络将输入的图片或视频压缩成低维度表示形式,再分解为基本构成元素进行视频生成5。
-
Dream Machine:由Luma AI开发,能够快速将文本和图像转换为高质量视频,具有流畅的运动和电影效果,适用于多种场景7。
-
VEED.IO:提供AI视频生成器,允许用户通过文本提示一键生成视频,并提供自动字幕、文本转语音等功能8。
-
PixVerse:一个免费高质量的AI视频生成工具,能够根据文本提示生成多种风格的高清视频11。
上面的很多AI视频产品应该都是耳熟能详,今天来测试一个国外免费生成视频的Luma AI(https://lunaai.video/),以下是提示词:
Prompt
girl,beautify,young,white clothes
视频效果
根据提示词生成了5s的视频,生成速度还挺快,不过目前还达不到商业价值,画面中人物面部处理还可以,但是手部就像有魔法一样存在明显的问题,希望早日看到AI生成视频大规模应用,这也是必然的,AI产业可以极大提升生产效率,推进社会进步。