Adobe 发布了 Firefly Video Model 的公测版本,推出了业界首个可商用的 AI 视频生成模型。该功能在 Firefly 应用程序中以 Generate Video (beta) 的形式提供,在 Adobe Premiere Pro 中以 Generative Extend (beta) 的形式提供,Firefly Video Model 可以生成可用于当前生产环境的、具有知识产权保护的视频内容。
这款新软件是 Firefly 创意和生成式 AI 模型家族的最新产品,该系列产品已在全球范围内生成了超过 180 亿个资产。Adobe 将推出两个新的 Firefly 计划,采用分层定价方式,旨在提供灵活的使用方案,用户可以访问新的音频和视频功能以及图像和矢量生成功能,这些功能都由经过重新设计的 Firefly 应用程序提供支持。
Generate Video (beta) 由 Firefly Video Model 驱动,为创意专业人士提供工具,可以通过文本提示或图像生成视频片段,使用摄像机角度控制镜头,从 3D 草图创建专业质量的图像,制作氛围元素并开发自定义动态设计元素。
首先,测试版将支持 1080p 分辨率,同时即将推出用于快速迭代的低分辨率构思模型和用于专业级制作的 4K 模型。创意专业人士、企业、娱乐品牌和媒体机构(包括 Dentsu、Deloitte Digital、IBM、IPG Health、Mattel、PepsiCo/Gatorade、Tapestry 和 Stagwell)正在使用该视频模型测试版。
Adobe 推出新的 Firefly Standard 和 Firefly Pro 计划,提供访问新的 Firefly 应用程序来生成图像和视频。Adobe Firefly 让用户能够生成和编辑图像,将其转换为视频,并在转移到 Adobe Creative Cloud 应用程序进行从构思到制作的转换之前控制摄像机角度和电影运动。
通过 Adobe 的创意应用程序套件,创意专业人士可以使用网页版 Photoshop、Premiere Pro 和 Adobe Express 进一步完善他们的作品。他们还可以利用 Firefly 驱动的功能,如 Photoshop 中的 Generative Fill 和 Lightroom 中的 Generative Remove,使用视频模型编辑和让照片栩栩如生。
Adobe 数字媒体业务总裁 David Wadhwani 表示:"Firefly 专为寻求无与伦比的创意控制和可在生产中安全有效使用的知识产权友好工具的创意专业人士而设计。我们很高兴听到测试用户反馈说这是一个用于构思概念和制作精美视频的改变游戏规则的工具,我们迫不及待地想看到创意社区如何使用它来向世界展示他们的故事。"
Firefly 应用程序为创意专业人士提供一套专业级控制工具,可以从概念到制作完成工作。他们可以创建 3D 世界,从风格和结构参考图像开始,使用专业摄像机角度获得理想的镜头,并将音频和视频翻译成多种语言,同时保持真实的声音,这些都由 Firefly 提供支持。与 Adobe Creative Cloud 应用程序的集成和 Firefly 可以安全地用于商业用途,让创作者有信心使用它来制作生产就绪的内容。
在不到两年的时间里,Firefly 已在全球范围内生成了超过 180 亿个资产,在过去几个月中增长了 50%。Firefly 已从图像生成工具发展成为创意团队的综合生成套件。除了生成高质量图像外,Firefly 还通过专业摄像机角度和定位、丰富的细节和提示准确性以及在图像、视频和 3D 输出中匹配参考图像的结构或风格的能力,为创作者提供对其作品的控制。
今天在 Firefly 应用程序中新增并可用的还有 Adobe 的 Generate Video (beta),创意专业人士可以使用它来生成视频、花絮、动画等,这些都由 Firefly Video Model 提供支持。通过文本转视频和图像转视频功能,创意人员可以从简单的文本提示生成高质量的 1080p 视频,生成花絮来填补时间线上的空白,为镜头添加氛围元素,并开发自定义动态设计元素。
控制功能提供了精确调整任何镜头的能力,包括详细的摄像机设置,如全景航拍视图,并可以通过选择多个运动路径来精确地构图主题,从戏剧性的特写到广阔的远景和动态运动。还可以锁定镜头的第一帧和最后一帧,以在保持颜色和角色细节一致的同时保持视觉连续性。
Scene to Image (beta) 可以从 3D 草图和参考形状创建专业质量的图像。使用轻量级 3D 草图工具,可以通过在文本转图像中直接构建结构参考并使用 3D 工具创建精确的视觉指南来将艺术作品转换为高分辨率图像。包括 3D 图像角度和透视等方面,以获得理想的输出。
通过 Scene to Image,创作者可以从 3D 形状渲染生产就绪的资产,具有专业图形设计工作流程所需的灵活性和精确性。同时,音频和视频翻译功能可以将口语对话翻译成 20 多种语言,并保持真实的声音。视频可以快速翻译,通过个性化和自然的内容触及广大的全球受众。Adobe 声称,通过在将视频内容翻译成不同语言时匹配声音、语调、节奏和声学特征,创作者还可以减少配音表演和音频混音的时间,从而节省时间和预算。
定价和可用性:
Firefly 产品现已提供早期访问定价。有两个新的 Adobe Firefly 计划选项——Firefly Standard 和 Firefly Pro,提供无限制访问 Firefly 图像和矢量功能,以及分层的新视频和音频功能容量。Firefly Standard 计划每月提供 2,000 个视频/音频积分,最多可生成 20 个五秒钟的 1080p 视频,起价 9.99 美元。Firefly Pro 计划每月提供 7,000 个视频/音频积分,最多可生成 70 个五秒钟的 1080p 视频,起价 29.99 美元。
好文章,需要你的鼓励
Docker公司发布重大新功能,旨在简化智能体AI应用的构建、运行和部署。公司扩展了Docker Compose工具以支持AI智能体和模型的大规模部署,并推出Docker Offload服务,允许开发者将AI工作负载转移到云端。新功能还支持模型上下文协议网关的安全连接,并与谷歌云、微软Azure等合作伙伴集成。
这项研究首次将在线强化学习成功应用于流匹配模型,通过巧妙的ODE到SDE转换和去噪减少策略,显著提升了AI图像生成的精确度和可控性。在复合场景生成、文字渲染等任务上取得突破性进展,为AI生成领域开辟了新的技术路径。
欧盟发布AI法案实施细则,要求谷歌、Meta、OpenAI等公司承诺不使用盗版材料训练AI,详细披露训练数据来源和模型设计理念。新规还要求公司尊重付费墙和网站爬虫限制,公开训练和推理的总能耗,并在5-10天内向欧盟AI办公室报告安全事件。违规企业可能面临年销售额7%或3%的罚款。
这篇由阿里巴巴集团联合多所知名高校发表的综述论文,系统梳理了统一多模态理解与生成模型的最新发展。研究将现有模型分为扩散、自回归和混合三大类型,详细分析了不同图像编码策略的特点,整理了相关数据集和评估基准,并深入探讨了当前面临的技术挑战。