你可曾记得20 世纪 80 年代每当麦当娜在她的巡回演唱会中每次奏响热门歌曲“La Isla Bonita”时,她身后的巨大舞台屏幕上就会播放出超现实的“夕阳下云彩”的移动图像?
如今,如果也想“只需输入文字”就能将你脑海中的景象转变成视频,其最简单的方法是通过Runway发布的从文本到视频模型工具来制作视频。
Runway AI 是来自纽约一家名为 Runway 的初创公司的基于人工智能的工具集合。在这些工具中,Runway Gen-1 是一个 AI 视频到视频的 AI 生成器,通过现有视频,将 AI 效果应用于已有媒体。因此,需要提供一个基础视频供模型执行其后续工作。而 Runway Gen-2 是一个 AI 文本/图像到视频的生成器。不需提供任何视频,它可以接受图像或文本作为提示,并按照这些提示生成视频。
凭空创作视频最简单的方式就是用Gen-2通过提供一段文字,就可以为你生成一段视频。
可以访问:https://runwayml.com/来体验这两个模型,选择相应的模型输入提示词就可以根据需要修改的设置并生成你想要的视频。
Runway提供了很多基于人工智能的编辑工具,包括:视频到视频(Gen-1)、文本/图像转视频(Gen-2)、删除背景、文字转图像、图像到图像、训练你自己的生成器、无限影像、展开图片、帧插值、擦除和替换、背景混音、图像变化、3D捕捉、3D纹理、修复、颜色等级 (LUT)、超慢动作、模糊脸部、景深、场景检测、提取深度、干净的音频、消除沉默等
今天,我们就用最简单的方式体验生成视频这个功能。就拿我喜欢的一首歌做为示例,这首歌就是《You Raise Me Up》它鼓舞了许多暂时深处困境并无法自拔人。其旋律从舒缓到振奋,层层递进,让人逐渐摆脱出当前的悲伤与孤单,勇敢迎接必将光明的明天!
首先我们把要把这首歌词变成Gen-2模型能理解的提示。如果你觉得这一步可能比较费脑子的话,我们也可让GPT-4来帮忙。GPT根据歌词给出的提示词是:
视频开始于一位疲惫、失落的人物独自坐在宁静的自然环境中,四周被蔚蓝的山峦和宽广的海洋包围。镜头慢慢拉近,捕捉到他的眼神中流露出的孤独与忧郁。
画面转换,出现一个亲切的人物静静地走到他身边坐下,温暖的手臂环绕着他的肩膀。这一举动带来安慰和力量,他的眼神开始显露出希望和决心。
随着音乐的升华,画面展示这位人物站立起来,在他的亲友的支持下,他开始攀爬高山,勇敢地面对暴风雨中的惊涛骇浪。镜头中,他从山顶望向远方,面对风暴的海面,彰显出内心的力量和勇气。
画面再次转变,展示他在亲友的肩膀上看向更远的地方,似乎触及了生命的极限。此时,画面捕捉到他们共同的笑容,体现出相互支持和无私的爱。
最终画面,随着夕阳的落下,他们一起在海边行走,每个人的心中都有着不同的饥渴,但共同的体验让他们感受到生活的完整和奇迹。随着镜头的拉远,音乐缓缓降低,留下一种宁静而充满希望的氛围。
其英文:
The video begins with a weary, despondent individual sitting alone in a tranquil natural setting, surrounded by azure mountains and expansive seas. The camera slowly zooms in, capturing the loneliness and melancholy in his eyes.
The scene transitions to a kind figure quietly walking over and sitting beside him, with warm arms wrapping around his shoulders. This gesture brings comfort and strength, and hope and determination start to shine in his eyes.
As the music swells, the scene shows the individual standing up, with the support of his loved one, he begins to climb mountains and bravely faces the stormy seas. From the mountaintop, he looks into the distance, confronting the tempestuous ocean, demonstrating inner strength and courage.
The scene shifts again, showing him on the shoulders of his friend, looking toward even greater distances, seemingly reaching beyond the limits of life. At this moment, the camera captures their shared smiles, reflecting mutual support and selfless love.
In the final scene, as the sun sets, they walk together along the seaside, each with different yearnings in their heart, but the shared experience brings a sense of completeness and wonder to their lives. As the camera pulls away and the music slowly fades, a serene and hopeful atmosphere lingers.
这有5段文字,也就是需要用5个场景来呈现。所以我们需要一个场景一个场景的去生成。
注册好进入主页面:
进入Gen2模型页面:
我们可以看到,它既可以根据你有的视频资产生成视频也可以通过文字,我们这次采用文字生成视频。
插入第一段文字后就会生成第一个场景。模型会为你产生一段4S 的视频。视频会呈现在右侧,生成好的视频就可以下载并保存。
最后可以将5段生成好的视频进行拼接,或者再用Gen1模型继续AI拓展、丰富,希望有兴趣的读者朋友们能继续探索……
今天,生成视频已十分简单、便捷,但人工智能生成的最长视频仍然是以秒计,经常会出现抖动动作和明显的缺陷:如扭曲的手和面部。相信随着技术的不断进步,这些问题会得到很好的改善。
好文章,需要你的鼓励
OpenAI 本周为 ChatGPT 添加了 AI 图像生成功能,用户可直接在对话中创建图像。由于使用量激增,CEO Sam Altman 表示公司的 GPU "正在融化",不得不临时限制使用频率。新功能支持工作相关图像创建,如信息图表等,但在图像编辑精确度等方面仍存在限制。值得注意的是,大量用户正在使用该功能创作吉卜力动画风格的图像。
Synopsys 近期推出了一系列基于 AMD 最新芯片的硬件辅助验证和虚拟原型设计工具,包括 HAPS-200 原型系统和 ZeBu-200 仿真系统,以及面向 Arm 硬件的 Virtualizer 原生执行套件。这些创新工具显著提升了芯片设计和软件开发的效率,有助于加快产品上市速度,满足当前 AI 时代下快速迭代的需求。
人工智能正在深刻改变企业客户关系管理 (CRM) 的方方面面。从销售自动化、营销内容生成到客服智能化,AI不仅提升了运营效率,还带来了全新的服务模式。特别是自主代理AI (Agentic AI) 的出现,有望在多渠道无缝接管客户服务职能,开创CRM发展新纪元。
数据孤岛长期困扰着组织,影响着人工智能的可靠性。它们导致信息分散、模型训练不完整、洞察力不一致。解决方案包括实施强大的数据治理、促进跨部门协作、采用现代数据集成技术等。克服数据孤岛对于充分发挥AI潜力至关重要。