电脑装配网

视频版“Midjourney”来了,App Store上直接下载,限量免费

 人阅读 | 作者pangding | 时间:2023-06-09 03:45

智东西

编译 | 周炎

编辑 | 云鹏

智东西4月26日消息,据The Verge报道,AI初创公司Runway近期在手机上推出了其第一款移动应用程序RunwayML,用户可以在自己手机上制作出各种风格的AI视频。据悉,这款应用程序使用了Runway此前推出的Gen-1模型,这是一种视频到视频(video-to-video)的生成式AI模型。当用户在应用程序中输入文本、图片、视频后,Gen-1模型可以根据用户输入的内容转化成对应的视频风格。

目前RunwayML中预设了六种图像风格,包括泥塑(Claymation)、折纸(Paper Origami)、水彩(Watercolor)、纸墨(Paper and ink)、素描(Charcoal Sketch)。当用户在这个应用程序中上传一段某人在公园骑自行车的视频后,可以选择“水彩”“素描”等指令作为输入,让视频变为不同风格。

The Verge称,这种功能类似于滤镜,但与滤镜不同的是,它不仅仅是简单地改变视频的颜色和质感。以上图展示的折纸风格为例,RunwayML会尽可能地识别用户所上传视频画面中的物品,并把所有物品都变成统一风格,例如在折纸世界里,原本画面中的人会变成纸片人。

今年3月,微软和IBM推出AI制图工具Midjourney,用户只需输入关键字,就可通过算法生成相应的图片。用户还可以选择不同画家的艺术风格,同时有别于谷歌的Imagen和OpenAI的DALL.E,Midjourney是第一个快速生成AI制图并开放给予大众申请使用的平台。作为只需要输入关键字、图片、视频等就可生成视频的RunwayML可谓是“视频领域的Midjourney”。目前,用户可以在App Store中免费下载RunwayML,但是每个月只有一定数量的免费额度。

需要注意的是,目前RunwayML的输出结果并非完美。例如,当用户在应用程序中输入“泥塑”的指令后,最终应用程序输出具有3D泥塑动画效果的视频可能并不让用户满意。视频中的物体会出现变形、变模糊等问题。

The Verge记者还亲身体验这款软件,他使用影片《热天午后》(Heat)中抢劫犯桑尼的代表性片段生成了三段不同的视频。右下角这个“穿西服的猫”就是在应用程序中输入一张猫的照片后生成的,可以看到该应用程序将猫的脸应用在桑尼的脸上,甚至还给桑尼的手上增加了毛皮,但同时也为桑尼保留了他的西装。

下图右侧这个纸墨版伦敦圣保罗大教堂(St.Paul’s Cathedral)生成也十分简单,用户只需在应用程序中输入“纸墨”的文字提示,伦敦圣保罗大教堂就变换了新风格。该记者称,一个有创造力的人使用这款应用程序,将会生成很多很有意思且特别壮观的视频。

Runway的CEO Crist ó bal Valenzuela称,让生成式AI工具在手机上使用是非常重要的,“因为你可以直接使用手机来录制视频,然后通过输入相关指令来让Gen-1模型转换成新视频。”

目前,Runway在手机上应用还有一些限制。例如,用户不能上传的视频时长不能超过5秒,同时用户也不能使用一些被禁止的输入提示。具体来说,用户不能不能生成裸体或版权受保护的作品等。The Verge记者在该应用程序中输入“吉卜力工作室风格”(in the style of a Studio Ghibli film)的提示,被应用程序所拒绝。据悉,“吉卜力工作室”是宫崎骏曾经所在的工作室,“吉卜力工作室风格”是日本动画的代表性风格。

在生成速度上,该应用程序生成每个视频大约需要2到3分钟,这个时间可能随着技术进步而缩短。目前,这个应用程序使用的是Gen-1模型,但Valenzuela称,更加先进的Gen-2模型很快也会用在该应用程序上。

目前来看,这种生成式AI工具虽然还有不成熟之处,但是却展示了视频生成领域的无限可能性。Valenzuela将当前的生成式AI比作为19世纪的“光学器具”(optical toys),它们虽然功能有限,但却是现代摄影机器的祖先。

结语:生成式AI在视频领域发展前景广阔

事实上,近期不止Runway一家公司在AI视频生成领域布局,英伟达最近也推出了AI视频生成模型VideoLDM,这款模型是与康奈尔大学相关团队合作打造的,VideoLDM共有41亿个参数,其中27 亿个经过视频训练,这符合现代生成式AI的标准。此前,谷歌推出Imagen,OpenAI推出DALL.E,也都显示出行业巨头对AI视频生成领域的重视。

今年2月,Gartner发表预测称,到2030年,电影大片中AI生成内容的比例(从文本到视频)将从2022年的0%上升到90%。可以预见的是,生成式AI未来将会更广泛地应用于视频领域。

来源:The Verge


文章标签:

本文链接:『转载请注明出处』