来源:沈帅波
aigc重塑影视制作,一句话生成视频-尊龙凯时ag旗舰厅
现在做一段大片,不用摄像机、不用租场地、不用找专业人员,就是两句话的事。
今年6月,runway公司出品的ai视频工具gen-2,正式开启免费试用。gen-2的前一代是gen-1,从名字看gen-2只是gen-1的升级,但其实gen-2在gen-1的基础上做了颠覆性改变。
gen-2,真正实现了文字生成视频,只要输入提示词,就可以得到下面这样的视频。
在说gen-2之前,要先聊聊它的上一代——gen-1。gen-1是runway今年2月推出的视频ai大模型,功能主要包括:
-
上传视频并投喂一张图片,让视频变成想目标风格(比如下面的图例);
-
上传视频并输入一段提示词,对视频进行修改(比如上传拉布拉多视频 斑点狗提示词,将视频里的拉布拉多变成斑点狗);
-
上传3d建模视频并输入图片或提示词,让3d建模视频变完整;
-
上传随意拍摄的视频,将模型转换成风格化渲染视频(比如拍摄一段书籍竖放视频,渲染成高楼大厦);
-
上传视频,自定义模型定制想要的视频风格。
gen-2的跨越是实现了纯文字生成视频,功能包括:
-
输入文字,根据提示词生成视频;
-
输入文字并投喂一张图片,根据提示词和图片生成视频;
-
上传一张图,将图片变成视频。
与gen-1相比,gen-2真正实现了视频的“无中生有”。gen-1功能的实现需要先有一个原始视频,更像是视频处理工具,而gen-2已经进化为视频创造工具。
gen-2在今年3月就开始了小规模测试,6月正式开启大范围免费体验。目前在不付费的情况下,用户可以享受105秒试用额度,每个视频4秒,也就是说用户无需付费即可免费体验26个gen-2视频。
更让我惊喜的是,gen-2无需海外ip或手机号,大陆用户也可以注册体验,如果有apple id,甚至不需要注册就可以直接登录。
登录后我进行了第一次尝试,当我在文本框内输入「赛博朋克风格的城市,电影风格」,几十秒后gen-2就生成了一段电影感十足的视频。
可以发现,gen-2生成的画面可看度并不低,只是精细度还存在不足。另外4秒的长度限制,也有些不过瘾。
接下来我进行了第二次测试,这次我的prompt更加丰富,「人类在外太空建造基地,太空中停着宇宙飞船,有科幻感,电影风格」。
这次的画面非常科幻感,很“大场面”,如果忽略画质和细节,说这4秒钟的视频是科幻电影里的片段也不为过。
用户可以通过提示词调整视频内容、风格、光线、景深、色调等等,还可以利用gen-2文字 图片共同生成视频的能力,更便捷地生成一段风格化视频。例如同样输入「赛博朋克风格的城市,电影风格」,再投喂一张蓝黑色系的夜景街道图。
就得到了一段具有图片风格的赛博风街道视频。
gen-2让普通人也能用极低的成本,生成属于自己的“大片”。目前国外已经有用户用gen-2生成了有剧情的故事性短片,在b站上也能搜到类似的网友“作业”。更有机智的用户用chatgpt写剧本,再去用gen-2生成视频,拼成完整故事。
今年三月,runway的宣传文案还是「if you can say it, now you can see it」,到了6月已经变成「if you can imagine it, you can generate it」。只要你能想象出来,gen-2就能把想象变成画面。
说起gen-2,就不得不说说它背后的runway。
runway是一家成立于2018年的年轻公司,打开runway尊龙凯时ag旗舰厅官网,第一屏有一行大字,「利用人工智能提升创造力」。
runway一直致力于利用计算机图形学和机器学习的新进展,提高视觉创作效率,把前沿的计算机视觉技术变成可应用的工具。
创立之初,runway做的是一个关于机器学习模型的应用商店,用户可以在这个商店里使用上百个模型。随着用户和模型目录的增加,runway团队开始转变方向,致力于构建更多人可以使用的即时视频生成工具。
现在runway已经形成了一个ai工具工厂,基于新算法陆续发布了30多个 ai工具,除了上面提到的gen-1和gen-2,还有展开图像边缘、自动模糊人脸、为黑白图像着色、绿幕修图等一系列图片、视频、音频工具。目前在所有产品中,最核心的就是前面提到的gen-1和gen-2。
runway的ai工具让普通人也能快速完成视觉内容处理,以往专业人员要花费几个小时完成的工作,凭借runway的工具几分钟就能完成。现在视频是内容媒体非常重要的组成部分,比如国内的快手、抖音,海外的tiktok、youtube等等,视觉ai产品的推出能够极大程度上提高网络视频的创作效率,同时激发出内容创作者的创造力。
runway的服务对象除了网络上的普通用户,还包括一些专业的影视工作室和制片公司。
比如扣扣熊主持的《深夜秀》就用过runway的工具辅助剪辑,根据runway尊龙凯时ag旗舰厅官网信息,runway公司的技术能够帮助《深夜秀》将5个小时的工作缩短到5分钟。
同时,runway也是《瞬息全宇宙》幕后的技术公司,电影里的热狗手、石头对话等场景都用到了runway的技术。
这部让杨紫琼斩获奥斯卡最佳女主角的科幻电影,背后的视觉效果团队仅有5人。不得不承认,runway公司的aiag尊龙凯时的技术支持极大提升了电影制作的工作效率。导演兼编剧evan halleck 受访时谈道,「仅仅几次点击就让我节省几个小时,我可以用这些时间尝试三四种不同的效果,让影片效果更好。」
可以说,包括runway在内的ai公司,正在引领影视制作的新时代。
今年2月gen-1发布后,runway的发展速度快到仿佛坐上了火箭,不但在短短几个月后就推出了划时代的产品gen-2,还在今年6月获得了谷歌投资,获得新资金后runway的估值将达到15亿美元。不到半年时间,runway的估值整整翻了3倍。
人工智能的发展,可能会彻底颠覆包括影视业在内的很多行业。大模型不同于以往任何一个风光一时又转瞬即逝的概念,它很可能推动人类完成一场产业革命。
比如《流浪地球》导演郭帆近期在采访时提到,《流浪地球》第三季如果拍摄的话,至少会减掉一半的人。ai已经大踏步“入侵”影视制作行业,虽然ai还无法完成创新工作,但能够大幅降本增效。
根据媒体的报道,将热门美剧的剧情投喂给ai后,它已经可以续写剧本大纲。当然,虽然ai已经可以应用到影视创作中,但不意味着可以完全替代人类。
生成式ai的应用引发了很多从业人员的不满,今年5月,好莱坞上万名电影和电视编剧罢工走上街头,要求提高薪资,拒绝用自己的作品投喂ai,更拒绝给ai打工。这是2007年来,美国娱乐业第一次出现大规模罢工。
ai到底是和人类争夺未来,还是帮助人类在阵痛中完成产业革命,对这个问题不同人有不同的立场。从个体角度看,很多人已经遭遇来自ai技术的“威胁”。
游戏业已经出现第一批因ai失业的画师。最开始游戏公司只是砍掉了外包,现在连自己人也开始缩减。与此同时,文案人和画师同病相怜,部分对创造力要求不高的文案从业者同样面临失业。
今年4月,知名4a广告公司蓝色光标下发邮件,要求全面停用文案外包,邮件写道,“为了遏制核心能力空心化的势头,也为了给全面拥抱aigc打下基础,管理层决定无期限全面停止创意设计、方案撰写、文案撰写、短期雇员四类相关外包支出。”
现在这股风正在吹向影视业。导演陆川在接受采访时提到,之前电影的场景设计,要先说、再画、再建模,现在画出来直接把图给midjourney,就可以自动渲染成立体图。重复工作的提效可以将更多空间留给创新,同时也会挤走原本承担这部分工作的人力。
gen-2的推出让ai在视觉领域的应用更进了一步,目前依靠gen-2,普通人也可以做出看起来很厉害的视频,如果未来runway的技术迭代到gen-n,chatgpt迭代到chatgpt-n,不排除ai自己生成一部电影的可能性。
过去很多人困扰于陷入重复性工作和没有创新的工作,但当ai技术即将替代这些工作时,人类又展现出高度恐慌。这就像是世俗与精神自由中间的冲突,“我不想做无聊的工作,但我需要靠无聊的工作赚钱”。
人工智能将以什么样的形式完成对人类世界的改变,目前难下定论。但能够确定的是,在未来,人的创造力将是最核心的竞争力。目前网上出现这样一种文章,称“gpt-4创造力碾压人类”,但从目前chatgpt、gen-2等ai产品的生成结果来看,并没有体现出这一点,ai修炼出“创造力”仍需时间。
乐观地看,从工具性的角度人类或许难以胜过人工智能,但人类有“人性”,会自由思考,有灵光乍现的创造力,这是ai在很长一段时间内难以替代的。
就像ai技术开发公司dgene高级副总裁兼总经理helena packer说的,“ai是能将人们从过去受限的表达方式中解放出来,帮助人们表达自我的一种工具。”。
ai技术的进步是为了将人类从某些限制中解放出来,而不是为了打败人类。

扩大web3生态影响力,aws与cronos重塑行业未来

灵境至维,用3d技术重塑数字世界

nft产品的价值重塑

迪士尼小美人鱼最新预告被“跨人种重塑”,ai技术如何让影片重获新生
