Gen-1是Runway在本年2月推出的一款(也是该公司的第一款)由文本生成视频的AI大模型。不过就在几天前,它的迭代版别Gen-2也正式发布了。
尽管其时Runway的发言人Kelsey Rondenet说过Gen-2会在未来几周对所有人敞开,不过直到6月,这个许诺才算真的实现了。
在发布Gen-1的时分,Runway专门拓荒了一个网页来给咱们解说Gen-1能怎样用,大致来讲首要包含了下面5个功用:
-上传视频+一段提示词,生成你想要的视频(比方让一只拉布拉多变成斑点狗);-输入图片或提示词,来让一段只做了3D建模的视频草稿变完好;-上传一段随意拍照的视频,主动生成一段有故事感的片段(比方随意摆放的书最终成了一片高楼大厦);-在原视频的基础上,更自由地定制你想要的视频风格(哪怕变出一只实践里并不存在的奇行种)。
-文本和图片到视频:输入一张图片+一段提示词,就能让图片动起来;-图片到视频:只用输入一张图片,就能主动生成一段视频(比方让图片里的云飘起来,水流起来,人走动起来)。
做一个修正视频的东西,那么Gen-2简直现已能作为一个视频出产东西了——试想一句话生成的一个个视频片段,最终拼到一同就能讲一个完好的故事了……总归就是只能拿来玩和能拿来用的差异。
尽管现在Gen-2生成的视频仍然存在细节模糊不清、形状歪曲等等质量问题,且生成的视频长度最多只要4秒,但它或许是现在视频生成范畴最厉害的AI大模型东西了。
当然,从Gen-2开端,也标志着Runway公司正式进入了收费年代:不同于Gen-1的完全免费,Gen-2免费版的视频生成功用有限(试用额度只要105秒,约等于26个4秒视频,且分辨率低、有水印),用户需求每月付15美元(或144美元包年)才干用到它的完好功用。
Gen-2背面的Runway是一家成立于2018年的年青公司,一向在研讨怎样用AI来提高视频制造功率。
除了TikTok和YouTube上的一般用户,Runway的客户还包含了不少干流影视作业室,比方扣扣熊掌管的《深夜秀》就用到过Runway的东西来辅佐修改图画。
它最闻名的一次运用应该是去年在我国观众中心十分出圈的电影《瞬间全宇宙》,据报道里边让人形象深入的面条手,还有石头对话等超实践场景都用到了Runway的技能。
不过很多人或许会疏忽的是,早些天被爆出大丑闻的Stable Diffusion也和Runway关系密切。
精确来说是一向被外界视作Stable Diffusion(时下图画生成范畴最抢手的大模型之一)背面公司的Stability AI爆雷了,媒体列出Stability AI的罪行之一就是,它把Stable Diffusion的10亿代码效果“据为己有”,而它充其量仅仅给Stable Diffusion供给了算力(出了钱)。
实践上真实为Stable Diffusion出力的是慕尼黑大学、海德堡大学,以及Runway。
也就是说,Runway是Stable Diffusion的研制者之一。
后来就像大多数的大模型开发公司相同,不再参加Stable Diffusion项目的Runway在发布Gen-1之后,发展速度就像坐上了火箭,而且在本月初拿到了谷歌的出资,间隔D轮1亿美元的融资刚曩昔一个月,累计融资至少已有2亿美元,成为大模型范畴的明星公司。
说个更直观的数字,2021年12月对冲基金Coatue花3500万美元出资Runway时,其估值为2亿美元,一年后估值变成5亿美元,再过了半年,它的估值就又翻了3倍(保存说有15亿美元)。
在Runway官宣发布Gen-2的推文下,呈现了一些一般用户“求教程”的声响:
不过现已有行动力强的用户开端试着用Gen-2生成自己的视频了,不少用户都在Runway推文的谈论区交上了自己的4秒钟“作业”。
尽管Runway仅仅在网站列出了Gen-2的首要功用,并没有教给咱们更多Gen-2的玩法,但聪明的网友现已自己学着用Gen-2生成的视频剪辑出了一个有回转的短故事。
比方这个叫“Monster of the sea(海怪)”的48秒故事:天气晴朗、惊涛骇浪的一天,一搜帆船开端还很悠然地行进在海上,船上的游客惬意地碰着杯喝着酒,可忽然暴风高文,船员拿起望远镜往远处望,发现一只巨大的海怪呈现在海面,船跟着波浪开端波动,乃至燃烧了起来,船上的人纷繁跳水弃船逃生。
乃至有直接用ChatGPT写了剧本、再用Gen-2生成的视频拼成一个故事的。
还有用户拿Gen-2生成的资料剪了一个1分钟的电影预告片,乃至在最终诙谐地加了一个戛纳电影节的标志,假如生成的视频质量再高一点,怕不是真能以假乱真。
不过视频质量差、生成的视频时长太短等也的确成了用户吐槽Gen-2的点。
而且在为安卓用户供给App服务的问题上,Gen-2和Gen-1相同也仍是没有出息。
当然,更多用户仍是对Runway体现出了宽恕。有网友点评说,“尽管它有太多的不完美,但有一点能够必定,整个视听工业都将迎来革命性的改动。”
还有网友更急进地说,“好莱坞已死,任何人都或许做出一部世界级的电影。”
能够了解为什么广阔网友对Gen-2的推出如此振奋。Gen-2对一般用户的优点是明摆着的——假以时日,文本生成视频技能一旦老练,将意味着拍电影不再仅仅大制片厂的专属,任何一个一般人都能够做一部自己的电影。
Runway并没有清晰说过Gen-2面向的人群到底是谁。不过咱们能够从它推出App以及之前和影视作业室有过的协作等等动作来看,大致猜到有哪些人会用到Gen-2:专业的制片公司,个人作业室性质的独立出产者,以及咱们这样的一般用户。
尽管Gen-2看起来对一般用户很友爱,但制片公司们会用Gen-2这样的东西也是必定的。
究竟大模型不同于曩昔任何一个热过之后就隐姓埋名的概念,它将成为未来又一次深入改动人类的产业革命,简直现已是各行各业的一致。
事实上在国内,现已有影视项目开端凭借大模型来完结一些作业。比方在剧本准备阶段,会把分镜头故事板的产出作业交给Midjourney(听说能省下几十万元的本钱)。
或许能够拿大模型在游戏职业的运用做个类比,Midjourney等东西的运用明显现已对游戏公司产生了十分实践的影响:先是出于节约本钱的需求砍掉美术外包团队,接着就是在自己人身上动刀,乃至有从业者说到最多有8成的原画师会下岗。
不过我反而觉得,Gen-2大模型或许会筛选那些影视职业流水线上的“工人”,但却筛选不了真实的艺术家。
之前听到过一个说法,AI大模型生成的内容里,或许有80%都会是对人类曩昔经历无聊的重复,但也或许有20%亮光的东西。就比方在中式美学和赛博朋克怎么进行交融的问题上,一般创造者或许需求极长期进行考虑,AI却或许生成一个让人意想不到的成果,给人带来惊喜。
还有从业者说到过一个观念,AI大模型运用到影视职业的出产,不意味着非专业人士也能轻松上手——假如想凭借AI的力气创造剧本,还需求针对剧本公式和故事结构等相关常识进行充电。不具备基础常识的小白即使有了AI这个超级助理也杯水车薪。
所以回到AI是不是能替代好莱坞的问题,事实上好莱坞或许是最早对新技能的“侵略”有所感知的,就像在本年5月初,数以千计的好莱坞编剧工会(WGA)成员曾进行停工,诉求之一就是在剧本写作中广泛运用AI的现象。