你在哪里?- - - - - -

这个ai使罗伯特·德尼罗在完美的德语中执行线条

与深度造假相关的技术有助于将面部动作与对话匹配起来。

这个ai使罗伯特·德尼罗在完美的德语中执行线条
Paul Bednyakov |盖蒂张照片

你在跟我说话…在德国吗?

深蓝技术让罗伯特·德尼罗说出了他著名的台词出租车司机在完美的德国-与现实的嘴唇运动和面部表情。人工智能软件可以控制演员的嘴唇和面部表情,使其与用不同语言说同一句台词的人的讲话令人信服地匹配。的人工智能以科技为基础的科技可能会以诱人和令人不安的方式重塑电影行业。

该技术与深度造假有关,即使用人工智能将一个人的脸粘贴到另一个人的脸上。它承诺允许导演有效地用不同的语言重拍电影,使外国版本对观众来说不那么刺耳,更忠于原著。但是,如果不小心使用,自动改变演员面部的权力也可能引发争议。

人工智能配音技术是由完美的,英国公司被董事联合在一起斯科特·曼他说,他厌倦了在自己的电影中看到蹩脚的外国配音。

在看了他当时最新的一部电影的外国版本后,抢劫曼恩说,配音毁了精心制作的场景,这让他很震惊。(他拒绝透露具体的语言。)曼恩说,配音有时需要显著地改变对话,以使其更接近演员的嘴唇动作。他说:“我记得当时我几乎崩溃了。“你在一个词或一个表演中做出一个小小的改变,它可以在故事节奏中对一个角色产生巨大的改变,进而对电影产生巨大的改变。”

曼恩开始研究与深度造假有关的学术工作,这让他一个涉及人工智能配音的项目基督教Theobalt他是德国马克斯·普朗克信息学研究所的教授。这项工作比传统的深度伪造更复杂。它包括捕捉场景中演员的面部表情和动作,以及用另一种语言说同样台词的人。然后将这些信息结合起来创建一个3D模型,将演员的面部和头部与配音员的嘴唇运动结合起来。最后,用数字技术将结果缝合到场景中的演员身上。

完美无瑕的设计灵感来自于Theobalt的项目。曼恩说,该公司正在与电影公司讨论制作几部电影的外国版本。《完美无瑕》的其他演示片段显示了杰克·尼科尔森和汤姆·克鲁斯的著名台词英雄本色在法语和汤姆汉克斯讲西班牙语和日语的场景中阿甘

“很快就会看不见,”曼恩说。“人们会看一些东西,他们不会意识到它最初是以法语或其他什么拍摄的。”

曼恩说,无瑕公司也在研究如何通过让演员说新台词来帮助电影公司避免昂贵的重拍。但他表示,一些演员看到自己被人工智能操纵时,会有些不安。他说:“恐惧和惊叹是我不断得到的两种反应。”

维吉尼亚加德纳她似乎并不太担心,尽管她认为经过人工智能修改的电影应该会有免责声明。她说:“我认为这是一个演员保留自己表演的最好方式。”“如果你信任你的导演,相信这个过程只会让电影更好,那么我真的看不到它的负面影响。”

人工智能视频处理是有争议的,这是有充分理由的。随着人工智能技术的进步,可以在视频场景中无缝切换一个人的脸的免费深度伪造程序激增。该软件识别人脸上的关键点,并利用机器学习捕捉人脸的运动方式。

该技术已被用于创建假名人色情和破坏性的复仇色情片针对妇女。专家们担心,在妥协情况下显示着名人可能会传播错误信息并摇曳选举。

在电影行业,现成的脸部操纵可能会引起争议。Darryl Marks适应娱乐特拉维夫的一家公司正在开发另一种人工智能配音工具。他说,他不确定一些演员看到自己的表演被改变时会作何反应,尤其是如果表演不是由电脑完成的。“如果有一个非常著名的演员,他们可能会阻止它,”他说。

“这项技术的合法和道德用途,”屏幕行动赛公会的总法律顾问邓肯·克拉伯特兰 - 爱尔兰说。“但是必须使用所涉及的表演者的同意以及适当和适当的赔偿的任何使用这些技术。

李郝是一位专门使用AI进行面部操纵的视觉效果艺术家,表明电影导演和生产者对Deeweakes和相关AI技术表现出越来越兴趣。创建DeepFake通常需要几个小时的算法处理,但是LI正在研究一部更高级的Deefake软件让导演看到一个实时转换的演员。

李说,当在2000年代广泛使用时,这种情况感觉类似于使用照片逼真的计算机图形。现在,感谢AI,“突然每个人都想做点什么,”他说。

这个故事最初出现在wired.com

127年读者评论

  1. 一个有价值的对手。
    然而,《出租车司机》的原版克林贡语听起来总是最好的。
    1900帖子|挂号的
  2. 我得到的只是一个"没有已知网站的视频"而不是一个视频因此无法欣赏《假德尼罗》嗯。
    |注册了765个帖子
  3. “让外国版本不那么刺耳,更忠于原著”

    任务没完成,我觉得很不和谐。

    越来越多,带有配音电影,我一直感受到视觉性能和被称为从工作室内的未进入的人口的被称为的声音之间的强烈断开。添加假下颌动作显然似乎对我来说似乎没有修复,它只将断开连接进入视觉效果。

    可能是因为我更善于调整自己已经习惯的脱节。但这项技术似乎还有待改进。
    544个帖子|注册
  4. 引用:
    但是,任何此类技术的使用必须得到相关表演者的同意,并有适当和适当的补偿。

    我可以了解想要的想法,因为演员有一个他们必须培养的形象,但是补偿?除非你正在使用使用演员的肖像生成的全新场景,否则为什么他们应该得到赔偿?
    15405帖子|注册
  5. WereCatf写道:
    我得到的只是一个"没有已知网站的视频"而不是一个视频因此无法欣赏《假德尼罗》嗯。


    同样在这里。但链接仍然适用于Wired.com文章:
    https://www.wired.com/story/ai-makes-de…ss-german /

    顺便说一下,我没有发现假唱比非人工智能配音更好。
    法国线路通过杰克尼奥尔森AI配音看起来不明显。
    德尼罗的嘴在德国看起来很奇怪。

    并不是说它不会实现,这是一个聪明的想法,但还不是一个已经解决的问题。
    |注册了336个帖子
  6. wagnerrp写道:
    引用:
    但是,任何此类技术的使用必须得到相关表演者的同意,并有适当和适当的补偿。

    我可以了解想要的想法,因为演员有一个他们必须培养的形象,但是补偿?除非你正在使用使用演员的肖像生成的全新场景,否则为什么他们应该得到赔偿?

    赔偿分布胶片的市场的分配,并且可能被视为衍生作用(它们正在修改原始作用和面部表情)。这不是一个剪切的干燥问题只是配音或贬低,它们正在修改演员原创性能,并且可以看到这件事是有趣的。
    20个帖子|注册
  7. wagnerrp写道:
    引用:
    但是,任何此类技术的使用必须得到相关表演者的同意,并有适当和适当的补偿。

    我可以了解想要的想法,因为演员有一个他们必须培养的形象,但是补偿?除非你正在使用使用演员的肖像生成的全新场景,否则为什么他们应该得到赔偿?


    如果这种配音使外国电影更受欢迎,那么工作室就明显更多的钱。鉴于他们正在调整演员的表现,我看不到演员的问题得到了削减它。
    1897年帖子|挂号的
  8. 香蕉油!——乔治·武井
    38974帖子|注册
  9. 这些都不看起来令人信服。有一天,我相信他们会的,但这些例子对他们来说有一个不一体的谷方面,这真的是关闭我的。我宁愿看到演员的原始面部表情和唇部运动。这项技术并不是那么 - 它很近,但它还没有那么。

    最后一次编辑sneezeparty2021年5月22日周六上午8:21

    |注册了27个帖子
  10. 音频配音和衰老的外表之间,也许罗伯特·德尼罗可以从他的爷爷,退休人员和古怪的老家伙电影中做出深刻的假卷土。我正在看着你“与爷爷的战争”(2020),“最后拉斯维加斯”(2013年)和“实习生”(2015年)。但是,他获得了爱尔兰人的+10奖金积分。

    这是我逆衰老养生法的一部分。如果我年轻时最喜欢的演员都没有老去,那么我将永远年轻。看着哈里森·福特在我们眼前变老已经够难受的了。不是《猎鹿人》。
    64个帖子|注册
  11. 不是完美无缺,有一些严重不自然的面部体操,特别是在情感场景。
    有105个帖子在|注册
  12. 塞吉奥·里昂的意大利西部片本可以从这项技术中获益良多。
    |注册了887个帖子
  13. 我回想起《奔跑吧兄弟》中假死亡的场景,意识到:这种技术的时代已经到来。

    谢天谢地,其余的未来和杀人尤其不是。
    |注册了5523个帖子
  14. 只需使用字幕和ffs。配音是给庸人的。
    602帖子|挂号的
  15. WereCatf写道:
    我得到的只是一个"没有已知网站的视频"而不是一个视频因此无法欣赏《假德尼罗》嗯。

    视频在移动网站不起作用,工作在桌面模式下
    54个帖子|注册
  16. 在大约30秒的时候,杰克看起来就像一个可怕的恐怖谷(我也想说这是一个糟糕的匹配,但那是另一个问题)。汤姆·克鲁斯的深度假动作在动画和声音匹配方面都要好得多。

    德尼罗在49秒的成绩太可怕了。他的配音与他的实际声音很匹配,但整个下巴的移动是一种可怕的机械断奏,在我看来,这剥夺了表演。

    当然,技术会随着时间的推移而改进,但就目前而言,它只是比目前的技术更好(并不是一个特别高的门槛)。


    所有这些都对未来提出了一些有趣的问题。我记得当《指环王》电影上映的时候,安迪·瑟金斯饰演的Golem的动作捕捉表演获得了相当多的关注,因为他可能会成为奥斯卡/金球奖等奖项的竞争者。后来,好莱坞的机构采取了限制措施,并划定了一条界线,即CG/动作捕捉不值得考虑获得表演奖。

    考虑到这一点,我想知道从现在开始100年,2121人会回顾和质疑美国古代民众可以在Rockstar的La Noir或普通梦想的各种莫里斯的CG和Mo-Cap混合的视频游戏的赞誉- 删除的表演(超越两个灵魂中的ellen页面),但我们在拍摄电影/电视时绘制了这条线。如果到那时主导媒体是类似于钻石时代的东西“ractors我们都玩着自动cg和动作捕捉,在数码游乐场里游弋?在未来,奥斯卡奖得主的表现会是什么样的呢?
    |注册了4273个帖子
  17. 是的,这项技术永远不会被滥用政治或宣传目的。:-(
    |注册了7498个帖子
  18. 纽约写道:
    一个有价值的对手。
    然而,《出租车司机》的原版克林贡语听起来总是最好的。

    你在哪里?
    100帖子|挂号的
  19. BananaBonanza写道:
    越来越多,带有配音电影,我一直感受到视觉性能和被称为从工作室内的未进入的人口的被称为的声音之间的强烈断开。添加假下颌动作显然似乎对我来说似乎没有修复,它只将断开连接进入视觉效果。


    是啊,我想他们也在研究这个,完全取代配音员。喜欢不仅翻译实际的单词,而且还“声纹”和表达在声音。这很难,因为训练数据往往会把你拉到一个平均的声音和平均的表情,而不同的句子结构使它很难。

    另外,如果你有一个像帕特里克·斯图尔德那样的声音,他说法语和德语时带有英国口音吗?比如,有多少来自你必须保持的个性,又有多少来自你需要翻译的语言。但是他们正在到达那里。但是我认为演员们最担心的是他们会雇一个漂亮的面孔,然后用这种方式表演。
    554个帖子|注册
  20. WereCatf写道:
    我只得到一个“视频匹配没有已知的网站”代替视频,因此不能享受机器人德尼罗。嗯。

    FTFY;)
    1帖子|挂号的
  21. 我在视频中看到的还不够好,但是我可以很容易地看到它很快就会好起来。我对真实电影配音的正当目的没有异议。但它确实为其他目的打开了大门。

    至于配音,不仅我认为唇部同步可以批准,还有其他挑战的变化时间。不同的语言具有不同的主题动作形容词 - 副词排序。如果表达者对特定单词的强调强调,那么必须转移到另一个地位的特定翻译,技术需要考虑这一点。

    另外,翻译比原语言短或长也很困难,特别是当对话与故事的其他元素同时出现在屏幕上时。在完美无缺地使用“无瑕”之前,还有很多工作要做。
    |注册了1425个帖子
  22. Kjella写道:
    BananaBonanza写道:
    越来越多,带有配音电影,我一直感受到视觉性能和被称为从工作室内的未进入的人口的被称为的声音之间的强烈断开。添加假下颌动作显然似乎对我来说似乎没有修复,它只将断开连接进入视觉效果。


    是啊,我想他们也在研究这个,完全取代配音员。喜欢不仅翻译实际的单词,而且还“声纹”和表达在声音。这很难,因为训练数据往往会把你拉到一个平均的声音和平均的表情,而不同的句子结构使它很难。

    另外,如果你有一个像帕特里克·斯图尔德那样的声音,他说法语和德语时带有英国口音吗?比如,有多少来自你必须保持的个性,又有多少来自你需要翻译的语言。但是他们正在到达那里。但是我认为演员们最担心的是他们会雇一个漂亮的面孔,然后用这种方式表演。


    我认为我会倾听帕特里克管家叙述的任何事情。与David Attenborough和James Earl Jones一样。只是独特而且非常强大的声音。
    |注册了1477个帖子
  23. 这项技术很酷,但还没有准备好黄金时间,那张配音的脸看起来很糟糕,马甲脸。
    |注册了284个帖子
  24. coconutboy写道:
    所有这些都对未来提出了一些有趣的问题。我记得当《指环王》电影上映的时候,安迪·瑟金斯饰演的Golem的动作捕捉表演获得了相当多的关注,因为他可能会成为奥斯卡/金球奖等奖项的竞争者。后来,好莱坞的机构采取了限制措施,并划定了一条界线,即CG/动作捕捉不值得考虑获得表演奖。


    我想动作捕捉的一个问题是,它只是动画的一个起点,我们不知道安迪·瑟金斯有多少是没动过的,有多少是后期制作。如果你看的是像《冰雪奇缘》这样的全动画,角色最多有一个首席动画师,但每一个面部动画都要从概念到故事板再到草稿再到最终渲染,每一步都要进行调整和重新调整。事实上,他们经常使用自己的录音作为初稿。但它与你在屏幕上看到的东西相去甚远,我认为你无法以任何有意义的方式称他们为演员。
    554个帖子|注册
  25. 为什么那些嵌入式视频播放器没有音量控制?
    23162帖子|挂号的
  26. 爪子写道:
    wagnerrp写道:
    引用:
    但是,任何此类技术的使用必须得到相关表演者的同意,并有适当和适当的补偿。

    我可以了解想要的想法,因为演员有一个他们必须培养的形象,但是补偿?除非你正在使用使用演员的肖像生成的全新场景,否则为什么他们应该得到赔偿?


    如果这种配音使外国电影更受欢迎,那么工作室就明显更多的钱。鉴于他们正在调整演员的表现,我看不到演员的问题得到了削减它。

    我困惑。那演员难道不会分到一份吗?
    |注册了2246个帖子
  27. 虽然面部/唇部运动是正确的,但似乎音频/视频略有异步。
    80帖子|挂号的
  28. 是的,这项技术永远不会被滥用政治或宣传目的。:-(

    试想一下人工智能接管后的可能性。
    |注册了2246个帖子
  29. 请不要。看一部德语版的英语电影已经够痛苦的了(《巴菲》是德语版?这不会让事情变得更好。
    |注册了211个帖子
  30. 这似乎需要很大的努力。我敢肯定只要五块钱和一袋薯片你就能让现代的德尼罗用德语说他自己的台词。
    |注册了2244个帖子
  31. BananaBonanza写道:
    “让外国版本不那么刺耳,更忠于原著”

    任务没完成,我觉得很不和谐。

    越来越多,带有配音电影,我一直感受到视觉性能和被称为从工作室内的未进入的人口的被称为的声音之间的强烈断开。添加假下颌动作显然似乎对我来说似乎没有修复,它只将断开连接进入视觉效果。

    可能是因为我更善于调整自己已经习惯的脱节。但这项技术似乎还有待改进。


    我觉得这与其说是技术问题,不如说是演技问题。当你拥有一组能够为场景带来深度和情感的一流演员,然后你又将不同技能水平的配音演员取而代之时,你总是会产生脱节。
    637个帖子|注册
  32. 我喜欢他们的视频突出音频配音技术,它将语音的音量降低到电影预告片配乐的1/3。
    有399篇帖子|已注册
  33. sneezeparty写道:
    这些都不看起来令人信服。有一天,我相信他们会的,但这些例子对他们来说有一个不一体的谷方面,这真的是关闭我的。我宁愿看到演员的原始面部表情和唇部运动。这项技术并不是那么 - 它很近,但它还没有那么。


    同意了。这感觉类似于经典黑白电影中的笨拙色彩;没有足够的说服力来避免分心,不管怎样,我真的宁愿只看到最初的意图。

    虽然我想在这里可能会有“完美的良好”效果。我可以愉快地观看副标题的外国电影,但这不是大多数人如何体验到他们,如果这项技术使得可能更加自然的被称为翻译(通过缓解匹配嘴唇的负担),那么它可能是净积极的。我仍然可以观看字幕的版本。
    |注册了27个帖子
  34. 我以为听起来会像他。非常让人失望。
    5087帖子|注册
  35. Total.wimp.写道:
    我觉得这与其说是技术问题,不如说是演技问题。当你拥有一组能够为场景带来深度和情感的一流演员,然后你又将不同技能水平的配音演员取而代之时,你总是会产生脱节。


    Deepfaking语音演员正在下次发布。
    |注册了1746个帖子
  36. TetsFR写道:
    WereCatf写道:
    我得到的只是一个"没有已知网站的视频"而不是一个视频因此无法欣赏《假德尼罗》嗯。


    同样在这里。但链接仍然适用于Wired.com文章:
    https://www.wired.com/story/ai-makes-de…ss-german /

    顺便说一下,我没有发现假唱比非人工智能配音更好。
    法国线路通过杰克尼奥尔森AI配音看起来不明显。
    德尼罗的嘴在德国看起来很奇怪。

    并不是说它不会实现,这是一个聪明的想法,但还不是一个已经解决的问题。


    事实上,英语电影中的德语同步一开始就很好,也许是因为这两种语言之间有很多共同点,这使得这项任务更容易完成。

    最后一次编辑ventolin422021年5月22日周六上午10:46

    |注册了202个帖子
  37. 这对第一个公告非常好。我认为很多蠢事都是由于缺乏运动模糊,这应该需要更多的渲染时间,但另外是为了增加而微不足道。并编辑颚爪移动的距离使皮肤在其余的面部拉动的量将需要更多的工作,但它绝对是可行的。请记住,他们从一个人的动作到另一个人的脸,所以预计他们就不会匹配100%而没有一些处理。
    3809个帖子,|注册
  38. Cecilia Giménez是这项技术的先驱。
    79帖子|挂号的
  39. ventolin42写道:
    事实上,英语电影中的德语同步一开始就很好,也许是因为这两种语言之间有很多共同点,使得这项任务更容易完成。


    上帝,没有。我来自挪威,我们通常使用字幕,但我在德国也有朋友,他们说德语,所以我看了他们的一些配音。它绝对是可怕的,除非你是伴随着它长大的,而你的大脑发展出一个盲点来忽视它。也许比其他配音的好,但这仍然是猪身上的口红。
    554个帖子|注册

你必须置评。

通道Ars Technica