你不仅可以改变你的脸,神经网络还可以让你看1896年的“4K”电影。

谈到神经网络,你首先想到的是什么,许多人首先想到的是前一段时间大火中的变脸应用“ZAO”。神经网络在图像领域被称为“魔法”,它的应用首次向每个普通用户展示许多

的用户在使用ZAO后对神经网络有“技术恐惧”,担心ZAO会侵犯他们的图像权。由于各种原因,ZAO也很快从市场上消失,成为技术应用的“负面模式”。

但是神经网络还有另一个用途,那就是增强图像。

▲ 1895电影“火车到站”图片来自:维基

神经网络旧电影翻新

最近,一个外国优酷发布了一个神经网络增强1895纪录片“火车到站”。整部电影只有45秒长,由路易斯·琉米爱尔和奥古斯特·琉米爱尔在法国的一个沿海城市拍摄传说当火车驶向摄像机时,大量观众惊恐地跑出剧院,表现出当时人们对新技术的好奇和恐惧。当然,这些过去的事件已经成为都市传奇。

,然而,通过“新技术”神经网络对电影的改造也具有深远的意义。

| 1895年到达的火车是由35mm格式的胶片制成的。由于当时投影仪是用手驱动的,我们可以粗略地假设它的原始帧速率在16到24帧之间。

由于当时的电影技术还不成熟,我们可以看到场景比较模糊,火车来的时候有明显的拖影。

,但是经过神经网络的图像分辨率增强和帧插入,旧电影获得了4K ~ 60fps的图像质量如果不是电影的黑白画面和电影独特的画面抖动,画面的平滑度和清晰度几乎可以与当前的智能手机相媲美。

是什么使得神经网络在图像增强和帧插入方面有这样的效果?

我们知道数字视频的清晰度通常由分辨率和帧速率决定(暂时不考虑影响图像压缩质量的码率)神经网络对视频的增强主要关注这两个参数

分辨率增强

首先让我们谈谈分辨率增强。如果我们想把低分辨率的图片变成高分辨率的图片,我们需要猜测由放大产生的未知像素。在正常情况下,我们将使用一些插值算法来计算,以实现图像的模糊和锯齿边缘之间的平衡。这种计算通常不能增加图像的细节,即使图像被放大,它仍然显得非常模糊。

▲wai fu2xsrcnn算法与传统算法相比,

神经网络在提高分辨率方面具有独特的优势。也许你以前听说过waifu2x软件,它经常被卡通爱好者用来放大卡通插图当然,它也可以用于照片放大。

waifu2x的核心方法是通过机器学习来训练端到端网络。低分辨率图像被用作输入以获得相应的高分辨率结果图像。最终结果在图像的锯齿和模糊程度上具有更好的性能。训练原理类似于FCN模型。

▲不同算法对视频分辨率提高的效果图片来自:下载. co.jp

实际上,waifu2x的超分辨率卷积神经网络优于传统的双三次插值算法

当然,waifu2x的算法只能用于静态图片。然而,这些方法都是相同的,并且在madvr中用于放大视频分辨率的ngu算法在原理上是相似的。

视频插入帧

神经网络对视频插入帧有自己的用途。因维达之前发布了一个名为超级慢波的神经网络,它可以通过联合建模运动解释和遮挡推理以及光流算法生成中间帧。

这项技术可以将原来的30帧视频降低到240帧,并添加图片的运动细节

华为Mate 30 Pro 7680帧慢动作也是通过神经网络插入1080P/960fps视频帧生成的。可见,类似的神经网络帧插入算法确实具有很高的应用价值。

结尾写道:技术是一把双刃剑

可以看出,用神经网络处理图像(也称为人工智能图像)并不是一项非常可怕的技术,它是一把双刃剑。如果你用它来改变视频的面貌并侵犯他人的图像权,这是一项糟糕的技术。

,但如果我们能将其用于旧电影翻新、手机超慢动作和实时视频增强,这是一项很好的技术。

也许优酷翻拍了《火车来了》,也试图用这部电影的传奇故事告诉我们,“不要害怕新技术的到来。”

大家都在看

相关专题