什么是 B 级片?什么是 Cult Film? - 知乎《一本到无线中字》高清在线观看-爱看影院
化疗后,张丽君身体每况愈下。
2024年12月23日,京沪高铁:整装待命
什么是 B 级片?什么是 Cult Film? - 知乎《一本到无线中字》高清在线观看-爱看影院
参数量仅为原来1%北邮等利用超分算法提出高性能视频传输方法2021-09-03 15:31·机器之心Pro机器之心专栏北京邮电大学-模式识别与智能系统实验室来自北京邮电大学和英特尔中国研究院的研究团队创新性地利用超分辩率算法定义了网络视频传输任务减小了网络视频传输的带宽压力互联网视频在过去几年发生了爆发式增长这给视频传输基础设施带来了巨大的负担网络视频传输系统的质量很大程度上取决于网络带宽受客户端 / 服务器日益增长的计算能力和深度学习的最新进展的启发一些工作提出将深度神经网络 (DNN) 应用于视频传输系统的工作以提高视频传输质量这些 DNN 的方法将一整个视频平均分成一些视频段然后传输低分辨率的视频段和其对应的 context-aware 模型到客户端客户端用这些训练好的模型推理对应的低分辨率视频段通过这种方式可以在有限的互联网带宽下获得更好的用户体验质量 (QoE)其中传输一段长视频需要同时传输多个超分辨率模型近日来自北京邮电大学和英特尔中国研究院的研究者首先探索了不同视频段所对应的不同模型间的关系然后设计了一种引入内容感知特征调制(Content-aware Feature ModulationCaFM)模块的联合训练框架用来压缩视频传输中所需传输的模型大小该研究的方法让每一个视频段只需传输原模型参数量的 1%同时还达到了更好的超分效果该研究进行了大量的实验在多种超分辨率 backbone、视频时长和超分缩放因子上展现了该方法的优势和通用性另外该方法也可以被看作是一种新的视频编解码方式在相同的带宽压缩下该方法的性能(PSNR)优于商用的 H.264 和 H.265体现了在行业应用中的潜能论文链接:http://arxiv.org/abs/2108.08202GitHub 地址:https://github.com/Neural-video-delivery/CaFM-Pytorch-ICCV2021与当前单图像超分辨率 (SISR)和视频超分辨率 (VSR)的方法相比内容感知 DNN 利用神经网络的过拟合特性和训练策略来实现更高的性能具体来说首先将一个视频分成几段然后为每段视频训练一个单独的 DNN低分辨率视频段和对应的模型通过网络传输给客户端不同的 backbone 都可以作为每个视频段的模型与 WebRTC 等商业视频传输技术相比这种基于 DNN 的视频传输系统取得了更好的性能尽管将 DNN 应用于视频传输很有前景但现有方法仍然存在一些局限性一个主要的限制是它们需要为每个视频段训练一个 DNN从而导致一个长视频有大量单独的模型这为实际的视频传输系统带来了额外的存储和带宽成本在本文中研究者首先仔细研究了不同视频段的模型之间的关系尽管这些模型在不同的视频段上实现了过拟合但该研究观察到它们的特征图之间存在线性关系并且可以通过内容感知特征调制(CaFM)模块进行建模这促使研究者设计了一种方法使得模型可以共享大部分参数并仅为每个视频段保留私有的 CaFM 层然而与单独训练的模型相比直接微调私有参数无法获得有竞争力的性能因此研究者进一步设计了一个巧妙的联合训练框架该框架同时训练所有视频段的共享参数和私有参数通过这种方式与单独训练的多个模型相比该方法可以获得相对更好的性能该研究的主要贡献包括:提出了一种新颖的内容感知特征调制(CaFM)模块的联合训练框架用于网络间的视频传输;对各种超分辨率 backbone、视频时间长度和缩放因子进行了广泛的实验证明了该方法的优势和通用性;在相同的带宽压缩下与商业 H.264 和 H.265 标准进行比较由于过度拟合的特性该方法展示了更有潜力的结果图 1方法神经网络视频传输是在传输互联网视频时利用 DNN 来节省带宽与传统的视频传输系统不同它们用低分辩率视频和内容感知模型取代了高分辨率视频如上图所示整个过程包括三个阶段:(i)在服务器上对每个视频段的模型进行训练;(ii) 将低分辨率视频段与内容感知模型一起从服务器传送到客户端;(iii) 客户端上对低分辨率视频进行超分工作但是该过程需要为每个视频段传输一个模型从而导致额外的带宽成本所以该研究提出了一种压缩方法利用 CaFM 模块结合联合训练的方式将模型参数压缩为原本的 1%动机和发现图 2该研究将视频分成 n 段并相应地为这些视频段训练 n 个 SR 模型 S1、S2 ...Sn然后通过一张随机选择的输入图片(DIV2K) 来分析 S1、S2...Sn 模型间的关系该研究在图 2 中可视化了 3 个 SR 模型的特征图每张图像代表某个通道( channel)的特征图为了简单起见该研究只可视化了一层 SR 模型具体来说该研究将特征图表示为其中 i 表示第 i 个模型j 表示第 j 个 通道k 表示 SR 模型 的第 k 层卷积对于随机选择的图像可以计算和之间的余弦距离来衡量这两组特征图之间的相似度对于图 2 中的特征图该研究计算了和之间的余弦距离矩阵如图 3 所示研究者观察到虽然 S1 , S2 ...Sn 是在不同的视频段上训练的但根据图 3 中矩阵的对角线值可以看出对应通道之间的余弦距离非常小该研究计算了 S1、S2 和 S3 之间所有层的余弦距离的平均值结果分别约为 0.16 和 0.04这表明虽然在不同视频段上训练得到了不同的 SR 模型但是和之间的关系可以通过线性函数近似建模这也是该研究提出 CaFM 模块的动机图 3内容感知特征调制模块(CaFM)该研究将内容感知特征调制 (CaFM) 模块引入基线模型(EDSR)以私有化每个视频段的 SR 模型整体框架如图 4 所示正如上文动机中提到的CaFM 的目的是操纵特征图并使模型去拟合不同的视频段因此不同段的模型可以共享大部分参数该研究将 CaFM 表示为 channel-wise 线性函数:其中 x_j 是第 j 个输入特征图C 是特征通道的数量a_j 和 b_j 分别是 channel-wise 的缩放和偏置参数该研究添加 CaFM 来调制基线模型的每个卷积层的输出特征以 EDSR 为例CaFM 的参数约占 EDSR 的 0.6%因此对于具有 n 个段的视频可以将模型的大小从 n 个 EDSR 减少到 1 个共享 EDSR 和 n 个私有 CaFM 模块因此与基线方法相比该方法可以显著降低带宽和存储成本图 4联合训练正如上文中所介绍的该研究可以利用 CaFM 去替换每个视频段的 SR 模型但是通过在一个 SR 模型上微调n 个 CaFM 模块的方式很难将精度提升到直接训练 n 个 SR 模型的 PSNR因此该研究提出了一种联合训练的框架该框架可以同时训练 n 个视频段公式可以表示为:对于 SR 图片i 表示第 i 个视频段s 表示该视频段中的第 s 个 sample公式中 W_s 表示共享的参数W_i 表示每个视频段私有的参数对于每个视频段可以这样计算损失函数:在训练过程中该研究从视频段中统一采样图像来构建训练数据所有图像用于更新共享参数 W_s而第 i 个视频段的图像用于更新相应的 CaFM 参数 W_iVSD4K 数据集Vimeo-90K 和 REDS 等公共视频超分数据集仅包含相邻帧序列(时常太短)不适用于视频传输任务因此该研究收集了多个 4K 视频来模拟实际的视频传输场景该研究使用标准的双三次插值来生成低分辨率视频研究者选择了六个流行的视频类别来构建 VSD4K其中包括: 游戏、vlog、采访、体育竞技、舞蹈、城市风景等每个类别由不同的视频长度组成包括:15 秒、30 秒、45 秒、1 分钟、2 分钟、5 分钟等VSD4K 数据集的详细信息可在论文的 Appendix 中阅读同时 VSD4K 数据集已在github项目中公开定性 & 定量分析主实验对比根据上表可以清晰地看到在不同的视频和超分尺度上该方法 (Ours) 不仅可以追赶上训练 n 个模型 (S1-n) 的精度并且可以在峰值信噪比上实现精度超越注:M0 表示不对长视频进行分段在整段视频上只训练一个模型VS codec该部分实验对本文提出的方法和传统 codec 方法 (调低码率做压缩) 进行了定量比较根据上表可以清晰地看到 (红色表示第一名蓝色表示第二名)在相同的传输大小下(Storage)该方法(Ours) 在大多数情况下可以超越 H264 和 H265同时视频的长度越长SR 模型所占传输大小的比例越小该方法的优势越明显定性比较总体而言该论文创新性地利用超分辩率算法定义网络视频传输任务目的是减少网络视频传输的带宽压力利用内容感知特征调制 (CaFM) 模块结合联合训练的方式对每个视频段对应的模型参数量进行压缩(1%)为后续的研究者提供了新的研究方向
后来通过相关媒体采访曹占茹后,我们也知道她为何会有这些“奇怪”的爱好。我国跨四种干湿地区和四种温度带的省区是哪里?当然是大甘肃,甘肃东南西北的干湿环境和气候条件都不一样,这就是甘肃的独特之处,这个省份既可以联系新疆,也可以连接青藏高原,又可以和内蒙古、宁夏相连,还可以和四川、陕西相接。这样的区位环境,也促成了甘肃独特的历史文化环境,使得甘肃上东南西北各个区域好似组合在一起的。