利用超分辨率的技术和自适应流传输提升用户体验

这是一篇infocomm2020的文章(improving quality of experience by adaptive video streaming with super-resolution),主要是利用超分辨率(super-resolution)和RL来优化视频的传输

当今的高速移动互联网访问,观众期望的视频质量比以前更高。视频服务提供商已经部署了动态视频比特率自适应服务来满足此类用户需求。然而,传统的视频比特率自适应技术高度依赖于动态带宽的估计,并且无法集成视频质量增强技术,或者无法考虑客户端设备的异构计算能力,从而导致用户的体验质量(QoE)低。在本文中,我们提出了一种基于超分辨率的自适应视频流(SRAVS)框架,该框架应用了强化学习(RL)模型整合了视频超分辨率(VSR)技术与自适应视频流策略。VSR技术允许客户端下载低比特率的视频片段,将其重构并增强为高质量的视频片段,同时使系统减少对带宽估计的依赖。RL模型同时考虑了播放统计信息和客户端计算能力的差异。实验证明,与采用或不采用VSR技术的最新视频流策略相比,SRAVS可以显着提高用户的QoE。

SR360:基于超分辨率提升360视频的传输

这是一篇NASSDAV 2020的文章(SR360: Boosting 360-Degree Video Streaming with Super-Resolution),主要是利用超分辨率(super-resolution)的技术来提升360视频的传输

由于360视频能够为用户提供身临其境的观看体验,因此越来越受欢迎。在网络带宽有限的情况下,常常基于用户的Field of View(FoV)来优化360视频的传输。但是,由于用户行为多样且网络条件时间上变化的不确定性,很难进行准确的FoV预测。因此在本文中,我们基于超分辨率(SR)技术重新设计了360视频的传输系统。我们提出的SR360框架的基本思想是利用用户设备上的计算资源来减少网络的压力。在SR360中,可以使用客户端的SR技术将低分辨率的视频块提升为高分辨率的视频块。我们采用深度强化学习(DRL)的理论制定一套决策,包括用户FoV预测,比特率分配和SR增强。我们将SR360与其他最新方法的性能进行了比较,结果表明,在不同的QoE指标下,SR360的性能平均比其他方法至少好30%。

基于超分辨率的360视频的传输

这是一篇infocomm2020的文章(streaming 360-degree videos with super-resolution),主要是利用超分辨率(super-resolution)的技术来优化360视频的传输

360视频可为用户提供身临其境的体验,但与普通视频相比,传输需要更多带宽。最新的360视频流系统使用viewport-prediction(视口预测)来减少带宽需求——预测并仅传输用户将要观看的视频内容。但是预测容易出错,导致用户体验质量(QoE)变差。文章设计了一个可以减少带宽需求,同时提高视频质量的360视频传输系统——PARSEC。PARSEC主要的思想就是权衡网络和客户端的计算能力,使用客户端的计算能力来缓解网络传输的压力。PARSEC使用基于超分辨率的方法,在保证视频质量的同时,减少视频的传输带宽。PARSEC解决了与为360度视频流使用超分辨率相关的一系列挑战:大型深度学习模型,缓慢的计算速度以及增强视频质量的变化。为此,PARSEC在较短的视频片段上训练小型微模型,然后将传统的视频编码与超分辨率技术结合起来以克服挑战。我们通过FCC发布的宽带网络traces和4G/LTE网络traces对真实WiFi网络上的PARSEC进行评估。PARSEC在降低带宽需求的同时,大大超过了最新的360视频流系统。

Java的内部类

面试时被问到,为什么Java要支持内部类,当时懵懵懂懂说可以扩展Java的单继承机制…

Java允许在 一个类内部定义另外的一个类,这就是内部类。内部类分为两类:静态(static nested classes)和非静态(inner classes)。其中非静态的可以访问外部类的成员而静态的不可以(这里指的是外部类的非静态成员)。此外,内部类支持所有的权限修饰符。

楼层扔鸡蛋问题

刷题期间看到一道很经典的面试题,楼层扔鸡蛋,这里记录一下解题的思路。

题目意思就是,给你K个鸡蛋和N层楼,让你设计一个算法,找到第F层楼(高于这层楼扔鸡蛋,鸡蛋会破,不高于则不会破),求直到确切F的最小次数。没破的鸡蛋可以重复使用。

WebRTC中合并多路音频源

chrome中获取系统和麦克风声音并将他们合并到同一个媒体源中。

最近在做webRTC交互时,遇到在屏幕共享中添加声音的需求——需要同时添加系统声音以及麦克风的声音。本文记录一下是如何解决这个问题的。

我的2019

看了很多的APP的年终总结,觉得得有一份自己的总结来概括一下这一年。

之前有一个个人的年度汉字,给自己投的一票是“南”。现想想,这一年过的并不是很“南”,仔细想想,换成了“慢”…

dashjs

dashjs的学习笔记。

dash.js是一个MPEG-DASH视频播放器。在这里记录一下dash.js的学习过程吧。本文参考的dash.js的版本是3.0.0(Vesion.js中定义的)

Pagination