March 18, 2024
By Tyler Nesler Associate Editor
Short Cuts

如何解决交互式流媒体的延迟挑战

交付成功的大规模互动直播最大的挑战是什么, 特别是实现所需的低延迟, 以及适用的技术解决方案?

Tim Siglin，创始执行董事帮助我流研究基金会和流媒体特约编辑，与Oliver Lietz，首席执行官 nanocosmos和Motoworlds的首席执行官达西·洛林兹，在这段视频中流媒体连接2024, 关于现实世界的交互式流问题, 如何解决这些问题, 以及如何从传统流媒体到虚拟世界提供高质量的用户体验.

西格林首先问了列茨, “互动性给你的公司带来了哪些挑战, 如何建立解决方案模型?”

Lietz强调了为交互式用例维护稳定信号的重要性, 即使在低分辨率或低比特率的情况下. “即使视频掉了, 你仍然需要音频, 但即使是音频，也可以是非常低的分辨率和非常低的比特率，以维持货币化的视频流，以便能够在这些事件上下注或出价,” he says. “这与广播环境有点不同，在广播环境中，你希望在4K屏幕上获得最高的质量.他强调了技术灵活性的普遍必要性. “你需要根据正确的技术进行调整，”他说. “就像WebRTC一样，但(它们)很难根据这些不同的网络情况进行调整. 这就是为什么会有自适应比特率, 哪种广播技术是成熟的, 但这也适用于超低延迟的直播. 至少对我们来说是这样, 我们确实尽可能地降低数据质量，但保持实时流以尽可能低的延迟运行. 如果网络再次恢复正常，您可以再次将其调至高分辨率. So that's key, 无论发生什么, 如果你是通勤的, 如果你的网络不好，你需要持续的直播, 否则你会失去连接. 也可能是这种分布式直播的货币化.”

西格林说:“百分之百正确. 你想在你的编码阶梯中提供可变性，这样如果你有一个从高开始到低的人, 还是回来.他问洛林茨, “当你谈论空间或虚拟世界中的交互性时, 你还必须将其与不存在的化身或世界等事物联系起来. 当你接近目标时，你会遇到什么额外的挑战?”

Lorincz讨论了创造实时游戏的挑战, 虚拟世界中的互动体验, 包括对虚拟人物进行真实对话的需求，以及根据用户偏好实时展开场景的需求. “我发现目前最具挑战性的是如何与语言模型对话，并让它像真正的对话一样与我对话,” he says. “你可以看到这些代理和化身现在非常实时，非常人性化, 但如果你不能和我说话, 它会立即打破这种体验, 现在你要走了, ‘Okay, 这只是一个糟糕的化身体验.“所以你现在必须让虚拟形象思考它在那个语言模型中进行反馈, 在网络的某个地方. 它必须有一个实时的对话，就像我们现在正在做的那样.”

他提出了一个新兴的高度先进的视频文本人工智能模型的具体例子. “他们刚刚推出了一种新的东西，叫做 Sora他说:“现在，它将创建实时场景，实际上是在你的过程中进行视频开发。. “所以你穿过这些超世界, 它在你面前展开是基于你想看到的, 同时你们也在交谈. 这些都是没人想到过的新元素. 现在，它实际上是实时展开的. 任何东西如何从场景或框架中理解它所看到的东西? 所以这个世界将会有很多新的挑战.”

他指出，虽然游戏为这些挑战奠定了基础, 元宇宙的规模和复杂性提出了许多需要解决的新问题. “Fortnite, Minecraft, Roblox他们必须解决这些问题，我们有数百万人在使用服务器. 你如何穿越这些服务器? 在虚拟世界中，有很多问题是我们在其他行业中解决过的，这些问题的规模是我们以前从未想过的. 你从没想过会有10个,000人在一个服务器上, 都在体验一场音乐会或一场虚拟活动. 这种情况现在一直在发生. 他们互相交谈，与机器人和虚拟化身交谈. 所以这是一个有趣的挑战.”

请参阅流媒体连接2024年2月的完整节目视频 here.

我们将于2024年5月20日至22日亲自回来参加纽约流媒体大会. 更多细节请点击这里.