Изследователите са разработили нова система за облачни игри, която използва ниско ниво на бял шум за точно синхронизиране на разделени аудио и видео потоци. Уникалният подход позволява на геймърите да виждат и чуват нещата в точното време, дори при лошо качество на микрофона или при наличие на фонов шум.
Облачните игри наистина се развиха, когато COVID-19 излезе на световната сцена и много от нас трябваше да си стоят вкъщи. Според Statista, броят на глобалните потребители през 2019 г. е 45,9 милиона; досега, през 2023 г., потребителите са общо 295 милиона.
При типична настройка за облачни игри сървърът получава входове за игри и потоци от аудио чат от аксесоари за игри, като контролери и слушалки. В отговор той едновременно генерира два отделни медийни потока за плейъра. Първият е поток от екран на игра, включващ аудио и видео от играта, предназначен за екранно устройство като телевизор или таблет. Вторият е поток от аксесоари за игри, предназначен за контролери и аудио слушалки за игри, включващ аудио от играта, смесено с чат от други играчи и хаптична обратна връзка, като например вибрации на контролера.
Тези два потока обикновено се предават по отделни мрежи, което може да доведе до липса на синхронизация – забавяне между потока – между двата, което води до забавяне на видеото, бавен хаптичен отговор и лошо игрово изживяване. Изследователи от Масачузетския технологичен институт се обединиха с Microsoft Research, за да разработят Ekho, система, която използва уникална техника за справяне със забавянето на междупотока. Те ще представят документ, описващ тяхната система на конференцията на 2023 ACM Special Interest Group on Data Communication (SIGCOMM) в Колумбийския университет, Ню Йорк, от 10 до 14 септември.
Изследователите започнаха, като разгледаха проблема в сърцето на забавянето между потока: синхронизация на часовника.
„Ако контролерът и екранът можеха да гледат часовниците си и в същото време да виждат едно и също нещо, тогава бихме могли да синхронизираме всичко с часовника“, каза Поуя Хамаданян, водещ автор на статията. „Но много теоретична работа върху синхронизирането на часовника показва, че има определени граници, които никога не можете да преодолеете.“
Често срещан метод за адресиране на проблеми със синхронизирането на часовника е пинг-понг съобщенията, при които устройството изпраща пинг съобщение до сървъра, който отговаря с понг; времето, необходимо за отиване и връщане на съобщението, се използва за изчисляване на латентността на мрежата. Въпреки това, този метод може да бъде ненадежден, тъй като може да отнеме повече време за достигане на съобщението до сървъра, отколкото за обратното съобщение. Изследователите казват, че хората могат да възприемат забавяне между потока, след като то достигне 10 ms.
„Така че, ако нещо се случи на екрана, искаме то да се случи в рамките на 10 милисекунди и на контролера“, каза Хамаданян.
За да подобрят синхронизацията, те проектираха Ekho да добавя „псевдо-шум“ – бял шум с ниска сила, недоловим за хората – към аудиото на играта, преди да бъде излъчено към екрана на играча. Модулът Ekho-Estimator добавя идентични последователности от псевдо-шум към звука на играта; след това, когато получи записано аудио от играта от контролера, той слуша за последователностите и се опитва да подреди потоците. Ekho-Estimator изпраща тази информация към модула Ekho-Compensator, който или пропуска няколко милисекунди звук, или добавя няколко милисекунди мълчание към звука на играта, изпратен от сървъра, за да синхронизира потоците.
Когато изследователите тестваха системата Ekho върху реални облачни стрийминг сесии, те откриха, че тя може да изчисли междупоточното забавяне с точност под милисекунда. Дори когато качеството на микрофона е лошо или се улавя фонов шум, в 86,6% от случаите, Ekho ограничава междупоточното забавяне до по-малко от 10 ms.
„Традиционният начин за правене на това, който включва опит за измерване на грешката при синхронизиране с помощта на основната мрежа, грешките са значително по-големи“, каза Кришна Чинталапуди, един от съавторите на статията. „Когато започнахме този проект, не бяхме сигурни дали това изобщо може да бъде направено. Но точността, до която можем да стигнем с Ekho, на нива под милисекунди, е нечувана.“
Окуражени от откритията си, изследователите планират да видят как Ekho синхронизира пет контролера към едно и също екранно устройство. В момента, тъй като Ekho е проектиран за използване в облачни игри, обхватът му е ограничен. Бъдещата работа може да бъде насочена към подобряване на обхвата на системата, така че да може да се използва на по-големи разстояния.
„Използването на нечуваем бял шум като вид „времеизмерител“ е чудесен пример за това как нестандартното мислене може да доведе до неочаквани резултати“, каза Мохамад Ализадех, съавтор на изследването. „Техниката може да подобри потребителското изживяване не само в облачните игри, но потенциално във всеки сценарий за поточно предаване на множество устройства.“
Докладът, който ще бъде представен на SIGCOMM 2023 конференцията може да бъде намерена тук в PDF формат.
източник: MIT
Публикациите се превеждат автоматично с google translate
