TVMC: Time-Varying Mesh Compression Using Volume-Tracked Reference Meshes

Abstract

Time-varying meshes (TVMs), characterized by their varying connectivity and number of vertices, hold significant potential in AR/VR applications. However, their practical use is challenging due to their large file sizes and the complexity of time-varying topology. Many time-varying mesh compression methods attempted to exploit redundancy between consecutive meshes to compress TVMs more efficiently, however, most face difficulties in establishing stable vertex and surface correspondence between the frames of a TVM. We propose TVMC, a novel TVM compression method that leverages volume tracking and extracts high-quality reference meshes for inter-frame prediction. Specifically, we use as-rigid-as-possible volume tracking to align consecutive TVMs and track volume centers, followed by multidimensional scaling to refine reference centers. This allows us to precisely deform a group of frames to the reference space and extract the reference mesh which is then deformed to approximate each mesh in the group to get displacement fields for TVM compression. Extensive experiments show that TVMC outperforms state-of-the-art methods (e.g., Google Draco, V-DMC 4.0, etc.), with bitrates of 4-6 Mbps compared to 9-12 Mbps for Draco and 10-15 Mbps for V-DMC 4.0. It reduces the decoding time by 66.1% compared to Draco and enables an increased group of frames (up to 15) without significant distortion.

Časově proměnlivé sítě (TVM), které se vyznačují proměnlivou konektivitou a počtem vrcholů, mají významný potenciál v aplikacích AR/VR. Jejich praktické využití je však náročné kvůli velké velikosti souborů a složitosti časově proměnlivé topologie. Mnoho metod komprese časově proměnných sítí se pokoušelo využít redundanci mezi po sobě jdoucími sítěmi k efektivnější kompresi TVM, většina z nich však naráží na potíže při vytváření stabilní korespondence vrcholů a povrchů mezi snímky TVM. Navrhujeme TVMC, novou metodu komprese TVM, která využívá sledování objemů a extrahuje vysoce kvalitní referenční sítě pro predikci mezi snímky. Konkrétně používáme co nejpřesnější sledování objemu k zarovnání po sobě jdoucích TVM a sledování středů objemu, po kterém následuje vícerozměrné škálování ke zpřesnění referenčních středů. To nám umožňuje přesně deformovat skupinu snímků do referenčního prostoru a extrahovat referenční síť, která je poté deformována tak, aby se přiblížila každé síti ve skupině a získala pole posunutí pro kompresi TVM. Rozsáhlé experimenty ukazují, že TVMC překonává nejmodernější metody (např. Google Draco, V-DMC 4.0 atd.) s přenosovou rychlostí 4-6 Mb/s oproti 9-12 Mb/s u Draco a 10-15 Mb/s u V-DMC 4.0. Zkracuje dobu dekódování o 66,1 % ve srovnání s Draco a umožňuje větší skupinu snímků (až 15) bez výrazného zkreslení.