A Study on Improvement of the Hole Problem for Open Mesh Objects

메쉬 객체의 Hole 문제 개선에 관한 연구

대부분의 모바일 AR 컨텐츠들은 모바일 디바이스의 기술적 한계로 인해 평면 탐지 후, 그 위에서만 구현되는 제한된 구조를 가지고 있다. 이러한 문제는 제한된 공간이 표현의 범위를 제한하기 때문에 모바일 AR의 확산에 크게 저해가 될 수 있다. 한편 Unity의 AR Foundation이 제공하는 ‘Meshing’은 실제 오브젝트의 크기와 위치에 알맞게 메시를 생성해주는데, 이를 활용한다면 모바일 AR 컨텐츠들은 평면에서 벗어나 더 넓은 현실 공간에 구현될 수 있다. 하지만 ‘Meshing’은 모바일 기기의 센서가 닿지 못하는 부분에는 메시를 생성하지 않기 때문에 별도의 작업 없이 그대로 사용한다면 게임 오브젝트가 빠져나갈 수 있는 구멍이 생길 수 있다. 이 구멍은 컨텐츠 구현에 있어서 치명적이기에 Hole-Filling 알고리즘을 사용하여 구멍을 메우고자 하는 연구가 있었다. 하지만 기존 연구에서 사용하는 Hole-Finding 알고리즘은 특정 상황에서 외곽선과 구멍을 제대로 구별해내지 못하는 문제가 있다. 이 문제는 일부 구멍은 메우지 못하고 외관선끼리 이어버려 컨텐츠에 치명적인 문제를 야기한다. 본 논문에서는 Meshing이 제공하는 노말 벡터와 경계선들로 계산한 노말 벡터 간의 차이를 이용해 구멍과 외곽선을 구분하는 방법을 제안한다. 이 방법을 적용한 결과, 이전 연구의 방법보다 좀 더 빠르면서 구멍과 외곽선을 제대로 구별하는 모습을 확인하였다.

Augmented reality (AR) has been widely applied in various fields, including games. However, most mobile AR content has a limited structure as it is implemented only on the detected plane due to the technical limitations of mobile devices. This problem can hinder the growth of mobile AR as the limited space restricts the range of representation. Unity's AR Foundation provides “Meshing” which generates meshes that fit the size and position of real objects. If it is utilized, mobile AR content can be implemented in a wider real space beyond the plane. However, if used as is, Meshing does not generate meshes in areas where the mobile device's sensors cannot reach, which can result in holes where game objects can fall out. To address this issue, recent research has used Hole-Filling algorithms to fill in the holes. However, the Hole-Finding algorithm used in this research has a problem of not distinguishing outlines from holes in certain situations. This problem results in fatal issues for content implementation where some holes cannot be filled, and outlines are connected to each other. In this research, we propose a method to distinguish holes from outlines by utilizing the difference between the normal vectors calculated by Meshing's provided normal vectors and boundary lines. By applying this method, we confirmed a faster and more accurate distinction between holes and outlines compared to the previous research method.