Hand Gesture interface project
Background
AR 환경에서 손 제스쳐를 이용한 UX UI 가설을 설정하고, 가설을 기반으로 실제 작동이 되는 프로토타입을 만들어 보는 프로젝트이다.
It is a project to establish a UX UI hypothesis using hand gestures in an AR environment and create a prototype that actually works based on the hypothesis.
플렛폼 & API 설정 / Platform & API settings.
오큘러스를 사용한 이유는 현재 가장 보편적으로 사용하고 있는 AR/ VR 디바이스이기 때문이다.
The reason for using Oculus is that it is currently the most commonly used AR/VR device.
MRTK API는 핸드 제스쳐 프로그램이 가장 잘 구현되어있고, 오큘러스와 호환이 가능하여 사용했다.
The MRTK API was used because the hand gesture program was best implemented and compatible with Oculus.
사용성, 연속성, 시인성
Usability, Continuity, Visibility
위 3가지를 베이스로 프로젝트를 부분별로 제작, 통합해 나가는 방식으로 진행해 나갔다.
Based on the above three, the project was produced and integrated by part.
1. Usability
a. 사이즈에 대한 이슈 / about size
AR 환경에서 사이즈는 인식률에 영향을 끼친다는것을 깨달았다. 디지털 오브젝트가 너무 크면 인식률이 좋아지지만 손동작이 커지게 되고, 너무 작거나 얇아질 경우 인식에 실패하는 경우가 많아졌다.
I realized that size affects the recognition rate in the AR environment. If the digital object is too large, the recognition rate improves, but if the hand movement becomes too small or thin, recognition often fails.
오브젝트 마다 목적에 맞게 고정 스케일 이거나 가변 스케일을 설정하였다.
A fixed scale or variable scale was set for each object according to its purpose.
As in the above video, a 3D object having a thickness of an appropriate size is comfortable to handle (40mm + α)
위 동영상과 같이 적당한 크기의 두께를 가지는 3D 오브젝트가 다루기 편안하다 (40mm + α)
b. 오브젝트 와 버튼 정리에 대한 이슈 / organizing objects and buttons.
기존의 2d 환경에서 3d 환경으로 변하면서 정보들을 어떻게 정리하는가에 대한 이슈가 생긴다. 오브젝트의 위치에 따라 장단점을 비교해 보았다.
As it changes from the existing 2d environment to the 3d environment, an issue arises about how to organize information. The advantages and disadvantages were compared according to the location of the object.
또한 버튼의 역할과 사용 빈도에 따라 버튼의 위치가 어플리케이션 내부 혹은 외부에 배치하는 작업했다.
In addition, the location of the button was placed inside or outside the application according to the role and frequency of use of the button.
버튼이 내부에 있을경우, 외부에 있을 경우 별도로 스폰되는 경우에 따라 사용성이 많이 바뀌는것을 확인 할 수 있다.
When the button is inside, when it is outside, it may be seen that the usability changes a lot depending on the case where it is separately.
2. Continuity
a. 애니메이션 효과를 통한 시각적 연속성 / Visual continuity through animation effects.
자연스러운 시선의 이동을 위해 애니메이션 효과를 통해 지속적으로 주목을 이끌어내도록 디자인하였다.
It is designed to continuously draw attention through animation effects for natural gaze movement.
3. Visibility
a. 텍스트에 대한 이슈 / About Text
텍스트같은 경우 흰색을 기본으로 설정하였다. 다양한 환경에서 일정한 가독성을 유지한다고 판단했다.
In the case of text, white was set as the default. It was judged that it maintained constant readability in various environments.
텍스트의 레이어를 3개의 나눠 가독성을 높혔다.
The layer of text was divided into three to increase readability.
환경 대응이 가능한 백플레이트 - 텍스트의 그림자 - 텍스트
Environmental response backplate - Shadow of text - Text
b. 백플레이트에 대한 이슈(투명도) / Backplate (Transparency)
백플레이트는 텍스트의 가독성을 높히면서, 사용자의 시야를 많이 가리지 않는 정도를 찾아나는 과정을 가졌다.
Backplate had a process of finding the degree to which it did not block the user's view much while increasing the readability of the text.
광량(Lux)에 따라 투명도를 가변적으로 움직이는 가설을 세워 접근해 보았다. (추가적인 리서치 필요)
I approached with a hypothesis that variably moves transparency according to the amount of light (Lux). (Additional research needed)
Actual Menu Button size: 34mm x 34mm x 24mm
Visual App size: 20mm x 20mm x 15mm
back plate: Transparency 50%
시나리오 구성 / User Scenario
지금까지 정리한 내용을 토대로 걸어가면서 어플리케이션에 접근해서 3d 오브젝트 컨트롤하는 시나리오를 구성해 보았다.
Based on the contents organized so far, I tried to construct a scenario that approaches the application and controls 3d objects while walking.
Thank you
base program: unity, MRTK, Oculus integration
