Author : Jin Hyeop Lee

(Any action violating either copyright laws or CCL policy of the original source is strictly prohibited)

 

본 글은 원본 http://iyd.kr/881 의 일부를 발췌, 편집한 것입니다.

 

아이패드 프로의 러닝메이트 : 애플펜슬

 

(사진 : 애플 애플펜슬 소개 페이지)

 

애플이 발표회에서 공식적으로 애플 펜슬을 발표한 순간 세계 각지에서 다양한 반응이 터져 나왔습니다. 애플펜슬을 환영하는 사람들도 있었지만 애플펜슬에 걱정과 조롱을 보내는 사람들이 더 많았습니다. 지금까지 절대적이라 여겨지던 와콤 기반의 펜이 아니었고 어쨌든 검증되지 않은 첫 제품이기 때문입니다. 하지만 애플은 애플펜슬을 사용하는 것이 마치 진짜 연필이나 제용도구를 사용하는 듯한 느낌을 받을 것이라며 자신감을 보여왔습니다. 걱정과 조롱 일색이던 세간의 평가 역시 실제 애플펜슬이 배포되기 시작하고 여러 전문가 리뷰들이 나오면서 조금씩 바뀌기 시작했습니다. 애플은 정말 '연필 같은' 애플 펜슬을 만들어낸 것입니다.

 

애플펜슬이 하는 일은 매우 단순해 보입니다. 그냥 사용자가 그은 선을 인식하는 스타일러스죠. 다른 스타일러스들이 외부 버튼을 이것저것 달고 있는 것과 달리 그런 것도 없습니다. 하지만 그 안에 들어간 기술은 절대로 간단하지 않습니다. 우리가 느끼는 자연스러운 드로잉을 위해 다양한 하드웨어, 소프트웨어적 기술이 사용되었습니다. 그럼 애플펜슬이 어떻게 작동하는지 차근차근 알아보도록 합시다.

 

(사진 : 애플펜슬 소개 영상 중)

 

애플펜슬을 처음 받아들고 아이패드 화면에 갖다 대면 아무 일도 일어나지 않습니다. 애플펜슬은 일반적인 정전식 스타일러스와 달리 전원이 꺼져있거나 블루투스를 통해 페어링 되어 있지 않은 경우 작동하지 않습니다. 이건 애플펜슬이 액티브하게 동작하기 때문입니다. 그렇다면 어떻게 아이패드 프로의 서브시스템이 애플펜슬의 신호를 특이적으로 받아들이는지 알아봅시다.

 

애플펜슬의 끝 부분에는 분리 가능한 팁이 있습니다. 이 팁에는 전극이 탑재되어 있는데 이 전극은 애플펜슬의 본체와 금속 접점으로 연결되어 작동합니다. 사실 애플펜슬에는 두 개의 전극이 있는데 하나는 끝 부분의 팁에 있고 나머지 하나는 절연체로 구분되어 펜슬의 본체 쪽에 위치합니다. 두 번째 전극의 역할은 뒤쪽에서 다시 기술하겠습니다. 애플펜슬 내부에는 클럭 발생기가 존재합니다. 클럭 발생기는 이름 그대로 일정한 클럭 신호를 발생시킵니다. 이 클럭 신호는 내부의 Cortex-M3 기반의 마이크로컨트롤러(MCU)를 통해서 각각의 전극에 도달하게 되고 애플펜슬의 각 전극은 고유한 신호를 발생시키게 됩니다.

 

(사진 : 애플 특허 문서 'Stylus Orientation Detection' Fig. 17)

 

(사진 : iFixit, Creative Electorns)

 

(사진 : iFixit, Creative Electrons)

 

(사진 : iFixit)

 

이렇게 발생한 전기 신호는 아이패드 프로의 터치 시스템에서 특이적으로 인식됩니다. 오늘날의 멀티 터치 화면은 그 자체가 하나의 시스템을 구성하고 있습니다. 역시 Cortex-M 계열의 프로세서가 이들 서브시스템을 총괄하고 있으며 그 외에도 여러 가지 부속들이 터치를 인지해 메인 시스템으로 전송하기 위해 작동하고 있습니다. 애플은 애플펜슬을 위해 아이패드 프로의 터치 서브시스템을 개량했습니다. 정전식 터치스크린은 수많은 가로, 세로 도선들로 구성됩니다. 이 도선들에 영향을 주는 물체를 인지하여 그 위치를 계산하는 방식으로 작동하지요. 애플은 정확도를 높이기 위해 기존에 존재하던 도선의 밀도를 늘렸습니다. 아이패드 프로의 터치 서브시스템은 픽셀 단위로 정밀하게 위치를 계측할 수 있게 설계되었습니다. 또 내부의 프로세서, 메모리, 송출부, 수신부 등의 성능을 개량하여 최대 1초에 240번씩 터치 입력을 스캔할 수 있도록 했습니다. 또 아이패드 프로의 터치 서브시스템은 터치 입력이 애플펜슬이 송출하는 신호에 의한 것인지를 구분할 수 있습니다. 이 정보를 통해 터치 우선권, 스캔율 등이 결정되게 됩니다.

 

(사진 : 애플 특허 문서 'Stylus Orientation Detection' Fig.19)

 

 

위 그림은 각각 터치 서브시스템이 어떻게 구성되어 있는지와 실제 터치 센서 패널 부분의 작동을 도식화한 것입니다. 터치패널에는 픽셀 단위로 가로, 세로 도선이 배치되어 있는데 애플 펜슬의 팁 부분 전극에서 나온 신호가 도선에 영향을 주면 영향을 받은 도선을 통해 팁의 위치를 특정합니다. 물론 전극이 하나의 도선만 활성화하는 것이 아니라 주변 여러 개 도선을 활성화하지만 전위의 변화 정도와 피드백 신호 등을 종합하면 정확한 위치를 찾을 수 있습니다. 터치 서브시스템은 이렇게 얻어진 내용을 메인 시스템에 전송하고 이를 통해 운영체제와 각종 어플리케이션이 터치 정보에 대해 접근할 수 있습니다.

 

지금까지 알아본 내용은 아이패드 프로가 어떻게 애플 펜슬의 화면상 위치를 특정하는지에 대한 것이었습니다. 제가 위에서 애플펜슬에는 두 개의 전극이 있다고 말씀드린 것을 아직 기억하고 계실 것입니다. 하지만 지금까지 설명한 내용에는 팁 부분의 전극 하나만이 언급되었습니다. 그렇다면 나머지 전극 하나는 왜 필요한 것일까요? 바로 이 두 번째 전극이 애플펜슬의 기울기 인식을 가능하게 해 줍니다. 애플펜슬의 기울기 인식이 어떻게 이뤄지는지 좀 더 자세히 알아봅시다.

 

접점 바로 위쪽의 애플펜슬 부분은 절연체로 구분되어 또 다른 전극으로 작동하는데 작동 원리는 위에서 말씀드린 첫 번째 전극과 같습니다. 사실 아이패드 프로의 터치 서브시스템은 팁의 전극 위치뿐만 아니라 이 두 번째 전극의 위치 역시 계속 스캔하고 있습니다. 

 

 

 

첫 번째 그림을 봅시다. 각각의 전극에서 나온 신호는 아이패드 프로의 터치 서브시스템에 의해 인식됩니다. 아이패드는 두 점의 좌표를 각각 측정할 수 있습니다. 당연히 평면상에서 두 점의 거리를 구해낼 수 있게 됩니다. 또, 애플펜슬 내에 있는 전극 간의 거리는 항상 일정합니다. 즉 직각삼각형의 두 변의 길이가 주어진 셈이므로 삼각함수를 통해 펜의 기울기 값을 계산해낼 수 있게 됩니다. 이런 일련의 과정은 모두 터치 서브시스템에서 이뤄지며 메인시스템으로는 최종적으로 계산된 기울기 데이터만이 넘어가게 됩니다. 당연히 어플리케이션들은 이 기울기 데이터를 응용해 멋진 기능들을 구현해 낼 수 있겠지요.

 

전문가용 스타일러스에 또 빠질 수 없는 기능이 한 가지 있지요. 바로 필압감지 기능입니다. 애플펜슬의 필압감지는 팁과 연결된 심 부분이 통째로 이동하는 방식으로 이루어집니다. 정확히 말하면 팁이 안쪽의 심에 체결되고 이 심과 외장 사이에 물리적인 이동을 통해 압력을 감지하는 센서가 존재합니다. 이렇게 측정된 필압 데이터는 블루투스를 통해 아이패드 프로로 전송됩니다.

 

지금까지 살펴본 여러 하드웨어적 기술이 애플펜슬이 잘 작동하는 데 큰 영향을 줬습니다. 하지만 단순히 이런 하드웨어적인 처리만으로는 애플펜슬이 보여주는 반응성과 자연스러움을 설명하기 어렵습니다. 실제로 애플은 애플펜슬이 자연스럽게 작동하게 하려고 많은 소프트웨어적 장치들을 동원했습니다. 하드웨어만큼이나 중요한 부분이죠. 지금부터 알아보겠습니다.

 

먼저 스타일러스로 화면에 썼을 때 자연스럽다는 평가를 받기 위해서는 반응 속도가 빨라야 합니다. 스타일러스로 선을 그었는데 선이 한 박자 늦게 스타일러스를 따라오는 게 눈에 보인다면 자연스럽다는 평가를 받기는 어렵겠죠. 애플펜슬은 딜레이를 없애기 위해 여러 가지 노력을 했습니다. 소프트웨어적인 속임수 없이 이론적으로 구현 가능한 최소 딜레이는 16~32ms입니다. 60Hz의 디스플레이에서 한 프레임이 갱신되는 게 대략 16.7ms이기 때문입니다(본 글에서는 쉬운 계산을 위해 소수점 자리를 버리고 계산했습니다. 정확한 딜레이는 1/60값으로 계산할 수 있습니다). 특정 프레임 타임중에 명령이 들어오게 되면 그 명령이 아무리 빨리 처리되더라도 그 결과를 화면에 표시하기 위해서는 한 프레임이 갱신되는 동안 기다려야 하기 때문입니다. 그리고 실제로는 특정 명령이 바로 다음 프레임에 처리되어 표시되는 것조차 매우 힘든 일입니다. 애플은 명령이 최대한 빨리 내에 화면에 반영되도록, 그리고 최종적으로 사용자가 느끼는 딜레이를 줄이기 위해 여러 가지 방법을 사용했습니다.

 

사실 이런 소프트웨어적 기법은 이미 올해 WWDC에서 공개된 내용입니다. 당시 이 세션의 발표 내용을 듣고는 한 개발자가 '애플이 분명히 자기들만의 스타일러스를 만들고 있을 것이다.'라고 말하기도 했지요. (아래 소개되는 슬라이드들은 모두 WWDC의 Advanced touch input on iOS 세션에서 사용된 슬라이드입니다. 링크) 본격적인 설명에 들어가기 전에 iOS의 터치 인식이 어떤 식으로 이루어지는지를 살펴봅시다.

 

iOS의 터치 처리 과정은 파이프라인화 되어있습니다. 한 터치 이벤트를 처리하는 동안 다른 터치가 무시되면 안되니까 너무 당연한 것이죠. 터치 처리 과정은 총 다섯 단계로 파이프라인 되어있습니다. 터치 시스템은 멀티 터치 인식(터치 서브시스템과 운영체제가 이를 인식하여 앱에 넘겨주는 단계), 앱 처리, 코어 애니메이션(iOS의 화면 렌더링 API), GPU 처리, 최종 LCD 출력의 다섯 단계로 이루어져 있습니다. 이 중에 개발자가 관여할 수 있는 부분은 앱 처리 단계입니다. 하지만 iOS 8까지는 개발자가 앱 처리 단계를 아무리 최적화했더라도 코어 애니메이션이 프레임 타임과 동기식으로 작동했기 때문에 실제 딜레이를 줄일 수 없었습니다(대신 앱 처리 단계가 너무 비대해 한 프레임타임 이상을 소모하게 된다면 지연 시간이 더 길어질 수는 있습니다). 

 

 

위 슬라이드가 대표적인 예시입니다. 앱은 두 번째 프레임 타임이 반도 가기 전에 모든 작업을 마쳤지만, 코어 애니메이션은 프레임과 동기식으로 작동하기 때문에 세 번째 프레임 타임이 시작되기 전까지 아무 일도 하지 않고 있죠. 이 예시에서는 최초 터치 시점부터 그 결과가 최종 프레임에 반영되기까지 48~64ms가 소모되었습니다. 하지만 iOS 9에서는 코어 애니메이션이 재설계되어 프레임과 비동기식으로 작동합니다. 즉, 앱이 작업을 처리하는 즉시 코어 애니메이션이 작동하고 GPU로 일감을 넘겨줄 수 있게 되었죠. 그 결과 실제 딜레이가 줄어들게 되는데 바로 아래 그림과 같습니다.

 

 

슬라이드에서 볼 수 있듯이 코어 애니메이션 단계가 프레임 타임과 비동기식으로 작동하여 앱이 작업을 끝내자마자 동작합니다. 그 결과 낭비되는 시간이 줄어들어 한 프레임 분량만큼(16ms) 딜레이가 줄어들게 되었습니다. 이제 지연시간은 32~48ms까지 줄어들었습니다. 하지만 아이패드 에어와 아이패드 프로의 경우 일반적인 환경에서 터치를 1초에 120번 스캔합니다. 화면이 1초에 60번 갱신된다는 것을 생각해보면 화면 갱신보다 두 배 빠른 속도로 터치를 스캔하는 것이죠. 

 

 

화면 주사율보다 터치 스캔율이 더 빠른 경우 Touch Coalescing(이하 터치 병합)이라는 기술이 적용됩니다. 각각의 터치가 모두 파이프라인에 투입되는 것이 아니라 단일 터치에 병합되어 파이프라인에 투입되는 것입니다. 이 방식이 터치 지연에 미치는 영향은 간단합니다. 기존에는 멀티터치 인식 시스템 역시 프레임에 동기화되어서 작동했습니다. 만약 프레임 타임 중간에 터치입력이 들어온다면 다음 프레임 타임이 되어서야 그 터치가 시스템에 들어가게 됩니다. 하지만 터치 스캔율이 두 배가 된 시점에서 터치 입력이 프레임 타임 중에 들어오더라도 다음 터치 스캔이 두 배 빨리 돌아오기 때문에 최대 반 프레임만큼의 이득을 볼 수 있습니다. 이제 지연시간은 24~40ms가 되었습니다. 마지막 기술은 바로 터치 예측입니다. 지금까지 입력된 터치들을 기반으로 한 프레임 분량의 추가 터치를 예측하는 것입니다.

 

 

터치 예측은 눈속임이긴 하지만 충분히 사용자들에게 지연 시간이 줄어들었다는 느낌을 줄 수 있습니다. 한 프레임 분량의 터치를 예측해서 앱에 그 정보를 전달하기 때문에 실제 터치가 일어나기 전에 이미 앱은 그 터치에 대한 정보를 처리합니다. 터치 예측이 완벽히 작동한다면 사용자가 느끼는 지연시간은 8~24ms로 줄어들게 됩니다. 하지만 터치 예측은 항상 완벽하게 작동할 수 없는 만큼 실제 사용자가 느낄 지연시간은 8~40ms 이내에 있게 됩니다. 여기서 눈여겨봐야 할 것은 갖가지 소프트웨어적 트릭들을 이용해 기존에 제시했던 이론적 최소 지연시간인 16ms의 벽을 깬 것입니다. 그리고 무엇보다 위 슬라이드는 아이패드 에어2와 손가락 터치를 기반으로 만들어진 것입니다. 아이패드 프로와 애플펜슬이 적용될 경우 몇 가지 조건이 달라집니다. 먼저 CPU, GPU 성능의 향상으로 같은 조건에서 앱 처리, 코어 애니메이션, GPU 처리 단계의 소모시간이 줄어들었을 것입니다. 앱 처리, 코어 애니메이션, GPU 처리 단계의 경우 성능 향상 폭을 고려해 그 소요시간을 결정했습니다. 앱 처리와 코어 애니메이션 단계는 CPU 성능에 영향을 받고 GPU 처리 단계는 당연히 GPU 성능에 영향을 받습니다. 또 터치 스캔율은 120Hz가 아닌 240Hz로 작동할 것이고요. 이 모든 조건을 감안해서 위 슬라이드를 다시 그려보면 아래와 같습니다.

 

 

높아진 터치 스캔율, CPU, GPU 성능에 의해서 가장 잘 최적화된 앱에서 터치 예측이 제대로 작동된 경우 딜레이를 0~16ms까지 줄여내는 모습을 보입니다. 물론 위에서도 설명했듯 터치 예측 기능이 만능이 아니므로 실생활에서는 터치 예측으로 발생한 최소 지연시간으로부터 터치 예측이 적용되지 않는 경우의 최대 지연시간 사이의 지연시간(0~32ms)을 체감할 수 있을 것입니다.

 

물론 위에서도 언급했듯이 이 수치는 앱 처리 단계가 얼마나 잘 최적화되었는지에 따라 달라질 수 있습니다. 위 슬라이드의 내용은 앱의 최적화 수준이 매우 높다는 가정하게 이뤄진 예측입니다. 또 터치 병합이나 터치 예측 기능은 각각의 앱이 지원해야 사용할 수 있습니다. 따라서 서드파티 앱의 지원 정도에 따라서 사용자가 느끼게 되는 지연시간 역시 편차가 클 수 있습니다. 하지만 잘 최적화된 앱을 사용한다면 애플펜슬과 아이패드 프로의 조합은 기존의 스타일러스 펜들보다 더 적은 딜레이를 보여줄 수 있습니다.

 

 

그렇다면 여기서 딜레이를 더 줄이는 건 가능한 것일까요? 사실 이미 최소 지연시간은 0ms에 도달했습니다. 여기서 디스플레이 부분의 변화 없이 최적화, 성능 향상만으로 지연시간을 추가로 줄이기 위해서는 엄청난 비용이 들어갑니다. 하지만 디스플레이의 주사율이 120Hz가 된다면 어떨까요? 2세대 아이패드의 성능 향상치는 보수적으로 CPU 20%, GPU 30%로 잡았습니다. 이 경우 기존의 한 프레임에 해당하는 시간 내에 터치 인식, 앱 처리, 코어 애니메이션, GPU 처리의 모든 단계가 완료되고 바로 프레임이 갱신됩니다. 이 경우 사용자가 느끼는 지연시간은 0~24ms 사이의 수치일 것이며 디스플레이 주사율이 2배로 증가했기에 사용자가 보기에 기존보다 훨씬 자연스럽게 드로잉이 이뤄진다고 생각할 것입니다. 벌써부터 다음 세대 아이패드 프로가 기다려지는 이유입니다.

 

하지만 반응속도 외에도 애플펜슬을 쓰는 사람이 자연스럽다고 느끼기 위해서는 많은 요소가 필요합니다. 그중 하나는 내가 화면에 그은 선을 시스템이 얼마나 정확히 인지하느냐 하는 것입니다. 애플펜슬은 여기에 대응하기 위해 터치 인식률을 240Hz로 높였습니다. 높은 터치 인식률은 지연시간 향상에 이바지할 뿐만 아니라 더 많은 터치 인식 점을 OS에 전달하고 이는 매우 빠르게 곡선을 그릴 때 펜슬이 통과한 지점과 화면에 그려지는 선이 더 정확하게 일치하게 해 줍니다.

 

 

위 그림은 펜이 일정한 속도로 곡선을 그릴 때 스캔율이 실제 결과물에 어느 정도의 영향을 주는지를 시각적으로 표현한 것입니다. 보시다시피 스캔율이 높아질수록 최종 결과물이 실제 펜의 통과 궤적과 가까워지는 것을 볼 수 있습니다. 실제 많은 어플리케이션은 선이 출력되는 형태를 소프트웨어적으로 보정하여 곡선으로 나타내고 있지만 그렇게 처리가 된다고 하더라도 더 많은 점을 가지고 보정하는 것이 사용자의 의도에 부합하는 결과를 낼 것이라는 점은 의심할 여지가 없습니다. 실제로도 아이패드 프로와 메모 앱을 이용해 빠르게 곡선을 그었을 때와 서피스 3와 원노트를 이용해 빠르게 곡선을 그었을 때 서피스 쪽의 곡선이 각이 지는 데 반해 아이패드 프로와 애플펜슬의 조합에서는 부드러운 곡선이 그려짐을 확인할 수 있습니다.

 

 

마지막으로 스타일러스가 일반 연필처럼 자연스럽다는 평가를 얻기 위해서는 훌륭한 팜 리젝션이 뒷받침되어야 합니다. 팜 리젝션이 지원되지 않으면 무언가를 그리거나 쓸 때 의식적으로 손을 화면에서 떼야 하는데 이런 상황에서 사용자가 자기가 필기구를 사용하는 것처럼 자연스러움을 느끼기는 어렵겠죠. 애플펜슬이 출시되기 전 가장 논란이 심했던 부분 중 하나도 바로 팜 리젝션 부분이었습니다. 공개된 영상 중 일부는 화면에서 손을 떼고 사용하는 듯한 모습을 보였기 때문인데 결론부터 말씀드리자면 애플펜슬의 팜 리젝션 기능은 꽤 잘 작동합니다. '꽤'라는 표현을 쓴 것은 가끔 오작동하는 경우가 있기 때문입니다. 애플펜슬은 어떤 식으로 팜 리젝션을 구현하는지, 왜 가끔 오작동을 보이는지를 알아보도록 하겠습니다.

 

보통 정전식 터치와 스타일러스 입력을 한 화면에서 받는 기기들의 경우 펜 촉이 화면과 가까워지면 정전식 터치패널에서 오는 정보를 무시하는 방식으로 팜 리젝션이 이뤄집니다. 가장 간단하면서도 가장 확실한 방법입니다. 하지만 애플은 펜이 호버링하고 있는 상황에서도 손가락 터치를 사용하기를 원했습니다. 그 결과 상당히 복잡한 팜 리젝션 체계가 만들어졌습니다. 

 

기본적으로 아이패드 프로는 터치 면적을 인식해서 일차적인 팜 리젝션을 시행합니다. 일정 면적 이상의 터치는 유효 터치로 처리하지 않는 방식입니다. 이 때문에 기존의 정전식 펜들도 새로운 팜 리젝션 체계의 수혜를 입을 수 있었습니다. 하지만 이 방식만 사용할 경우 오작동이 너무 많이 발생합니다. 예를 들어 손을 화면에서 떼거나 붙일 때 순간적으로 터치 면적이 줄어들게 되고 이 부분이 유효 터치로 인식될 수 있기 때문입니다. 따라서 애플펜슬의 경우 펜슬의 촉이 화면에 직접 닿아 있을 때 모든 터치를 차단하여 부족한 부분을 보충했습니다. 여기에 더해 펜이 화면에 닿는 순간까지 지속되고 있는 유효 터치가 있으면 그 터치로 그려진 선 전체를 무효화시키는 방식도 포함하고 있습니다. 이런 여러 체계가 동시에 작동하면서 애플펜슬의 팜 리젝션 기능을 완성했습니다. 글로만 읽어서는 상상이 잘 안 가시죠? 짤막한 GIF를 준비했습니다.

 

 

지금까지 애플펜슬이 어떻게 작동하는지에 대해서 알아봤습니다. 아이패드 프로의 재설계된 터치 서브시스템과 액티브로 작동하는 펜슬은 정확하고 빠른 스캔을 가능하게 했습니다. 또 빨라진 아이패드 프로의 프로세서와 애플펜슬에 맞게 재설계된 OS, 몇 가지 소프트웨어적 트릭이 합쳐지며 '연필 같은' 자연스러움을 가진 스타일러스가 탄생했습니다. 그 구동 원리는 매우 복잡하지만, 실제 사용자에게는 이 모든 것이 가려져 있습니다. 사용자가 보는 것은 매끈한 애플펜슬의 외장과 자연스러운 스타일러스이지요. 애플이 항상 최선의 해답을 보여주는 것은 아닙니다. 하지만 애플펜슬은 애플에 대한 사람들의 기대가 왜 이렇게 큰지에 대한 해답이 될 수 있을 것 같습니다.

 

지금까지 긴 글 읽어주셔서 감사합니다.