소프트웨어가 하드웨어를 대체하다 - NVDIA의 슬로우모션 기술

<짧은 글> 소프트웨어가 하드웨어를 대체하다

최근 NVDIA는, 일반 동영상을 슈퍼 슬로우모션 비디오로 변환하는 기술을 개발했다고 한다. 기존의 일반 카메라로 찍은 동영상도 문제없이 변환 가능한데, 이 원리는AI 머신러닝을 이용해 기존의 프레임과 프레임 사이에 들어갈만한 인공 프레임을 예측해서 그려내고, 끼워넣는 것이다. 

<영상 - NVDIA에서 공개한 슈퍼슬로우모션 변환기술>

보통 슬로우모션, 초당 일반 동영상보다 훨씬 많은 수의 프레임을 촬영해 재생하는 것으로 요즘 스마트폰 카메라에도 도입되기 시작한‘슈퍼 슬로우모션’은 초당900프레임에 달하는 수많은 프레임을 찍어내는 하드웨어 카메라가 결정적인 역할을 수행한다. 그러나NVDIA는 하드웨어의 역할이던 슈퍼 슬로우모션 영상 제작을 소프트웨어로 대체하는데 성공했다. 

과거 소프트웨어는 하드웨어를 보완했었다. 적어도 하드웨어와 소프트웨어의 영역은 상호작용을 하지만 어느정도 구분된 영역이었다. 전자기기는 하드웨어만으로는 아무것도 할 수 없다. 반면 아무리 발달된 소프트웨어를 탑재하더라도 하드웨어가 따라주지 않는다면 한계가 있었다. 컴퓨터의 경우 더 많은 연산을 처리하고 고성능을 요구하는 작업을 하기 위해서는 하드웨어가 받쳐주어야 한다. 특히 카메라, 인쇄기, 타자기 등의 입/출력장치는 어찌보면 완전한 하드웨어의 영역이다. 전자기기의 경우 더 나은 사양은, 대부분의 경우 더 나은 하드웨어를 의미한다

그러나, 어느 순간부터 소프트웨어는 하드웨어의 한계를 조금씩 극복해나가기 시작했다. 스마트폰 제작사들은 아웃포커싱 카메라를 구현하기 위해 듀얼 카메라를 채택한다. 두 개의 카메라로 다른 거리에서 찍은 상을 하나의 이미지로 합쳐 아웃포커싱이 된 결과물을 만들어낸다. 그러나, 구글은 보란듯이 싱글 카메라를 가진 픽셀을 통해 ai 머신러닝 기술을 이용해 아웃포커싱 이미지 처리를 하는데 성공한다. 

나는 사진에 대한 전문가는 아니지만 적어도 내가 아는 한 카메라의 경우, 디지털 카메라를 구동하기 위한 소프트웨어가 필요하지만 ‘카메라의 성능’자체는 대체로 렌즈, 센서 등 하드웨어적인 사양에 따라 좌우되어왔다. 스마트폰 제작사들이 요즘 밀고있는 소위 말하는 ‘AI 카메라’ 도 갈 길이 멀긴 하지만 훌륭한 사진 결과물을 만들고 있다. 

지금의 소프트웨어 수준은 단순히 하드웨어와 상호작용을 하고, 보조하는 수준이 아니다. 과거 하드웨어의 영역이던 부분들을 어느정도 수행하기 시작했다. 특히, NVDIA의 슬로우모션 기술처럼 장면과 장면 사이의 프레임을 예측해서 그려넣는 기술은 단순히 입력장치를 통해 상을 디지털화면으로 옮기는 수준에서, 하드웨어를 통해 확보되지 않은 시간속의 장면을 만들어내는, (과장을 조금 보내서) 인간이 물리적으로 경험할 수 없었던 차원까지 능력을 끌어올렸다. 단순히 최적화와 예측의 영역을 넘어 없던 것을 창조하고, 손실되었거나 확보하지 못한 정보를 채워넣는다. 머신러닝, 인공지능은 아직도 할 수 있는 일이 많다. NVDIA의 사례처럼 앞으로 소프트웨어는 지금껏 ‘소프트웨어의 영역’이 아니라고 여겨졌던 부분들을 대체할 수 있을것이다. 이를테면 물리적인 오프라인의 정보를 디지털 정보로 전환하는데 큰 역할을 하고있는 센서의 경우 소프트웨어를 통해 완전히 대체하지는 못하겠지만, 필요한 센서의 종류와 수를 줄인다던지 하는것은 가능할지도 모른다. 

앞으로는 소프트웨어를 통해 구현 가능한 범위가 달라질것이다. 하드웨어 제조사들은 이에대한 대비책을 세워둬야 하지 않을까