처음 피아노 앞에 앉으면 악보의 음표와 눈앞의 건반을 연결해야 합니다. 어느 건반을 언제 누를지 알아야 하지만, 그 대응 관계를 익히는 동안에는 곡을 연주하는 경험이 멀게 느껴질 수 있습니다.
INTRO는 눌러야 할 건반을 빛으로 알려 주고, 음표를 리듬게임처럼 떨어뜨리는 피아노 교육 하드웨어입니다. 2019년 동양미래대학교 전공동아리 MIT의 학생 프로젝트로 시작했습니다. 저는 팀장을 맡아 하드웨어와 소프트웨어를 설계하고 전시까지 이끌었습니다.
안내를 건반 가까이 가져오기
화면에 다음 음을 보여 주는 것만으로는 사용자가 실제 건반의 위치를 다시 찾아야 합니다. INTRO는 내려오는 노트와 실제 타건 위치를 함께 보여 주도록 구성했습니다. 화면에서는 음이 다가오는 흐름을 보고, 건반에서는 LED가 켜진 위치를 따라 연주합니다.
이때 입력으로 사용하는 것은 MIDI의 연주 정보입니다. MIDI 파일에 담긴 음과 타이밍을 읽어 화면의 노트와 건반의 안내로 연결했습니다. 이미 구조화된 연주 데이터를 눈과 손이 따라갈 수 있는 표현으로 옮기는 작업이었습니다.
실제 피아노를 연주하는 동작을 유지하면서, 악보를 읽고 건반을 찾는 사이에 시각적 도움을 두었습니다. 리듬게임의 표현 방식은 그 안내를 시간의 흐름으로 보여 주는 데 쓰였습니다.
화면과 물리 장치가 같은 음을 가리키도록
제품은 싱글보드 컴퓨터 2대, LED와 광확산 아크릴, Unity로 만든 화면으로 구성했습니다. 하드웨어와 소프트웨어 사이에는 UART 통신을 사용했고, MIDI의 연주 정보를 시각화와 제어에 연결했습니다.
서로 다른 재료를 사용하는 작업이었습니다. Unity에서는 음표의 움직임과 가상 건반을 만들고, 물리 장치에서는 그 안내가 실제 건반 위치에서 보이게 해야 했습니다. 노트가 화면에서 내려오는 것과 손을 뻗어 누르는 위치가 하나의 안내로 이어져야 했습니다. 팀장으로서 이 연결을 기준으로 하드웨어와 소프트웨어를 함께 설계했습니다.
당시 소개 기사에는 가상 건반과 색상 표시, 화면의 악보를 자동으로 넘기는 기능도 기록돼 있습니다. 시각적 안내를 한 가지 효과로 끝내지 않고 연주 화면 전체에 연결한 구성입니다. 2020년 제작팀 인터뷰에서 당시 시연 모습과 구현 내용을 확인할 수 있습니다.
동작하는 전시품에서 악기로
INTRO는 KES 한국전자전과 미래교육 컨퍼런스에 출품했고, 한국전자전 안에서 열린 동양미래엑스포에서 대상을 받았습니다. 카자흐스탄 국영방송 24.kz의 교육 기술 보도에도 소개됐습니다.
전시에서는 사람이 건반 앞에 앉아 안내를 보고 직접 눌러 볼 수 있었습니다. 소프트웨어 화면을 보여 주는 데서 한 단계 더 나아가, 화면과 장치와 사용자의 손이 만나는 형태로 제품을 제시한 경험입니다.
다만 시연 가능한 장치와 계속 연습하고 싶은 악기는 같은 완성도가 아닙니다. 당시 인터뷰에서도 실제 피아노에 가까운 연주감을 위해 LED 건반 덮개의 재질을 개선하는 일이 다음 과제로 언급됐습니다. 표시가 잘 보이는지에 더해 손으로 눌렀을 때 어떤 느낌인지까지 제품의 일부가 되는 하드웨어였습니다.
사업화 논의까지, 그리고 남은 결과
졸업작품으로 만든 INTRO는 창업으로 이어졌고 악기 제조사와 라이선스 사업화도 논의했지만 계약으로 성사되지는 않았습니다. 이 경과는 2021년 인터뷰에 남아 있습니다.
이 프로젝트의 결과는 전시한 작동 시제품, 수상과 방송 보도, 그리고 실제 사업화 논의까지 나아간 경험입니다. 사용자가 읽어야 할 정보를 손이 움직이는 자리로 가져오기 위해, 게임 화면과 임베디드 장치를 함께 설계한 제품입니다.
