이번 겨울 방학에 농아인 대학생들이 동계올림픽의 원거리 자원봉사자가 되었는데, 그들은 천진공대 농아인공과대학에서 왔다. 이 자원봉사자들은 TV 뉴스란의 내용을 수화 순서의 텍스트로 변환해 동계올림픽 중계에 필요한 AI (인공지능) 수화 디지털인들에게 대규모 어료 지원을 제공한다.
달콤함, 천진공대 청각 장애인 공학원 부원장은 청각 장애인 대학생들의 선생님이자 접근성 지능 기술 연구개발센터의 회원이다. (윌리엄 셰익스피어, 윈스턴, 과학명언) 그녀는 "접근성 지능 기술 R&D 센터가 동계올림픽 생방송을 위해 AI 수화 디지털인의 수화 어료 지원을 제공할 예정이며, 나와 학생들은 이미 2 개월 넘게 바빴다" 고 소개했다. 동계올림픽을 위해 봉사할 수 있어서, 우리는 명예감으로 가득 차 있다. "
AI 인지 수화 교육
2021 년 중국 청각 장애인 고등공과대학특별교육 창설 30 년 기념대회에서' 수화각' 이 많은 사람들의 발길을 멈추게 했다. 카메라 앞에서 수화를 하면 뒤 디스플레이에 의미 있는 문자 번역이 나타난다. 달콤함은' 복잡한 장면 아래 중국 수화 실시간 번역 시스템' 이라고 불리는' 고래코어'-멀티 모달 연속 수화 자동 표기 인식 시스템' 프로젝트 ("고래코어") 를 선보였다. 빛이 충분하고 안정적인 실내에서는 수화에 대한 시스템 인식률이 최대 95 까지, 일부 장면에서는' 동시 번역' 이 가능하다고 소개했다. 이 시스템을 개발하는 목적은 모든 건청자가 수화를 쉽게 읽을 수 있도록 하기 위함이다. 자동 표기 인식 시스템인' 고래코어' 도 지난해 제 7 회 중국 국제' 인터넷+'대학생 혁신 창업대회 메인 트랙의 금상을 수상했다.
왕건원은 R&D 팀의 일원이다. 그는 청각 장애인 가정에서 자란 청각 장애 아동으로 청력 손실이 심하고, 토자 발성이 매우 어렵다. 수화는 그가 이 세상과 처음 접촉할 때 가장 효과적인 방법이다. (윌리엄 셰익스피어, 햄릿, 언어명언) 22 년 동안 청각 장애인의 신분은 그를 열등하게 하지 않았다. 말로는 말할 수 없고, 그가 타당한' 학패' 가 되는 것을 지체하지도 않았다. 하지만 청력장애 때문에 어려서부터 어떤 불편을 겪었는지 물어보면, 수화를 아는 사람이 너무 적기 때문에 핸드폰에 조용히 네 글자를 칠 수 있다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 청력명언)
가장 전형적인 예는 병문입니다. 수화 통역이 없다면 두통만 있어도 왕건원과 같은' 수화족' 은 혼자 진료를 받기가 어렵습니다. 대부분의 의사들은 수화를 할 줄 모릅니다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 건강명언)
1991 년 9 월 11 일 첫 농아인 6 명이 입학한 이후 천진공대 농아인학원 선생님들은 청각 장애인과의 소통 경험을 많이 쌓았다.
달콤학은 컴퓨터학과를 전공했고, 2006 년 대학원생을 졸업하자마자 그녀는 청각 장애인 공대 컴퓨터과학과 기술과에서 일했다. 출근 첫날, 그녀가 직면한 도전은 수화를 배우는 것이었다. 글을 보고 입술말을 읽음으로써 학생들은 선생님을 이해할 수 있지만 선생님은 학생들을 빨리 이해할 수 없다. 더듬더듬 수화를 배웠는데, 달콤해서 몇 번을 기억할 수 없었고, 새벽 1, 2 시에 학생들을 데리고 진찰을 받으러 가서 수화 통역을 도와주었다. (윌리엄 셰익스피어, 달콤함, 달콤함, 달콤함, 달콤함, 달콤함)
우리나라에는 2780 만 명의 청각 장애인이 있는데, 어떻게 과학기술의 힘에 의지하여 건강한 사람들이 그들의 세계로 들어가게 할 수 있습니까? 달콤함, 왕건원 등이' 고래코어' 수화 실시간 번역 시스템 개발을 시작했다.
고래코어 수화의 실시간 번역은 수화판의' 음성 입력기' 와 비슷하다. 다만 후자는 입력 음성, 기계 인식, 텍스트로 전환되는 반면 전자는 입력 수화 동작과 표정, 기계 인식이다.
인공지능을 자격을 갖춘 수화 번역으로 훈련시키려면 제스처, 표정, 큰 몸짓을 동영상에서 데이터로 변환한 다음 컴퓨터에' 가르쳐' 야 한다. 따라서 수화의 아름다움을 충분히 이해하고 전시할 수 있는 청각장애생은 인공지능을' 선생님' 으로 삼는 사람에게 가장 적합하다.
많은 외국 팀이 만든 수화 데이터 세트는 복잡한 장면에서 수화 번역을 지원할 수 없습니다. 한 가지 직접적인 이유는 충분한 사람들이 자연 상태에서 수화를 수집할 수 없다는 것입니다.
"우리 팀은 청각 장애인 공대를 등에 업고 있으며, 많은 회원들은 그 자체로 수화 사용자이며, 자연수화 수집에서 우위를 점하고 있다." 위안 달콤한 말했다.
건청자가 청각 장애인을 "읽기" 하도록 하는 것이 더 중요하다
동계올림픽에서 달콤한 팀이 봉사하는 AI 수화 디지털인은 청각 장애인들이 건강한 사람들의 표현을 더 잘 이해할 수 있도록 도와주고,' 고래코어' 수화 인식과 번역은 기술의 힘으로 청각 장애인의 표현을 더 잘 이해할 수 있도록 도와준다. 이 둘 사이의 차이점은 무엇입니까?
AI 수화 디지털인을 만드는 것은 청각 장애인들이 익숙한 방식으로 건청인의 표현을 이해할 수 있도록 하는 것이다. 핵심 연구개발점은 수화 생성이고,' 고래코어' 수화 인식과 번역의 핵심 개발점은 수화 인식이고,' 고래코어' 는 이 기술이 더 어렵다. 고래코어' 는 컴퓨터 시각과 자연어 인식 처리의 두 가지 기술이 필요하다. 청각 장애인의 수화에는 표정, 손 동작, 몸짓, 모두 컴퓨터 융합 인식이 필요하다. 이것은 컴퓨터 인식 기술이다. 컴퓨터가 인식하는 정보를 컴퓨터 프로그램으로 다시 건청인이 잘 아는 언어 모델로 바꾸는 것은 자연어 인식 처리 기술이다. AI 수화 디지털인은 어느 정도 자연어 인식 처리 기술 과정만 다루고 있다. 기술 전환으로 볼 때 AI 수화 디지털인의 산업은 착지 시간이 짧아지고, 데이터에 대한 투입이 상대적으로 적으며, 성과를 시장화하기 쉽다.
"왜 꼭 수화 통역을 해야 하나요? 청각 장애인들은 들을 수 없습니다. 지금은 음성 인식이 있습니다! 어떤 청각 장애인들은 말을 할 줄 모르는데, 핸드폰으로 타자를 치면 되지 않을까요? " 개발 중인 수화 실시간 번역 시스템을 달콤함에 대해 알게 된 기업들이 투자에 대해 이야기하고 싶어 했다. (윌리엄 셰익스피어, 달콤함, 달콤함, 달콤함, 달콤함, 달콤함, 달콤함, 달콤함) 하지만 그들은 프로젝트의 필요성에 대해 의문을 제기했고, 수화 번역은' 선행을 하는 것' 외에는 의미가 없다고 생각했다. 왜 고래 코어의 개발과 전환에 관심을 가져야 할까요?
"학생들과 교류하는 과정에서 장애인에 대한 가장 좋은 관심은 평등이라는 것을 알고 있다. 그들은 장애가 아니라 우리와는 다를 뿐이다. " 위안 달콤한 말했다.
소통은 항상 양방향이다. 우리는 청각 장애인들에게 글을 쓰고, 글자를 읽고, 입술을 읽으라고 가르쳤고, 그들은 건강한 사람들의 세계에 적응하려고 노력하고 있었습니다. 우리는 청각 장애인을 받아들이는 것을 알아듣기 위해 약간의 노력을 해야 한다.
달콤한 말에 따르면, 오늘날까지도 수화는 여전히 많은 청각 장애인들이 가장 자연스럽고 효율적인 표현으로, "글씨를 쓰거나 타자를 치는 것보다 빠르다" 고 한다. 하지만 방해받지 않는 교류를 촉진하기 위해 건청자들에게 수화를 배우라고 요구하는 것은 비현실적이다. 고래코어' 수화 실시간 번역 시스템은 고도의 기술을 이용하여 건청인이 청각 장애인에게 접근하도록 하는 것이다.