Barnes & Noble Reconhecimento de gestos com as m�os em tempo real - convers�o de linguagem gestual para voz at Hamilton Place in Chattanooga, TN
O principal objetivo do projeto é implementar um sistema em tempo real que converta gestos manuais da língua de sinais americana (ASL) em sinais de voz. Isso poderia ser usado por pessoas com deficiências de fala para se comunicarem com outras pessoas. Para esse fim, foram utilizados eletromiograma de superfície (EMG), que mede a atividade elétrica do músculo do antebraço, e acelerômetro, que mede a aceleração dos movimentos da mão. Um dispositivo vestível de recolha de dados chamado Shimmer foi utilizado para gravar esses sinais do utilizador e transmitir os dados recolhidos para o Matlab usando Bluetooth. Um algoritmo de reconhecimento de padrões foi implementado no Matlab, que processou os sinais e exibiu as decisões de saída com base no gesto que foi realizado. Vários testes foram realizados em um único sujeito humano para identificar vários gestos com uma e duas mãos para reconhecer várias palavras, bem como frases básicas na ASL. Os resultados experimentais foram registrados e discutidos.
O principal objetivo do projeto é implementar um sistema em tempo real que converta gestos manuais da língua de sinais americana (ASL) em sinais de voz. Isso poderia ser usado por pessoas com deficiências de fala para se comunicarem com outras pessoas. Para esse fim, foram utilizados eletromiograma de superfície (EMG), que mede a atividade elétrica do músculo do antebraço, e acelerômetro, que mede a aceleração dos movimentos da mão. Um dispositivo vestível de recolha de dados chamado Shimmer foi utilizado para gravar esses sinais do utilizador e transmitir os dados recolhidos para o Matlab usando Bluetooth. Um algoritmo de reconhecimento de padrões foi implementado no Matlab, que processou os sinais e exibiu as decisões de saída com base no gesto que foi realizado. Vários testes foram realizados em um único sujeito humano para identificar vários gestos com uma e duas mãos para reconhecer várias palavras, bem como frases básicas na ASL. Os resultados experimentais foram registrados e discutidos.
Barnes & Noble is the world’s largest retail bookseller and a leading retailer of content, digital media and educational products. Our Nook Digital business offers a lineup of NOOK® tablets and e-Readers and an expansive collection of digital reading content through the NOOK Store®. Barnes & Noble’s mission is to operate the best omni-channel specialty retail business in America, helping both our customers and booksellers reach their aspirations, while being a credit to the communities we serve.
