Comment traduire la langue des signes en texte en utilisant Arduino?

Comment traduire la langue des signes en texte en utilisant Arduino?

Nous avons toujours accepté que la technologie doit être accessible à tous et pour de bon, qu'il s'agisse de personnes normales ou de personnes spécialement handicapées. L'avantage fondamental de l'innovation est d'engager les individus et de les améliorer, non pas de les conquérir mais plutôt de les aider.

Signer au texte



Les personnes incapables de parler utilisent différents moyens de communication pour transmettre leurs messages. Le plus courant d'entre eux est la langue des signes. La langue des signes est une langue qui utilise la modalité gestuelle pour transmettre un message. La langue des signes est courante chez les personnes qui ne peuvent ni parler ni écouter. Alors, voici un projet qui vous aidera à traduire la langue des signes dans un texte qui sera compréhensible par d'autres personnes.



Comment utiliser Arduino pour créer un traducteur de signe en texte?

Passons maintenant à la collecte de données supplémentaires, à leur analyse, à la création d'un circuit et à la gravure du code sur le microcontrôleur.

Étape 1: Prérequis

Avant de commencer à travailler, il est préférable de collecter et d'étudier l'appareil que nous allons utiliser. Une liste ci-dessous montre tous les éléments dont nous avons besoin dans ce projet.



  • Arduino UNO
  • Fils de cavalier mâle / femelle
  • Résistances (470 ohms)
  • Planche à pain / Veroboard
  • En-têtes féminins
  • Gant

Étape 2: Installation de l'appareil

Nous utiliserons des capteurs Flex pour détecter le geste. Le capteur flexible est un capteur qui donne une résistance différente et un angle différent à chaque fois qu'il est plié. Il a deux broches qui sont connectées dans une configuration de diviseur de tension. La connexion de ces broches à l'Arduino est indiquée ci-dessous.

Schéma

FLEX 1, FLEX 2, FLEX 3, FLEX 4, FLEX 5 sont les capteurs flex, et RES1, RES2, RES3, RES4, RES5 sont les résistances de 470 ohms. Un point de tous les capteurs flexibles est commun et 5V lui est appliqué. À l'autre extrémité, une jambe de toutes les résistances est commune et connectée à la terre. L'entrée des broches Arduino recevra des données analogiques de 0 à 1023 qui seront converties sous forme numérique dans le code.



Maintenant, comme nous savons comment fonctionne un capteur de flexion, attachez chaque capteur de flex sur les doigts du gant (évitez d'utiliser des adhésifs). Souder les fils de cavalier à tous les capteurs flexibles et les connecter au Veroboard comme indiqué dans l'image ci-dessus. Souder soigneusement les connexions et effectuer un test de continuité. Si le test de continuité échoue, revérifiez vos connexions soudées et réparez-les.

Étape 3: Premiers pas avec Arduino

Si vous ne disposez pas de l'IDE Arduino, téléchargez la dernière version sur Arduino

  1. Connectez l'Arduino à votre PC et allez dans Panneau de configuration> Matériel et audio> Périphériques et imprimantes pour vérifier le nom du port auquel Arduino est connecté. Sur mon PC, c'est COM14. Cela peut être différent sur votre PC.

    Recherche du numéro de port

  2. Ouvrez votre IDE Arduino et réglez la carte sur «Arduino / Genuino Uno».

    Conseil de réglage

  3. Ouvrez votre IDE Arduino et définissez le port que vous observiez auparavant sur votre PC.

    Réglage du port

  4. Téléchargez maintenant le code ci-dessous et téléchargez-le sur votre carte Arduino en cliquant sur le bouton Télécharger.

    Télécharger

Lien de téléchargement: Cliquez ici

Étape 4: Code

Le code est bien commenté mais voici une explication générale de son fonctionnement.

  1. Au début du code, 5 broches analogiques d'Arduino sont initialisées pour être utilisées avec les capteurs flex. Ensuite, le Vcc de l'Arduino et la résistance de 4,7 kohms sont initialisés et utilisés dans le circuit. Ensuite, la résistance du capteur de flexion droite et la résistance à un angle de 90 degrés sont initialisées. Ces initialisations seront utiles pour écrire le code.
  2. void setup() est une fonction dans laquelle nous initialisons la vitesse de transmission de l'Arduino et les cinq broches analogiques sont initialisées pour être utilisées comme INPUT. Le débit en bauds est la vitesse à laquelle le microcontrôleur communique.
  3. boucle vide () est une fonction qui s'exécute continuellement encore et encore dans un cycle. Dans cette fonction, toutes les valeurs analogiques sont lues et converties en valeurs numériques. Ensuite, la résistance est calculée en utilisant la formule du diviseur de tension et grâce à cette résistance, l'angle de courbure du capteur flexible est calculé.

Une fois que vous avez compris et téléchargé le code, portez les gants et faites différents gestes pour les traduire en texte. Dans le code, vous pouvez ajouter plus de combinaisons de mouvements des doigts de votre choix et afficher le message en conséquence. Vous verrez que votre langue des signes est maintenant convertie en texte.

Étape 5: Avancé

Ce projet consiste à convertir la langue des signes en texte et à l'afficher sur le moniteur série. Comme le microcontrôleur utilisé est Arduino, cet appareil ne fonctionnera que lorsque l'Arduino est connecté au PC via un câble de données car Arduino n'a pas de module WiFi intégré. Pour rendre ce projet un peu plus intéressant, vous pouvez ajouter un module WiFi externe ou utiliser un module ESP au lieu d'Arduino et vous débarrasser du câble de données et profiter d'une traduction signe-parole via WiFi.