MIKASA

Présentation générale

Travaux sur un robot humanoïde, avec pour objectif:

• Exploration des systèmes embarqués
• Forme humanoïde
• Perception et interaction
• Contrôle de motorisation
• Réalisation de tâches domestique/domotique
• Effet psychologique et sociale

Etat actuel

Architecture:

• Deux robots, géographiquement distant (Narbonne et Saint-Jean)
• 1x Arduino MEGA pour le contrôle des servomoteurs
• 1x Raspberry PI 4 pour l'ecosystème (vision, cognition, communication)
• 1x Micro USB Omnidirectionnel
• 2x Haut parleurs
• 1x Ecran HDMI pour afficher la conversation (mal entendant)
• 4x Servomoteurs pour la tête
• 5x Servomoteurs par bras
• 6x Servomoteurs par mains
• 1x Servomoteur pour rotation du bassin (non intégrés)
• 2x Moteurs CC avec réducteurs pour le déplacement (non intégrés)

Capacités avancées:

• Tracking faciale
• Reconnaissance faciale avec openCV
• Apprentissage continue des visages (connus et inconnus)
• SpeachToText avec Vosk
• TextToSpeach avec espeaker-ng
• Utilisation de métadonnées et de la vision pour réponses personnalisées
• Utilisation d'un LLM via Ollama pour générer des réponses plus pertinentes
• Mises à jours synchronisés des deux robots via un git privé

Retour en TextToSpeach via commandes vocales:

• Allumage/Extinction ampoules LIFX
• Météo du jour (via API weather.com)
• Routines simples de réveil et coucher via Cron
• Résultat d'une recherche Wikipédia concernant un sujet
• Dépassement de seuil de la température via surveillance continue
• Différentes informations systèmes (charge système, adresse IP...)
• Extinction et Redémarrage