Ilias Khafague

Personal project · Work in progress · 2026Projet perso · En cours · 2026

Building my own home assistant, body includedConstruire mon propre assistant maison, corps compris

Commercial smart speakers are closed, so I started my own: a voice assistant that listens for "Hey Jarvis", shows its answers on a mirror and will later bridge to Claude. The robot body comes from hardware I already had.

Les enceintes connectées du commerce sont fermées, alors j'ai lancé la mienne : un assistant vocal qui attend « Hey Jarvis », affiche ses réponses sur un miroir et sera relié plus tard à Claude. Le corps du robot vient du matériel que j'avais déjà.

The challengeLe défi

Hacking the speaker I owned turned out to be impossible: no known exploit exists for it. I wanted an assistant I control end to end, that runs at home, and that can hand real work to my AI tools.

Pirater l'enceinte que j'avais s'est révélé impossible : aucune faille connue n'existe pour ce modèle. Je voulais un assistant que je maîtrise de bout en bout, qui tourne chez moi et qui puisse confier du vrai travail à mes outils d'IA.

What I builtCe que j'ai construit

I chose Cornelius, an open source mirror assistant, as the base on the Mac mini, with only the wake word and voice detection meant to run locally. I wrote information modules for the mirror in TypeScript (news, calendar, fuel prices, bin days, school holidays, bikes, YouTube, TV control), an Android app that shows Jarvis full screen on a tablet and connects from anywhere through Tailscale, and the first robot scripts: the arm reachable over SSH, a first slow commanded motion, and live on-device detection with the OAK-D-Lite camera.

J'ai choisi Cornelius, un assistant miroir open source, comme base sur le Mac mini, avec seulement le mot d'appel et la détection de la voix prévus en local. J'ai écrit des modules d'information pour le miroir en TypeScript (actualités, agenda, prix des carburants, jours de poubelles, vacances scolaires, vélos, YouTube, pilotage de la télé), une app Android qui affiche Jarvis en plein écran sur une tablette et se connecte de partout par Tailscale, et les premiers scripts du robot : le bras joignable en SSH, un premier geste lent commandé, et la détection en direct sur la caméra OAK-D-Lite.

Where it standsOù en est le projet

The mirror modules, the Android app and the first robot scripts are written. The bridge to Claude and the full robot behaviour are the next steps.

Les modules du miroir, l'app Android et les premiers scripts du robot sont écrits. Le pont vers Claude et le comportement complet du robot sont les prochaines étapes.

Tools usedOutils utilisés

  • Python
  • TypeScript
  • Node.js
  • Kotlin
  • Android
  • Tailscale
  • OAK-D-Lite