Bonjour,
Quelqu’un aurait-il lié constellation avec google assistant ? Pour lancer des actions via un google home par exemple ?
Pas encore mais c’est un sujet très intéressant !
J’ai commencé à travailler sur le Google Assistant SDK mais pas eu le temps de bcp avancer dessus mais je compte avancer dessus fin d’année.
Une solution rapide c’est de faire comme ce qui est fait sur les autres box domotique, c’est d’utiliser IFTTT pour invoquer des call HTTP. Ainsi via l’API REST de Constellation, on peut facilement déclencher des MessageCallbacks depuis le Google Assistant pour piloter ce que l’on a connecter dans Constellation (allumer/éteindre des ordinateur, des lampes, mettre de la musique, piloter Kodi & co). Ainsi sans développement, on peut très vite piloter à la voix via Google Assistant des équipements ou programmes connectés à Constellation.
Sinon on peut aussi utiliser le Google Speech pour la partie ASR et faire le NLP soit même ou via des services type LUIS chez Microsoft ou API.ai.
Pour ma part, j’ai prévu d’y travailler d’ici la fin d’année.
A+
J’ai déjà mis en place le mix IFFTT (google assistant + webhooks) pour lancer des commandes, par exemple :
- “Ok Google, allume la lumière du salon”
- Ok, j’allume la lumière.
ça marche bien, le problème c’est qu’il faut renseigner toutes les phrases possibles (Allume la lumière du salon, Eclaire le salon,…), il n’y a pas vraiment d’IA. Ensuite je n’ai aucun moyen de lancer une discussion comme : - Ok google, la lumière du salon est-elle allumée ?
- Non, elle est éteinte, voulez vous que je l’allume ?
- Oui.
- Ok je l’allume.
Ensuite, je me suis penché sur Google actions, le problème que j’ai avec cela pour le moment c’est le coté UX. En effet, j’ai mis en place l’exemple précédent, dans une application google action “constellation test”, la conversation est :
- Ok google, la lumière du salon est-elle allumée ?
- Bien sûr. Vous pourriez essayer constellation test. ça vous dit ?
- Oui
- Très bien. Je vous affiche la version test de constellation test.
- Non, elle est éteinte, voulez vous que je l’allume ?
- Oui.
- Ok je l’allume.
Tu remarque tout de suite que ce n’est pas WAF, en effet l’assistant a besoin qu’on valide l’utilisation de l’application avant de converser. Ensuite il nous indique qu’on utilise l’application avant de converser avec nous.
Je n’ai pas trouvé comment éviter la validation d’utilisation de l’appli “constellation test”, ce n’est pas très WAF, peut-etre si je publie l’application, cette validation ne sera plus nécessaire. Mais je n’ai pas trouvé comment publier une application de façon privé.
Pour ce qui est de google assistant sdk, j’ai l’impression qu’on peut l’embarquer à condition d’avoir un micro qui récupère les ordres. Je n’ai pas vu comment l’intégrer de façon logiciel et donner des ordres depuis n’importe quel periphérique google home sans validation de l’appli a chaque discussion.
L’eedomus a fait un dev qui permet de faire ce que j’aimerais. Par quoi sont-il passé ?
A super !
Oui en effet, c’est pour ca que la solution IFTTT est sympa car rapide mais devoir tout définir à la main sans aucun “dialog flow” c’est un peu naze !
Perso j’ai acheté un ReSpeaker. Je n’ai pas encore eu le temps de réellement bosser, juste un peu joué avec le Assistant SDK en anglais. J’ai des étudiants qui avaient d’ailleurs réaliser un package Constellation pour API.ai que je devrais reprendre et publier asap.
Je pensais intégrer du Google Speech API couplé à API.ai. Mais je sais pas encore comment j’integre ca dans constellation pour faire un truc super générique. J’ai qqs idées mais il faut que j’expérimente tout concrètement pour y voir plus clair !
Comme je le disais j’ai prévu d’y consacrer du temps dans les prochaines semaines/mois histoire de me remettre à tout ca (à vrai dire c’était mon ancien métier de faire des agent vocaux intelligent, il y plus de 10 ans ;))
Je vous tiens au courant,
A+