Hausbus3: Unterschied zwischen den Versionen

Aus RaumZeitLabor Wiki
(rzl-xkeyscore: Anbindung vom Broker an Datenbank)
Zeile 56: Zeile 56:
*** ''transactions'' - Alle fnordcredit Transaktionen
*** ''transactions'' - Alle fnordcredit Transaktionen
** ''status''
** ''status''
*** ''presence'' - Laboranten im Space (retained)
*** ''presence'' - Laboranten im Space (retained, '''blacklisted''')
*** ''devices'' - Anzahl Geräte im WLAN (retained)
*** ''devices'' - Anzahl Geräte im WLAN (retained)
** ''plug''
** ''plug''
Zeile 66: Zeile 66:




Beispiel zum Subscriben auf der Kommandozeile (offizieller Client): <code>mosquitto_sub -h infra.rzl -t /service/status/presence</code>
Beispiel zum Subscriben auf der Kommandozeile (offizieller Client):
 
<pre>mosquitto_sub -h infra.rzl -t /service/status/presence</pre>
 
=== XKeyScore ===
 
[[Benutzer:Else|Else]] hat ein kleines [https://github.com/raumzeitlabor/rzl-xkeyscore Perlscript] geschrieben, was sich auf das Topics '#' (alle Topics) subscribed und die Daten in unsere MySQL auf db.rzl schiebt, sodass wir später beliebige Statistiken bauen können. Bestimmte Topics können hiervon ausgeschlossen werden (bitte schicke einen Pullrequest). Momentan ist das insbesondere der Anwesenheitsstatus. Hier ein Beispiel, wie Du die Daten auslesen kannst:
 
<pre>1 % mysql --user=xkeyscore-ro --host=db.rzl --password=iedeijuophae6el4xeiniphac9ohqui4 xkeyscore
[...]
mysql> select * from messages order by `when` desc limit 1;
+-----+--------------------------------+---------+------+---------------------+--------+
| id  | topic                          | payload | qos  | when                | retain |
+-----+--------------------------------+---------+------+---------------------+--------+
| 421 | /service/plug/pinkelampe/power | 0      |    0 | 2014-06-29 17:13:52 |      0 |
+-----+--------------------------------+---------+------+---------------------+--------+
1 row in set (0.00 sec)
 
mysql> Bye
</pre>


== HTTP/HTTPS ==
== HTTP/HTTPS ==

Version vom 29. Juni 2014, 15:15 Uhr

       
Hausbus3

Release status: experimental [box doku]

Beschreibung
Autor(en)  tiefpunkt, else
Verantwortliche(r)  else
Letzte Version  v3.0.1

Auf besonderen Wunsch wurde aus der kontinuierlichen Weiterentwicklung des Hausbus2 nun der Hausbus3. Er setzt auf ähnlichen Konzepten auf, ergänzt aber viel sinnvolles noch dazu.

Die Kommunikation auf dem Hausbus3 erfolgt via Message Queues, in diesem Falle MQTT. Zusätzlich ist es je nach Implementierung möglich, über HTTP und HTTPS mit kommunizieren, um auch ohne MQTT auf gewissen Dienste direkt zugreifen zu können.

Vorschläge und Kritik am Konzept sind gerne gesehen.

Überlegungen

Der Hausbus2 sieht ein Pull-Prinzip vor. Ein Teilnehmer, der über Events oder Sensorwerte benachrichtigt werden möchte, muss aktiv Geräte pollen, um den aktuellen Status zu erfahren, und somit eine eventuelle Änderung mitzubekommen.

Nachteile:

  • Geräte müssen bekannt sein, nachträgliches Hinzufügen ist nur schwierig möglich.
  • Polling ist doof.

Alternative: Messages werden von den Endgeräten an einen Server gepusht. Hierfür eignet sich z.B. Pubsub Protokoll.

Nach einigen Überlegungen wurde MQTT als Protokoll ausgewählt. Gründe für die Auswahl:

  • Lightweight, läuft z.B. auch auf Arduinos
  • Leicht zu implementieren, Libraries für viele Sprachen
  • Last-Will-Funktion (was passiert wenn Endgerät Verbindung verliert)
  • bei (Re-)Connect können neue Geräte über das letzte Event informiert werden
  • Authentifizierung, ACLs etc. möglich.

Low-Cost Devices

Es folgen einige Überlegungen, wie man Arduinos etc. günstig an den Broker anbinden kann.

Leider eignet sich MQTT eher schlecht für kostengünstige Endgeräte wie z.B. einfache Mikrocontroller. Da man nicht unbedingt für jeden Sender einen Raspberry Pi o.ä. verschwenden möchte, stellt sich die Frage nach einer günstigen Anbindung an unseren Broker, die keinen Ethernet bzw. TCP Stack benötigt.

Kabelgebundene Busse wie z.B. CAN oder RS485 haben zwar hohe Reichweiten, allerdings ist der Aufwand für die Verlegung des Kabels relativ hoch, da wir auf jedenfall möglichst an jeder Stelle im Raum Geräte anbinden können möchten, und Abzweigungen nicht einfach möglich sind.

Es bietet sich daher eine Funkübertragung an. Als sehr günstig stellen sich die NRF24L01 Funkmodule auf 2.4Ghz Basis heraus (ca. 1-2€ pro Modul). Die Reichweite soll unter normalen Bedingungen bis zu 30M betragen, es gibt allerdings auch eine Funkmodulversion mit rausgeführter Antenne, die eine deutlich höhere Reichweiten erreicht (leicht teurer, aber auch nicht mehr als 3-4€). Libraries für Atmel, Arduino und Linux (Raspberry Pi) gibt es bereits.

Man könnte ein NRF24L01 Shield für den Raspberry Pi o.ä. entwerfen, der dann wieder die empfangenen Datenpakete auf den MQTT Broker ausleitet. Hierzu würde dann auch noch ein einfaches Protokoll benötigt.

Topics

Im Mai 2014 haben wir begonnen, die ersten Services mit unserem Broker infra.rzl zu verbinden. Es folgt eine Liste von Topics, die momentan auf dem Broker gepublished werden.

  • service
    • fnordcredit
      • transactions - Alle fnordcredit Transaktionen
    • status
      • presence - Laboranten im Space (retained, blacklisted)
      • devices - Anzahl Geräte im WLAN (retained)
    • plug
      • $plugname - die jeweilige Steckdose
        • state - der aktuelle Zustand (retained)
        • power - aktueller Stromverbrauch in W
        • consumption
        • consumptionTotal


Beispiel zum Subscriben auf der Kommandozeile (offizieller Client):

mosquitto_sub -h infra.rzl -t /service/status/presence

XKeyScore

Else hat ein kleines Perlscript geschrieben, was sich auf das Topics '#' (alle Topics) subscribed und die Daten in unsere MySQL auf db.rzl schiebt, sodass wir später beliebige Statistiken bauen können. Bestimmte Topics können hiervon ausgeschlossen werden (bitte schicke einen Pullrequest). Momentan ist das insbesondere der Anwesenheitsstatus. Hier ein Beispiel, wie Du die Daten auslesen kannst:

1 % mysql --user=xkeyscore-ro --host=db.rzl --password=iedeijuophae6el4xeiniphac9ohqui4 xkeyscore
[...]
mysql> select * from messages order by `when` desc limit 1;
+-----+--------------------------------+---------+------+---------------------+--------+
| id  | topic                          | payload | qos  | when                | retain |
+-----+--------------------------------+---------+------+---------------------+--------+
| 421 | /service/plug/pinkelampe/power | 0       |    0 | 2014-06-29 17:13:52 |      0 |
+-----+--------------------------------+---------+------+---------------------+--------+
1 row in set (0.00 sec)

mysql> Bye

HTTP/HTTPS

HTTP und HTTPS Kommunikation funktionieren fast ähnlich des Hausbus2. WIrd sich aber noch ändern, und dann auch ausführlicher dokumentiert.

(keine Gewährleistung, ob das noch aktuell ist)

Angebundene Geräte

tiefpunkt.vm.rzl

  • Hostet den MQTT-Broker (mosquitto)
  • hausbus3-exporters. Exportieren Sensordaten zu aktuell Cosm und OpenTSDB

(keine Gewährleistung, ob das noch aktuell ist)

Heizungssteuerung (heizung.rzl)

  • Temperatursensoren
  • Fensterstatus

Broker

infra.rzl

  • auf infra.rzl läuft ein MQTT Broker für alle zentralen Dienste
  • TODO: eventuell zusätzlich noch mit tiefpunkts bridgen (oder ersetzen)

premium.rzl

  • unsere externe VM. Bridge auf infra.rzl (keep-alive 10 Sekunden, automatischer Reconnect)
  • bridged den gesamten Tree (#) mit QoS Level 2, read-only
  • lauscht nur auf internem loopback

tiefpunkt.vm.rzl

  • siehe Angebundene Geräte

Code

Basis-Implementierung: hausbus3-python

Endpunkte:

  • hausbus3-raumstatus: Transferiert den Raumstatus (Hausbus1) auf den Hausbus3. Tut noch nicht.
  • hausbus3-exporters: Exportiert auf dem Hausbus3 publizierte Sensorwerte zu Cosm und OpenTSDB.
  • heizungssteuerung: Heizungssteuerung im Hauptraum. Durch die Nicht-Verfügbarkeit von tiefpunkt.vm.rzl aktuell nur in abgespeckter Version.

needed

  • Soundserver, der auf Events reagiert. Es gibt bereits einen simplen Soundserver, der allerdings nur über HTTP funktioniert. Gewünscht wäre eine modifizierte Version, die sich auf den gesamten /service Tree subscribed (Topic: /service/#) und bei Events auf unserem Datengrab in einem bestimmten Verzeichnis schaut, ob es für das Topic eine gleichnamige Sounddatei gibt, die dann abgespielt wird. Neue Sounds könnte man dann einfach registrieren in dem man Dateien auf dem Datengrab ablegt.