Effizientes Handling von IoT-Daten

Verwaltung von Sensordaten

26. April 2023, 12:00 Uhr | Stefan Käser/am
DoubleCloud kann Unternehmen dabei helfen, sekundenschnelle Datenanalyselösungen und Pipelines auf Basis bewährter Open-Source-Technologien wie ClickHouse zu bauen.
© DoubleCloud

Bei der Entwicklung und Nutzung von Sensoren geht es um das Sammeln von Daten. Das Speichern und Verarbeiten von Daten ist jedoch kostenintensiv, und Unternehmen wollen ihre Zeit und ihr Geld in die Nutzung der Daten investieren, nicht in die Datenverwaltung. Genau an dieser Stelle können moderne Managed-Database-Plattformen den Anbietern von Sensoren helfen, so kosten­effizient wie möglich zu arbeiten.

Die Managed-Database-Plattformen unterstützen Unternehmen dabei, sekundenschnelle Analyselösungen und Pipelines auf Basis bewährter Open-Source-Techniken wie des Datenbank-Management-Systems ClickHouse und der Event-Streaming-Plattform Apache Kafka in kurzer Zeit aufzubauen.

Riesige Datenmengen

In immer mehr Privathaushalten sind Stromsensoren im Einsatz. Benutzer stecken sie in die Steckdose, um zu überprüfen, wie viel Energie ein bestimmtes Gerät in Wirklichkeit verbraucht. All diese IoT-Sensoren sammeln Daten, und wenn sie alle paar Sekunden diese Daten zur Speicherung und Weiterverarbeitung übertragen, sind es schnell Milliarden von Datenpunkten.

Ein Beispiel soll das verdeutlichen: Ein Unternehmen verkauft Sensoren, die die durchfließende Strommenge messen und diese Messwerte zur späteren Analyse an eine Datenbank senden. Die Datenerfassung erfolgt alle fünf Sekunden. Insgesamt gibt es 1.000 Sensoren. Darüber hinaus  ist das Unternehmen dazu verpflichtet, die Daten mindestens fünf Jahre lang aufbewahren. Das bedeutet für diese Organisation, dass sie am Ende 31 Milliarden Datenpunkte sammeln wird. Aber das ist noch nicht alles.
Es gibt darüber hinaus noch andere Anforderungen als nur das Sammeln der Daten. Die Benutzerschaft will den aktuellen Zustand an ihren Sensoren sehen, wenn sie beispielsweise mit der Videobearbeitung beginnt und den Stromverbrauch beim Rendern sehen will. Andere wiederum wollen prüfen, wie viel Strom ihre Photovoltaikanlage am einem Tag produziert hat. Wiederum andere möchten den Stromverbrauch auf Jahresbasis abrufen, weil sie Geld in einen neuen, energieeffizienten Kühlschrank investiert haben.

Konsolidierung der Datenverarbeitung

All diese Anfragen unterscheiden sich in der Art und Weise, wie die Daten aufbereitet sein müssen, und erforderten in der Vergangenheit unterschiedliche Systeme zur Bearbeitung. Mit einer verwalteten Datenbank in der Cloud können Unternehmen all diese Anforderungen mit demselben Tool auf effiziente Weise erfüllen.

ClickHouse kann Millionen von eingefügten Zeilen pro Sekunde verarbeiten, so dass beispielsweise 1.000 Zeilen alle fünf Sekunden kein Problem darstellen. Erforderlich ist nur eine einfache Tabelle, in der sich die Daten einfügen lassen, bevor die Tabelle an die Datenbank gelangt. Um das Beispiel einfach zu halten, sind nur drei Werte pro Datensatz gespeichert: ein eindeutiger Identifier für jeden Sensor, der tatsächliche Zeitstempel, zu dem der Sensor die Daten erfasst hat, gerundet auf die Sekunde, sowie die Anzahl der vom Sensor gemessenen Wattstunden seit dem letzten Datenpunkt.

Anbieter zum Thema

zu Matchmaker+

  1. Verwaltung von Sensordaten
  2. Automatische Aggregation

Lesen Sie mehr zum Thema


Jetzt kostenfreie Newsletter bestellen!

Weitere Artikel zu Ionos

Weitere Artikel zu Daten-Analyse

Weitere Artikel zu Conrad Electronic SE

Matchmaker+