Databricks Data Engineer Associate – Einführung

This course contains the use of artificial intelligenceKünstliche Intelligenz hätte sich nie entwickeln können, wenn keine Daten verfügbar wären. Und nicht nur die Menge ist entscheidend – auch die Qualität der Daten spielt eine zentrale Rolle. Denn wenn die Daten schlecht sind, wird die KI nicht intelligent, sondern schlichtweg dumm. Ein Data Engineer ist jemand, der mit großen Datenmengen umgehen kann, sie aus verschiedenen Quellen extrahiert, verarbeitet und für andere bereitstellt.Für solche Aufgaben braucht man die richtigen Werkzeuge – und eines davon ist Databricks: eine cloudbasierte Plattform für Datenverarbeitung und den Aufbau von Machine-Learning- und KI-Modellen.Dieser Kurs ist eine Einführung in das Data Engineering mit Databricks. Er vermittelt grundlegendes Wissen, das du brauchst, um dich auf die Prüfung zum Databricks Certified Data Engineer Associate vorzubereiten. Gleichzeitig zeigt er dir viele Details und Feinheiten, die selbst erfahrene Data Engineers oft nicht kennen oder nicht vollständig verstehen.Im Kurs starten wir mit Methoden, wie du Databricks kostenlos nutzen kannst – denn grundsätzlich kostet jeder Cluster-Start Geld.Danach erklären wir, wie die Compute-Ressourcen aufgebaut sind, die die Datenverarbeitung übernehmen, und wie die Daten in sogenannten Katalogen organisiert werden.Anschließend zeigen wir dir, wie du Notebooks erstellst und mit GitHub integrierst. Du lernst, wie man neue Kataloge anlegt und grundlegende Dateioperationen mit dem Modul dbutils durchführt. Da Databricks stark in der Cloud verankert ist, zeigen wir dir auch, wie die Integration aus Sicht von Azure funktioniert – und erstellen dabei eigene External Locations und externe Kataloge. Das ist bereits ein fortgeschrittener administrativer Teil der Databricks-Verwaltung in Azure.Im nächsten Schritt beschäftigen wir uns mit dem Delta-Format – einem auf Parquet bas