Senior Data Engineer– Snowflake & Iceberg

................

Für unseren Kunden in Bern, suchen wir eine:n motivierte:n und aufgeschlossene:n Senior Data Engineer– Snowflake & Iceberg.

Ziel des Projekts ist der Aufbau einer vollständigen, zuverlässigen und produktionsfähigen CDC-Lösung zur Synchronisation von TigerData nach Snowflake auf Basis von Apache Iceberg.

Die Lösung soll hinsichtlich Zuverlässigkeit, Transparenz und Betriebsfähigkeit einen vergleichbaren Standard wie die bestehenden CDC-Prozesse mit Fivetran HVR erreichen,

Deine Aufgaben:

• Analyse und Bewertung des von TigerData bereitgestellten CDC-Ansatzes auf Basis von Apache Iceberg
• Definition und Konzeption einer geeigneten Zielarchitektur für die kontinuierliche Synchronisation von TigerData nach Snowflake
• Konfiguration und Optimierung von Snowflake für die Verarbeitung der über Apache Iceberg bereitgestellten Daten
• Konzeption und Implementierung der erforderlichen Iceberg-Komponenten und Datenstrukturen
• Sicherstellung einer zuverlässigen Verarbeitung von Inserts, Updates und Deletes
• Berücksichtigung von Schema Evolution, Datenkonsistenz, Datenlatenz, Recovery und Reconciliation
• Aufbau von Monitoring-, Logging- und Fehlerbehandlungsmechanismen für einen stabilen Produktionsbetrieb
• Technische Abstimmung mit TigerData und bei Bedarf direkt mit Snowflake
• Unterstützung bei der Implementierung, Validierung und Produktivsetzung der End-to-End-Lösung
• Dokumentation der technischen Architektur sowie Wissenstransfer an das interne Team

Dein Profil:

• Mehrjährige praktische Erfahrung in der Konzeption und Umsetzung von Datenintegrations-…