symproject datenmigration header
Gruppe 11232x

Datenmigration

Begriffsdefinition

Von Datenmigration wird gesprochen, wenn beliebige Daten in beliebiger Menge sicher von einem “Ort” zum nächsten gebracht und dabei geprüft werden. Die Speicherform – das Format – wird dem zukünftigen Bedarf angepasst.

Einfach erklärt

Daten sind die wesentliche Grundlage für Informationen. Obwohl wir beruflich wie privat meistens Informationen gebrauchen, sind die zugrunde liegenden Daten eine sensible Ressource. Wird ein neues System integriert oder ein neuer Standort für die Daten festgelegt, müssen die Daten über eine Schnittstelle verschoben werden. Im Gegensatz zur Datenintegration, die die verschiedenen Sätze kombiniert, werden die Daten hierbei an ihre neue IT-Umgebung angepasst.

Zum besseren Verständnis kann man eine bekannte Metapher verwenden: Daten sind wie Wasser. In den Rechenzentren wurde diese Metapher schon sehr früh verwendet. Der Datenfluss ist für jeden ITler eine geläufige Bezeichnung. Wenn man beispielsweise das Passwort wechseln muss, dann gab es vorher häufig ein Datenleck. Und natürlich kennt jedes Rechenzentrum auch die Datenflut sowie die Datenquelle. 

Daten- versus Informationsmigration

Auch wenn es häufig intuitiv klar ist, um welchen Informationsgehalt es gerade geht, so sind sich die meisten über die vielfältigen Erscheinungsformen der von ihnen verwendeten Daten nicht wirklich bewusst. Je nach Abteilung oder beruflichem Hintergrund kann in der Anwendung, der App, der Datenbank oder dem Programm dieselbe Information in ihrem Datenkontext völlig unterschiedlich strukturiert und repräsentiert sein. Neben verschiedenen Speicherungsformen als File, Datenbank oder in der Cloud können z.B. Adressdaten (genauer Ortsinformationen) je nach Prozess und Bedarf in unterschiedlichen „Zuständen“ existieren. Mal sind sie Roh- oder Stammdaten, sie können aber auch META-Daten, Geo-Daten oder Referenzdaten sein. 

Programmierte Oberflächen („User Interfaces“) und die Apps auf dem Mobilphone lassen uns häufig Datenverarbeitung mit Informationsverarbeitung verwechseln. Daher handelt es sich in vielen Fällen eher um eine Informationsmigration. Die Daten müssen im „richtigen“ Kontext über eine digitale Schnittstelle migriert werden.

Unsere Kompetenz

Je nach Anforderung und Aufgabenstellung des Kunden kanalisieren wir Datenströme, filtern Doubletten heraus oder kombinieren Datenbestände und reichern sie aus verfügbaren, sauberen (Daten-)Quellen an. Wir bringen auch gerne Ihre Daten für spezielle Benutzer oder neue Applikationen zum Fließen. 

Dabei sind wir unter anderem spezialisiert auf Stammdatenmanagement (Master Data Management), beispielsweise von SAP- Stammdaten. Weitere Schwerpunkte liegen in der Migration in Oracle-Datenbanken, über SAP-Schnittstellen an SAP-Systeme oder in SQL-Datenbanken. Aber auch bei Nicht-SAP-Systemen, NoSQL-Datenbanken oder Open-Source-Datenbanken stehen wir Ihnen beratend und organisatorisch zur Seite. Wir unterstützen Sie bei der Verwaltung der Daten, der Auswahl der entsprechenden Technologie, bei der reibungslosen Umsetzung sowie mit anschließendem Support. Dabei legen wir Wert auf direkte, verständliche Kommunikation und sauberes Management von Abläufen.

symproject datenmigration gruende

Gründe für Data Migration

Unternehmen können Daten migrieren, um ... 

• ... das gesamte System ihrer Organisation zu überholen.
• ... Datenbanken aufzurüsten.
• ... das Data Warehousing zu erneuern.
• ... neue Daten vor einer Akquisition oder aus anderen Quellen zu integrieren.
• ... ein anderes System (SAP, Oracle) neben bestehenden Anwendungen zu implementieren.
• ... E-Commerce-Lösungen zu etablieren, ein CRM-System oder ERP-System einzuführen. 

symproject datenmigration fehlerquellen

Was gilt es bei der Planung zu berücksichtigen?

Wenn Sie ein Datenmigrationskonzept erstellen, sollten Sie auf diese kritischen Faktoren eingehen: 

  • Kenntnis der Daten – Vor der Data Migration müssen Sie die Quelldaten einer umfassenden Prüfung unterziehen, sonst kann es zu unerwarteten Problemen kommen.
  • Cleanup – Probleme, die Sie in den Quelldaten identifiziert haben, müssen gelöst werden. Eventuell sind dazu zusätzliche Softwaretools und/oder externe Ressourcen erforderlich. 
  • Wartung und Schutz – Die Qualität der Daten nimmt mit der Zeit ab, sodass diese unzuverlässig werden. Um die Datenqualität aufrechtzuerhalten, muss es ausreichend Kontrollen geben.
  • Governance – Nachverfolgung und Reporting bezüglich der Datenqualität sind wichtig, weil sie ein besseres Verständnis der Datenintegrität liefern. Es ist ratsam, dafür benutzerfreundliche Tools einzusetzen, die zumindest in Teilen automatisiert ablaufen. 

Die richtige Software bei unterschiedlichen Datenquellen

Es ist schwierig und zeitaufwändig, ein Tool für die Datenmigration von Grund auf zu erstellen oder eigenhändig zu programmieren. Daher setzen viele Unternehmen auf externe Systeme. Datentools zur Vereinfachung von Migrationen sind effizienter und kosteneffektiver. Achten Sie bei der Suche auf diese Faktoren: 

Konnektivität – Werden die Systeme, Software und Datenbanken unterstützt, die Sie aktuell im Einsatz haben?
Skalierbarkeit – Was sind die Datenlimits und werden sie in absehbarer Zeit noch für die Datenanforderungen ausreichen?
Sicherheit – Welche Sicherheitsfunktionen bietet die Softwareplattform, mit denen Ihre Daten geschützt werden (insbesondere im Hinblick auf Schnittstellen)?
Geschwindigkeit – Wie lange dauert die Verarbeitung auf der Plattform? 

Die Strategie ist entscheidend

Das grundsätzliche Ziel besteht darin, die Performance und Wettbewerbsfähigkeit eines Unternehmens zu steigern. Das kann ermöglicht werden, indem man beispielsweise Daten in eine optimierte Oracle-Datenbank überträgt, ein SAP-System etabliert oder auch Salesforce anbindet. Bei der Entwicklung einer passenden Strategie gibt es nicht nur einen Weg, der zum Ziel führt. Um ein passendes Konzept zu finden, ist es wichtig, die individuellen Geschäftsanforderungen zu berücksichtigen. Die meisten Konzepte fallen in eine dieser beiden Kategorien: „Big Bang“ oder „Trickle“. 

 

Big Bang“-Migration 

Bei dieser Migration erfolgt der komplette Transfer innerhalb eines begrenzten Zeitfensters. Die Live-Systeme sind nicht verfügbar, solange die Daten den ETL-Prozess durchlaufen und in die neue Datenbank übertragen werden. 

Der Nachteil dieser Methode liegt auf der Hand: Eine wichtige Ressource ist während des laufenden Geschäftsbetriebs offline, weshalb alles in relativ kurzer Zeit stattfinden muss. Diese Art der Migration geschieht dementsprechend unter einem enormen Druck und birgt das Risiko, dass bei der Implementierung etwas schiefläuft. 

Falls dieser Ansatz für Ihr Unternehmen dennoch am sinnvollsten erscheint, ist es ratsam, den Prozess der Data Migration im Vorfeld durchzuspielen. 

 

Trickle“-Migration 

Bei Trickle-Migrationen findet der Migrationsprozess in mehreren Phasen statt. Während der Implementierung laufen das alte und neue System parallel, sodass es keine Ausfälle oder operativen Unterbrechungen gibt. 

Da die Prozesse in Echtzeit ausgeführt werden, kann die Migration der Daten beispielsweise in die Datenbank kontinuierlich erfolgen. 

Im Vergleich zum Big-Bang-Ansatz können sich diese Implementierungen ziemlich komplex gestalten. Verläuft die Datenmigration jedoch strukturiert, erweist sich die erhöhte Komplexität als Vorteil: Das Risiko für Fehler reduziert sich. 

symproject datenmigration planung

Wie Sie Fehlerquellen vermeiden

Eine schlechte Durchführung kann zu ungenauen Daten mit Redundanzen und Unwägbarkeiten führen. Das kann selbst bei voll nutzbaren und adäquaten Quelldaten passieren. Zudem können sich Missstände, die bereits in den Quelldaten vorhanden waren, bei der Überführung in ein neues, komplexeres System verstärkt auswirken. Dabei ist irrelevant, ob es sich bei diesem neuen System um SAP, Oracle oder ein ERP System handelt.

Mit einer umfassenden Datenmigrationsstrategie lässt sich verhindern, dass die Migration der Daten mehr Probleme schafft, als sie löst. Neben Termin- und Budgetüberschreitungen können lückenhafte Konzepte dazu führen, dass Migrationsprojekte komplett scheitern. Bei der strategischen Planung sollten sich die Teams daher voll auf die notwendigen Aufgaben konzentrieren, statt andere Großprojekte zu priorisieren. Durch eine Zusammenarbeit mit SymProject vermeiden Sie eine Komplettauslastung Ihrer internen Ressourcen und eine Überbelastung Ihrer Mitarbeiter. Sie ermöglicht Ihnen die notwendige Priorisierung im Management und somit den optimalen Verlauf Ihrer Projekte.

Vorbereitung der Datensätze

Bei der Anbindung von Daten in verschiedenen Systemen, SAP, Oracle oder anderen Lösungen sollten Sie folgende wichtige Schritte beachten:

1. Bewerten und analysieren

Starten Sie mit der Analyse der Unternehmensdaten. Die Beantwortung der folgenden Fragen kann bei dieser Bewertung hilfreich sein: 

  • Wie viele Unternehmensdaten müssen migriert werden?
  • Handelt es sich um strukturierte oder unstrukturierte Daten?
  • Ist Datenredundanz ein Problem?
  • Wie viele Daten sind ROT (redundant, obsolet oder trivial)?
  • Ist die Information alt oder aktuell? 

Durchsuchen Sie alle Workflows und freigegebenen Laufwerke, in denen Daten gespeichert sind, und finden Sie heraus, wofür sie verwendet wurden und in Zukunft verwendet werden sollen.

2. Sammeln und bereinigen der Daten

Dieser Schritt umfasst das Entfernen von ROT-Daten, das Komprimieren des verbleibenden Inhalts und das Konvertieren unternehmensweiter Daten in ein einziges Format. Um die verfügbaren Informationen zu untersuchen und doppelte/redundante Datensätze zu entfernen, wird Daten-Profiling-Transformation angewendet. 

Die manuelle Ausführung dieser Aufgaben kann für große Datenmengen zeit- und ressourcenintensiv sein. Durch den Einsatz einer Migrationssoftware wird dieser Prozess automatisiert und ein effizientes und fehlerfreies Ergebnis gewährleistet.

3. Daten sortieren 

Nachdem Sie die Daten in einer qualitativ hochwertigen und verwendbaren Form profiliert haben, besteht die nächste Phase darin, sie gemäß den Migrationsanforderungen zu kategorisieren. Die Kategorisierung kann anhand des Produkttyps, der ID oder anderer Kriterien erfolgen. Dies erleichtert das Weiterleiten von Daten in die richtigen Buckets.

4. Daten validieren

Im letzten Schritt wird der Ausführungsprozess überprüft. Bewerten Sie die Datenregeln, überprüfen Sie, ob sie ordnungsgemäß funktionieren, und ordnen Sie Ausnahmen in Ihrem Datenfluss zu. Selbst wenn der Prozess automatisiert ist, sollten Sie ihn am besten überprüfen, um sicherzustellen, dass Sie bei der Implementierung des Datenmigrationsprozesses nicht auf unerwartete Herausforderungen stoßen. 

Nach dem Sortieren der Daten wenden wir die Datenqualitätsregeln an, um die Fehler anhand definierter Regeln zu bestimmen. In diesem Szenario verwenden wir Datenqualitätsregeln, um die Datensätze zu identifizieren und zu löschen, in denen das Feld 'Quantity' den Wert Null hat. 

Mit den oben genannten Schritten erhalten Sie gut organisierte und saubere Datensätze. Sie müssen sie nur noch von einem System auf ein anderes migrieren.

symproject datenmigration cloud

Datenmigration in die Cloud

Immer mehr Organisationen verlagern ihre Daten teilweise oder ganz in die Cloud (z.B. Oracle Cloud). So möchten sie ihre Time to Market verkürzen, die Skalierbarkeit verbessern und den Bedarf an technischen Ressourcen reduzieren

Früher haben Datenarchitekten größere Serverfarmen vor Ort implementiert, damit die Daten an die physischen Ressourcen der Organisation gebunden bleiben. Einen Grund für den lokalen Betrieb von Servern stellten Sicherheitsbedenken bezüglich der Cloud dar. Doch mittlerweile haben alle wichtigen Plattformen Sicherheitsmaßnahmen eingeführt. Diese entsprechen denen herkömmlicher IT-Abteilungen (und natürlich auch der DSGVO). Daher ist diese Barriere für eine Datenmigration weitgehend überwunden. 

Die richtigen Integrationstools unterstützen Unternehmen dabei, ihre Datenmigration mit einer hochskalierbaren und sicheren Cloud-Integration Platform-as-a-Service (iPaaS) zu beschleunigen. Talends Suite beinhaltet cloudnative Open-Source-Datenintegrationstools, die Drag-and-drop-Funktionen ermöglichen. So lässt sich ein komplexes Datenmapping vereinfachen. Zudem ist unsere Lösung für Datenmigrationen dank unserer Open Source Foundations kosteneffektiv und effizient. 

Erste Schritte innerhalb Ihres Konzepts

Möchte Ihre Organisation das IT-System aufrüsten, eine neue IT-Strategie verfolgen, in die Cloud wechseln oder Daten konsolidieren, könnte bald auch eine Datenmigration anstehen. Damit die Integrität Ihrer Daten dabei stets gewährleistet ist, sollten Sie von Beginn an alle notwendigen Schritte sorgfältig planen. 

Der Datenmigrationsplan ist mehr als nur das Verschieben von Daten von einem Repository in ein anderes. Die Durchführung einer erfolgreichen Datenübertragungstechnik und die Auswahl der richtigen Software umfasst mehrere Vorgänge. Diese Punkte solltest Du integrieren: 

1. Die Datenquelle untersuchen und bewerten 

Vor dem Start müssen Sie wissen (und verstehen), welche Daten Sie migrieren und wie diese in das Zielsystem passen. Machen Sie sich außerdem ein Bild davon, um wie viele Daten es sich handelt und wie diese aussehen. 

Damit verhindern Sie, dass u. a. folgende Herausforderungen Ihre Datenmigration behindern: 

  • Sie übertragen Daten mit vielen Feldern, die nicht im Zielsystem abgebildet werden müssen.
  • Datenfelder innerhalb einer Quelle fehlen und Sie müssen sie von einem anderen Ort nehmen, um die Lücke zu füllen.
  • Aufgrund von unzureichend befüllten Feldern, unvollständigen Datenelementen oder anderen Ungenauigkeiten ist es zweifelhaft, ob es überhaupt sinnvoll ist, die Daten zu migrieren. 

Prüfen Sie Ihre Quelldaten nicht im Vorfeld, laufen Sie Gefahr, Zeit und Geld zu verschwenden. Oder schlimmer noch: Es könnte zu einem kritischen Fehler beim Datenmapping kommen, der das Projekt ins Stocken bringt.

2. Konzepterstellung

Die Auswahl einer Strategie hängt von der Notwendigkeit der Datenmigration ab. Ist sie notwendig, weil das Unternehmen nach einer Akquisition oder Fusion Systeme konsolidiert, oder ist Datenüberflutung der Grund? Sie müssen die Geschäftsziele festlegen, die die Grundlage für den Datenmigrationsplan bilden. 

Im nächsten Schritt müssen Sie klären, ob Sie sich für Datenmigrationsdienste oder ETL-Tools der Enterprise-Klasse entscheiden. Dadurch werden die Quell- und Zielsysteme identifiziert, Workflows generiert und der Inhalt migriert. Alternativ können Sie durch den Kauf einer Code-freien Software die Übertragung nach Belieben durchführen, das Projekt beschleunigen und Risiken reduzieren. Gleichzeitig können die Gesamtkosten gesenkt werden. 

Durch die vorherige Strategie zum Kauf von ETL-Tools oder codefreier Migrationssoftware kann das Unternehmen Geschäfts- und IT- Benutzer über die Ziele des Datenmigrationsprojekts informieren und eine unternehmensweite erfolgreiche Einführung und Implementierung sicherstellen. 

3. Designphase

In der Designphase wird definiert, welchen Ansatz der Datenmigration Sie verfolgen. Dazu gehört es, die technische Architektur zu entwerfen sowie die Details zu bestimmen. 

Jetzt können Sie beginnen, die Zeitpläne und sämtliche Belange für Ihr Projekt festzulegen. Berücksichtigen Sie dabei: 

  • das Design 
  • die Übertragung der vorgesehenen Daten 
  • das Zielsystem.

Am Ende dieses Schritts sollte das gesamte Projekt dokumentiert sein. Zudem ist es wichtig, während der Planung Sicherheitskonzepte für die Daten zu erstellen und die Datenschutzrichtlinien einzuhalten. 

4. Vorbereitung der Datensätze

Dieser Schritt umfasst mehrere Unterpunkte, die bedeutend für die Datenqualität sind und die Funktion der Migration gewährleisten. Weitere Informationen dazu finden Sie im nächsten Abschnitt.

5. Die Lösung für die Migration von Daten erstellen

Es kann verlockend sein, bei der Entwicklung des Datenmigrationsprojekts nur auf das Nötigste zu achten. Doch da Sie die Implementierung nur einmal durchführen, ist es wichtig, alle Details zu berücksichtigen. Eine verbreitete Taktik ist es, Daten in Untereinheiten aufzuteilen und immer nur eine Kategorie auf einmal zu erstellen. Anschließend führen Sie den Test durch. Für Organisationen, die an besonders großen Datenmigrationen arbeiten, kann es sinnvoll sein, Erstellung und Tests parallel laufen zu lassen. 

6. Einen Live-Test durchführen

Die Testphase ist nicht vorbei, wenn Sie den Code in der Build-Phase getestet haben. Es ist wichtig, das Design der Datenmigration mit echten Daten zu testen. So können Sie die Genauigkeit der Implementierung und die Vollständigkeit der Anwendung gewährleisten. 

7. Migrieren

Nach den finalen Tests kann die Datenmigration gemäß dem im Plan definierten Ansatz erfolgen. Beispielsweise werden die Daten auf den SQL-Server migriert, nachdem sie profiliert, sortiert und auf Fehler überprüft wurden. 

8. Prüfung

Nachdem die Implementierung live gegangen ist, setzen Sie ein System zur Prüfung der migrierten Daten auf, um die Genauigkeit der erfolgten Datenmigration sicherzustellen. 

Best Practices für Ihr Projekt 

Für unsere Kunden haben wir schon zahlreiche Migrationsprozesse durchgeführt, auch im zwischenbetrieblichen Stammdatenmanagement. Natürlich können wir Ihnen kein PDF-Dokument anbieten, das für Ihre Anforderungen eine passende Blaupause bietet und so Ihren Unternehmenserfolg steigert. Aber wir können Ihnen Tipps geben oder Sie ausführlich beraten. Unabhängig von der Implementierungsmethode empfiehlt es sich, bei jeder Data Migration die folgenden Best Practices zu integrieren: 

  • Vorab Datenbackup durchführen: Sie können es sich nicht leisten, einzelne Datenbestände oder die gesamte ursprüngliche Version zu verlieren, falls bei der Implementierung etwas schiefgeht. Sorgen Sie dafür, dass Sie über Backup-Ressourcen verfügen und testen Sie diese.
  • An der Strategie festhalten: Viele Datenmanager halten sich nicht an ihren Plan, wenn es allzu glatt läuft oder außer Kontrolle gerät. Datenmigrationen können kompliziert und manchmal auch frustrierend sein. Bereiten Sie sich darauf vor und halten Sie sich an Ihre Strategie.
  • Testen, testen, testen: Während der Planungs- und Designphase sowie bei der Implementierung und Wartung ist es wichtig, die Prozesse zu testen. So stellen Sie sicher, dass Sie das gewünschte Ergebnis erhalten und eine hohe Datenqualität erzielen. Unabhängig davon, ob Sie in unterschiedlichen Systemen verschiedene Arten von Data bearbeiten oder auch verschiedene Quellen haben – Testen ist unersetzlich und sichert Ihnen eine erfolgreiche Migration.

Ihre Vorteile mit SymProject

symproject icon virtuelle Teams

Eine technisch versierte Zusammenarbeit in virtuellen Teams

symproject icon kurze kommunikationswege

Agile Projektabläufe mit Sprints alle 2-4 Wochen

symproject icon organisierte zusammenarbeit

Kompetente Projektteams und eingeschliffene Kommunikationswege

symproject icon knowhow

Immer das richtige Know-how im jeweiligen Projekt

symproject icon flexibiel

Flexibilität bei der Einsatzplanung

Vertiefende Informationen zum Thema

Sie möchten tiefer eintauchen in die Materie der Datenmigration oder haben einen speziellen Anwendungsfall? Mit Links zu Detailthemen bieten wir Ihnen weitere Einblicke in unser Leistungsspektrum.

symproject icon adressenmanagement

Adressmanagement

Unter Adressmanagement verstehen wir: Die Suche, Selektion, Aufbereitung, Verfeinerung und Transformation von Daten zum Zwecke der Weitergabe und Informationsgewinnung.
symproject icon Datenbankmigration

Datenbankmigration

Bei einer Datenbankmigration werden alle Daten aus Quelldatenbanken in Zieldatenbanken kopiert oder transformiert.
symproject icon oracle datenbanken

Oracle Datenbanken

Oracle ist gegenwärtig marktführend im Bereich Datenbanken. Bei Migrationen bieten sich eine Reihe zusätzlicher Möglichkeiten.

Jetzt zusammen mit
SymProject durchstarten!

Ihr Gerät scheint diesen Teil der Seite nicht korrekt anzeigen zu können. Bitte kontaktieren Sie uns direkt via E-Mail:

info@symproject.com