Software- und Datenmigration
Softwaremigration
Unter Software Migration verstehen wir die Konvertierung oder Neu-Programmierung eines Alt-Systems auf der Basis neuer, moderner Architekturen und zeitgemässer Hardware. Dies ist meist mit zusätzlichen Funktionen im neuen System verbunden, was wiederum zu notwendigen Anpassungen an Schnittstellen und der Dateistruktur führt.
Greenfield versus Brownfield
Unabhängig davon, ob man mit dem neuen System auf „grüner Wiese“ neu anfangen will/kann oder aus einer Umgebung umstellen muss, die bereits eine Workaround-Vergangenheit und "kahle Flecken" hat - jede Migrationsform hat ihre Tücken.
Die Analogie zur "grünen Wiese" geht dabei übrigens auf den Fußballplatz zurück, der entweder in einem Top-Zustand ist (=Greenfield) oder mehr als Bolzplatz daher kommt (=Brownfield). Auf dem Brownfield rollt der Ball nicht immer geradeaus, aber die Bolzplatznutzer haben sich daran gewöhnt – und genau das können bei der Software Migration Herausforderungen für die bisherigen Nutzer werden.
Für beide Szenarien gibt es angepasste Vorgehensweisen, die nicht nur technischer Natur sind - sprechen Sie mit uns.
Software Lifecycle
Migrationsaufwände sind lästig, denn alles funktioniert doch noch - irgendwie?
Seit der ursprünglichen Implementierung des Altsystems sind viele Jahre vergangen. Alles hat einmal gut funktioniert, aber die Realität und die Umgebung des Systems haben sich verändert. Es wird manchmal übersehen (oder verdrängt), dass es auch für Software einen Lifecycle und eine zu erwartende Lebensspanne gibt. Irgendwann nutzen die kleinen Anpassungen als "Software-Facelifting" nichts mehr.
Nichts auf dieser Welt funktioniert bis in alle Ewigkeit - auch nicht Software.
Wenn sich dann die Probleme an den Schnittstellen häufen und die Software nicht mehr den Anforderungen genügt, sollten Sie handeln, bevor sich die Menge der notwendigen Veränderungen zu einer unüberwindbaren Hürde auftürmt. Abwarten verschlimmert dieses Problem, also Ärmel hoch und erst einmal ein Migrationskonzept entwickeln. Wir sind dabei gerne behilflich.
Datenmigration
Von Datenmigration wird gesprochen, wenn bereits existierende Daten in beliebiger Menge sicher von einem “Ort” zum nächsten gebracht werden. Dabei muss sichergestellt werden können, dass die Daten nach der Migration vollständig und fehlerfrei sind. Das ist heute, ohne speziell dafür entwickelte Algorithmen, kaum noch möglich.
Zudem unterscheiden sich Datenmodelle von Alt- und Neuanwendung oftmals hinsichtlich Struktur, Syntax und Semantik. Trotzdem müssen Struktur und Format der Daten dem zukünftigen Bedarf angepasst werden, das ist ohne erfahrene Spezialisten ein nicht zu unterschätzender Kraftakt.
Einfach erklärt
Daten sind die wesentliche Grundlage für valide Information(en) aus dem Rechenzentrum. Im Gegensatz zu Computern benötigen und verarbeiten Menschen zwar überwiegend Informationen, doch auch hier sind die zugrunde liegenden Daten der wahre Schatz, soweit sie valide und verwendbar/lesbar sind.
Wird ein neues ERP-System beschafft oder muss die Datenbank erweitert werden, dann müssen vorab die dafür notwendigen Stammdaten "erstellt" werden. Meist ist das zwar manuell möglich, aber - abhängig von der Anzahl der benötigten Daten - auch sehr aufwändig und fehleranfällig. Da fast immer ein grosser Teil der benötigten Daten in den alten Applikationen bzw. in anderen, bereits existierenden IT-Systemen vorliegt, liegt es nahe, die notwendigen Daten softwaretechnisch zu extrahieren und für die neue Verwendung zu übernehmen. Dazu müssen existierende Daten für die neue IT-Umgebung "vorbereitet" werden, indem Format und Qualität an die erweiterten Anforderungen des neuen Systems angepasst werden.
Zum besseren Verständnis und zur Unterscheidung von Daten und Information kann man in einer bekannten Metapher denken: Daten sind liquide, sie sind wie Wasser - die Information schwimmt auf ihnen wie ein Schiff auf dem Wasser. In den Rechenzentren wurde diese Metapher schon sehr früh verwendet, in der Datenverarbeitung finden sich an vielen Stellen Fachbegriffe mit liquidem Bezug.
Ein Datenfluss-Diagramm zeigt keinen Wasserstand und folgt auch keinem Urstromtal. Bei der Suche nach Datenquellen hilft kein Kompass und man kann auch nicht den Datenfluss hochfahren. Kommt es dann zur Datenflut, nutzt auch das nächste Hausdach nichts. Bei einem Datenleck hilft es allerdings durchaus, wenn man die Quelle trockenlegt und aufpasst, dass der Puffer nicht überläuft.
Daten- versus Informationsmigration
Auch wenn der Informationsgehalt häufig intuitiv klar ist, sind sich die meisten nicht wirklich bewusst, wie vielfältig die Erscheinungsformen der von ihnen verwendeten Daten sind.
Je nach Abteilung oder beruflichem Hintergrund kann in der Anwendung, der App, der Datenbank oder dem Programm dieselbe Information in ihrem Datenkontext völlig unterschiedlich repräsentiert sein. Neben verschiedenen Speicherungsformen als Datei, Datenbank oder in der Cloud können z.B. Adressdaten (genauer: Ortsinformationen) je nach Prozess und Bedarf in unterschiedlichen „Zuständen“ existieren. Mal sind sie Roh- oder Stammdaten, sie können aber auch META-Daten, Geo-Daten oder Referenzdaten sein.
Die klassischen Personaldaten Name, Anschrift, Geburtsdatum etc. sind Basis-/Stammdaten der Personalbuchhaltung. Zusammen mit weiteren Daten aus dem Einstellungsprozess wie Gehalt, Starttermin etc. sind sie die stabile Datenbasis zur monatlichen Gehaltsabrechnung. Änderungen an diesen Stammdaten sind zwar grundsätzlich möglich, unterliegen aber strengen Vorgaben, die mit META-Daten nachvollziehbar dokumentieren, WER das WANN und WARUM gemacht hat. Soweit alles gut, die Datenbasis ist valide und die Gehaltsabrechnung produziert jeden Monat die richtigen Beträge für Mitarbeiter, Finanzamt und die Krankenkassen.
Nun hat aber bei uns allen CORONA zugeschlagen, viele (aber nicht alle) Mitarbeiter wurden ohne Vorwarnung ins Homeoffice verbannt. Auch dort gelten die einschlägigen Verordnungen zum Arbeitsschutz, die von den Unternehmen überprüft werden müssten. Ach ja, einen Zuschlag für das eigen Büro zu Hause gibt es ja auch noch. Nur, wie soll man das alles machen? Die bisher valide Datenbasis der Personalabteilung gibt diese Daten gar nicht her.
Nun kann man die Themen manuell abarbeiten, für kleine Unternehmen durchaus überlegenswert. Ab ein paar hundert Mitarbeitern lässt sich das jedoch nicht mehr machen. Hier könnte der Fokus von der Personal-Datenverarbeitung (zumindest vorübergehend) in die Informationsverarbeitung wechseln. Nur als Beispiel: Bei gepflegter Datenbasis im Rechenzentrum kann man mit Auswertung der verwendeten IP-Adressen feststellen, welche Mitarbeiter vom Büro oder von zu Hause gearbeitet haben. Gut, das sind keine Personaldaten, aber durchaus valide Information - diese muss "nur noch" im richtigen Kontext migriert werden.
Solche Informationsmigrationautomatisch, ohne erfahrene Qualitätskontrolle, durchzuführen, ist nicht die beste Entscheidung. Leider stehen nicht immer genügend erfahrene Mitarbeiter für solche Aufgaben zur Verfügung. In diesen Fällen empfehlen wir den Einsatz künstlicher Intelligenz (KI) und optimierender Algorithmen.
Bei Bedarf ...
Je nach Anforderung und Aufgabenstellung des Kunden kanalisieren wir Datenströme, filtern Doubletten heraus oder kombinieren Datenbestände und reichern sie aus verfügbaren, sauberen (Daten-)Quellen an. Wir optimieren auch gerne Ihre Datenbank für spezielle Aufgabenstellungen oder neue Applikationen.
Dabei sind wir unter anderem spezialisiert auf Stammdatenmanagement (Master Data Management), beispielsweise von SAP-Stammdaten. Weitere Schwerpunkte liegen in der Migration von Oracle-Datenbanken über SAP-Schnittstellen an SAP-Systeme oder in SQL-Datenbanken. Aber auch bei Nicht-SAP-Systemen, NoSQL-Datenbanken oder Open-Source-Datenbanken stehen wir Ihnen gerne beratend und organisierend zur Seite.
Wir unterstützen Sie bei der Migration von Daten, der Auswahl der entsprechenden Technologie, bei der reibungslosen Umsetzung sowie mit anschließendem Support. Dabei legen wir Wert auf direkte, verständliche Kommunikation und ein abgestimmtes Management von Terminen und Ergebnissen.
Was sind Ihre Gründe für eine Daten Migration?
Müssen Sie:
• ... die bestehende Datenbasis für zusätzliche Zwecke nutzen, z.B. E-Commerce oder ein CRM-System?
• ... Altsysteme ablösen und ggfls. funktional erweitern?
• ... ein Data Warehouse "füttern"?
• ... externe Daten in den eigenen Bestand integrieren?
• ... ein ERP-System (SAP, Oracle etc.) aus/neben bestehenden Alt-Anwendungen implementieren?
• ... (teilweise) redundante Datenbestände vereinheitlichen?
Daten Migration - warum eigentlich?
... für das Finanzamt? Muss das wirklich sein?
Man erinnere sich, 1999, zum Jahreswechsel in ein neues Jahrtausend waren sich alle Experten (und viele Vorstände) einig, dass Daten mit „nur“ 2 Stellen - wie 88 statt 1988 - in der IT ein Problem sein könnten. Man investierte großzügig - das befürchtete Millennium-Desasters blieb aber aus. Dabei ist das Millenium nicht der einzige Grund einen kritischen Blick auf unsere Datenbestände zu werfen.
Die Compliance-Anforderungen von Unternehmen sind nicht stabil, sie ändern sich im Minimum jährlich. Finanzamt, Banken, Lieferanten und Kunden haben kontinuierlich neue Anforderungen, also wird die dafür verwendete Business-Software laufend erweitert, angepasst oder neu erstellt. Dabei wird geänderte oder neue Software selbstverständlich auf Herz und Nieren getestet, aber ..
... nicht nur die isolierte Funktionalität einzelner Programme müsste getestet werden, sondern das Zusammenspiel aller SW-Komponenten eines Unternehmens – unter den geänderten Rahmenbedingungen. Das ist aber im Rahmen üblicher IT-Projekte meist nicht vorgesehen.
Dazu kommt, dass in den meisten Unternehmen mit Alt-Datenbeständen, nicht nur 2-stellige Jahreszahlen im Datenbestand kryptisch sind, auch andere Daten wurden in einem historischen Kontext erfasst - und sind damit informationstechnisch fragil. Meist fehlen wichtige Metadaten zur Erfassung (Datum, Ort, User …), manchmal sogar das verwendete Bezugssystem. Diese Zusatz-Informationen waren ursprünglich zwar jedem klar, wurden vielleicht sogar notiert, sind aber nicht im Datenbestand als (Meta-)Daten erfasst.
Diese Probleme ließen sich auf unterschiedliche Weisen lösen. Einmal kann man den Datenbestand „modernisieren“ und um fehlende Information/Daten ergänzen - migrieren. So könnte dabei aus dem ursprünglich 2-stelligen Attribut Jahr (88) ein 4stelliges Feld mit bisher nur interpretiertem Jahrhundert werden (1988).
Oder es wird die 2. Möglichkeit gewählt, die Datenstruktur bleibt – es wird (wo unbedingt nötig) die Programm-Logik erweitert. Damit kann die Datenstruktur/-bank bleiben wie sie ist und es wird „interpretative“ Logik in einzelnen Applikationen ergänzt. d.h. aus alten Daten und mehr oder weniger guter Logik wird in den Algorithmen “die gewünschte Information” abgeleitet.
Als Beispiel kann die schon bekannte 88 für Auswertungen immer als 1988 interpretiert werden, da 1888 das Unternehmen noch nicht existierte und 2088 noch weit in der Zukunft liegt. Das kann isoliert funktionieren, im Zusammenspiel vieler Applikationen legt man mit diesem Vorgehen allerdings eine Zeitbombe.
Denn obwohl dieser Weg immer wieder gewählt wird, liegen die Vorteile gepflegter Datenbestände auf der Hand. Durch in sich schlüssige Datenbestände können Applikationen und deren Integrations-Tests einfacher realisiert werden, was viel Zeit und Geld, speziell in fachbereichs-übergreifenden Projekten sparen kann.
Für jedes Unternehmen ist IT-Governance ein heikles Thema, dem man sich spätestens in der Unternehmensspitze nicht entziehen kann. Und spätestens hier reicht es nicht, im IT-Bereich nur jeweils neuentwickelte Software zu testen. Zur Gewährleistung der geforderten Governance sind nicht nur einzelne Applikationen zu testen, sondern das korrekte Zusammenspiel aller Programme, aller Datenbestände - und deren Dokumentation - zu prüfen und nachzuweisen. Man denke nur an die Anforderungen der DSGVO.
In der DSGVO wird der Grundsatz der „Rechenschaftspflicht“ definiert. Hiernach gilt, dass Unternehmen für die Einhaltung der Datenschutzgrundsätze verantwortlich sind und deren Einhaltung nachweisen müssen. Weiterhin gilt, dass die "Verantwortlichen" in der Pflicht stehen, den Nachweis dafür zu erbringen, dass die Datenverarbeitung insgesamt DSGVO-gemäß erfolgt.
Was gilt es bei der Planung zu berücksichtigen?
Wenn Sie ein Daten Migrationskonzept erstellen, sollten Sie sich mit diesen kritischen Faktoren beschäftigen:
- Kenntnis der Daten – Vor der Daten Migration sollten Sie die Quelldaten einer umfassenden Analyse unterziehen. Kann man in den dann gefundenen Fehlern die Ursache bzw. die Quelle finden? Eine Quelle ist (fast) immer die Datenerfassung. Diese Analyse kann man manuell machen, wir empfehlen dafür angepasste Algorithmen der KI.
- Cleanup – Inkonsistenzen, die Sie in den Quelldaten identifiziert haben, müssen im Rahmen der Migration behoben werden. Sind dabei Stammdaten im Spiel, müssen Verknüpfungen und abgeleitete Informationen fast immer "sinnvoll" korrigiert werden. Man kann nicht einfach Doubletten löschen, wenn Bewegungsdaten wie Bestellungen und Aufträge daran hängen. Das kann man manuell machen ... sie wissen schon.
- Wartung und Schutz – Die Qualität von Daten nimmt mit der Zeit ab. Um die ursprüngliche Datenqualität aufrechtzuerhalten, sollte zukünftig in die Datenpflege investiert werden. Wir empfehlen dafür angepasste Algorithmen der KI.
- Governance – Regelmässige Analyse der Datenqualität ist für einen ordnungsgemässen Geschäftsbetrieb und das Reporting wichtig. Es ist ratsam, dafür automatisierte Tools einzusetzen, die zumindest in Teilen zyklisch ablaufen. Manuell lässt sich das nicht mehr machen ...
Die richtige Software bei unterschiedlichen Datenquellen
Es ist schwierig und zeitaufwändig, ein Tool für die Datenmigration von Grund auf zu erstellen oder eigenhändig zu programmieren. Daher setzen viele Unternehmen auf externe Systeme. Datentools zur Vereinfachung von Migrationen sind effizienter und kosteneffektiver. Achten Sie bei der Suche auf diese Faktoren:
• Konnektivität – Werden die Systeme, Software und Datenbanken unterstützt, die Sie aktuell im Einsatz haben?
• Skalierbarkeit – Was sind die Datenlimits und werden sie in absehbarer Zeit noch für die Datenanforderungen ausreichen?
• Sicherheit – Welche Sicherheitsfunktionen bietet die Softwareplattform, mit denen Ihre Daten geschützt werden (insbesondere im Hinblick auf Schnittstellen)?
• Geschwindigkeit – Wie lange dauert die Verarbeitung auf Ihrer Plattform?
Die Strategie ist entscheidend
Das grundsätzliche Ziel besteht darin, die Performance und Wettbewerbsfähigkeit eines Unternehmens zu steigern. Das kann ermöglicht werden, indem man beispielsweise Daten in eine optimierte Oracle-Datenbank überträgt, ein SAP-System etabliert oder auch Salesforce anbindet. Bei der Entwicklung einer passenden Strategie gibt es nicht nur einen Weg, der zum Ziel führt. Um ein passendes Konzept zu finden, ist es wichtig, die individuellen Geschäftsanforderungen zu berücksichtigen. Die meisten Konzepte fallen in eine dieser beiden Kategorien: „Big Bang“ oder „Trickle“.
„Big Bang“-Migration
Bei dieser Migration erfolgt der komplette Transfer innerhalb eines begrenzten Zeitfensters. Die Live-Systeme sind nicht verfügbar, solange die Daten den ETL-Prozess durchlaufen und in die neue Datenbank übertragen werden.
Der Nachteil dieser Methode liegt auf der Hand: Eine wichtige Ressource ist während des laufenden Geschäftsbetriebs offline, weshalb alles in relativ kurzer Zeit stattfinden muss. Diese Art der Migration geschieht dementsprechend unter einem enormen Druck und birgt das Risiko, dass bei der Implementierung etwas schiefläuft.
Falls dieser Ansatz für Ihr Unternehmen dennoch am sinnvollsten erscheint, ist es ratsam, den Prozess der Data Migration im Vorfeld durchzuspielen.
„Trickle“-Migration
Bei Trickle-Migrationen findet der Migrationsprozess in mehreren Phasen statt. Während der Implementierung laufen das alte und neue System parallel, sodass es keine Ausfälle oder operativen Unterbrechungen gibt.
Da die Prozesse in Echtzeit ausgeführt werden, kann die Migration der Daten beispielsweise in die Datenbank kontinuierlich erfolgen.
Im Vergleich zum Big-Bang-Ansatz können sich diese Implementierungen ziemlich komplex gestalten. Verläuft die Datenmigration jedoch strukturiert, erweist sich die erhöhte Komplexität als Vorteil: Das Risiko für Fehler reduziert sich.
Wie Sie Fehlerquellen vermeiden
Eine schlechte Durchführung kann zu ungenauen Daten mit Redundanzen und Unwägbarkeiten führen. Das kann selbst bei voll nutzbaren und adäquaten Quelldaten passieren. Zudem können sich Missstände, die bereits in den Quelldaten vorhanden waren, bei der Überführung in ein neues, komplexeres System verstärkt auswirken. Dabei ist irrelevant, ob es sich bei diesem neuen System um SAP, Oracle oder ein beliebiges ERP System handelt.
Mit einer transparenten Daten Migrationsstrategie lässt sich verhindern, dass die Migration der Daten mehr Probleme schafft, als sie löst. Neben Termin- und Budgetüberschreitungen können mangelnde Erfahrung und Fehleinschätzung dazu führen, dass Migrationsprojekte komplett scheitern. Bei der strategischen Planung sollten sich die Teams daher voll auf die notwendigen Aufgaben konzentrieren können, statt im Tagesgeschäft notwendigerweise permanent den Focus zu wechseln.
Durch eine Zusammenarbeit mit SymProject vermeiden Sie eine Überlastung Ihrer internen Ressourcen und bei Mißerfolg, die Suche nach dem Schuldigen. Wir übernehmen die notwendige Priorisierung im Management und garantieren den optimalen Verlauf von Migrationsprojekten.
Vorbereitung der Datensätze
Bei der Anbindung von Daten in verschiedenen Systemen, SAP, Oracle oder anderen Lösungen sollten Sie folgende wichtige Schritte beachten:
1. Bewerten und analysieren
Starten Sie mit der Analyse der Unternehmensdaten. Die Beantwortung der folgenden Fragen kann bei dieser Bewertung hilfreich sein:
- Wie viele Unternehmensdaten müssen migriert werden?
- Handelt es sich um strukturierte oder unstrukturierte Daten?
- Ist Datenredundanz ein Problem?
- Wie viele Daten sind ROT (redundant, obsolet oder trivial)?
- Ist die Information alt oder aktuell?
Durchsuchen Sie alle Workflows und freigegebenen Laufwerke, in denen Daten gespeichert sind, und finden Sie heraus, wofür sie verwendet wurden und in Zukunft verwendet werden sollen.
2. Sammeln und bereinigen der Daten
Dieser Schritt umfasst das Entfernen von ROT-Daten, das Komprimieren des verbleibenden Inhalts und das Konvertieren unternehmensweiter Daten in ein einziges Format. Um die verfügbaren Informationen zu untersuchen und doppelte/redundante Datensätze zu entfernen, wird Daten-Profiling-Transformation angewendet.
Die manuelle Ausführung dieser Aufgaben kann für große Datenmengen zeit- und ressourcenintensiv sein. Durch den Einsatz einer Migrationssoftware wird dieser Prozess automatisiert und ein effizientes und fehlerfreies Ergebnis gewährleistet.
3. Daten sortieren
Nachdem die Daten in einer qualitativ hochwertigen und verwendbaren Form profiliert wurden, besteht die nächste Phase darin, sie gemäß den Migrationsanforderungen zu kategorisieren. Die Kategorisierung kann anhand des Produkttyps, der ID oder anderer Kriterien erfolgen. Dies erleichtert das Weiterleiten von Daten in die richtigen Buckets.
4. Daten validieren
Im letzten Schritt wird der Ausführungsprozess überprüft. Bewerten Sie die Datenregeln, überprüfen Sie, ob sie ordnungsgemäß funktionieren, und ordnen Sie Ausnahmen in Ihrem Datenfluss zu. Selbst wenn der Prozess automatisiert ist, sollten Sie ihn überprüfen, um sicherzustellen, dass Sie bei der Implementierung des Datenmigrationsprozesses nicht auf unerwartete Herausforderungen stoßen.
Nach dem Sortieren der Daten wenden wir die Datenqualitätsregeln an, um die Fehler anhand definierter Regeln zu bestimmen. In diesem Szenario verwenden wir Datenqualitätsregeln, um die Datensätze zu identifizieren und zu löschen, in denen das Feld 'Quantity' den Wert Null hat.
Mit den oben genannten Schritten erhalten Sie gut organisierte und saubere Datensätze. Sie müssen sie nur noch von einem System auf ein anderes migrieren.
Datenmigration in die Cloud
Immer mehr Organisationen verlagern ihre Daten teilweise oder ganz in die Cloud (z.B. Oracle Cloud). So möchten sie ihre Time to Market verkürzen, die Skalierbarkeit verbessern und den Bedarf an technischen Ressourcen reduzieren.
Früher haben Datenarchitekten größere Serverfarmen vor Ort implementiert, damit die Daten an die physischen Ressourcen der Organisation gebunden bleiben. Einen Grund für den lokalen Betrieb von Servern stellten Sicherheitsbedenken bezüglich der Cloud dar. Doch mittlerweile haben alle wichtigen Plattformen Sicherheitsmaßnahmen eingeführt. Diese entsprechen denen herkömmlicher IT-Abteilungen (und natürlich auch der DSGVO). Daher ist diese Barriere für eine Datenmigration weitgehend überwunden.
Die richtigen Integrationstools unterstützen Unternehmen dabei, ihre Datenmigration mit einer hochskalierbaren und sicheren Cloud-Integration Platform-as-a-Service (iPaaS) zu beschleunigen. Talends Suite beinhaltet cloudnative Open-Source-Datenintegrationstools, die Drag-and-drop-Funktionen ermöglichen. So lässt sich ein komplexes Datenmapping vereinfachen. Zudem ist unsere Lösung für Datenmigrationen dank unserer Open Source Foundations kosteneffektiv und effizient.
Erste Schritte innerhalb Ihres Konzepts
Möchte Ihre Organisation das IT-System aufrüsten, eine neue IT-Strategie verfolgen, in die Cloud wechseln oder Daten konsolidieren, könnte bald auch eine Datenmigration anstehen. Damit die Integrität Ihrer Daten dabei stets gewährleistet ist, sollten Sie von Beginn an alle notwendigen Schritte sorgfältig planen.
Der Datenmigrationsplan ist mehr als nur das Verschieben von Daten von einem Repository in ein anderes. Die Durchführung einer erfolgreichen Datenübertragungstechnik und die Auswahl der richtigen Software umfasst mehrere Vorgänge. Diese Punkte sollten Sie integrieren:
1. Die Datenquelle untersuchen und bewerten
Neben der Frage nach der neuen, passenden Datenstruktur für das Zielsystem ist eine qualitative und quantitative Analyse der beteiligten Datenbestände unerlässlich. Vorhandene Dokumentation zu den alten Datenbeständen ist immer hilfreich - aber nicht unbedingt aktuell und vollständig. Es lohnt sich daher immer, vorab repräsentative Teilmengen der alten Datenbestände zu analysieren.
- zu welchem Prozentsatz sind notwendige Attribute gefüllt, nicht alles waren Pflichtfelder bei der Erfassung
- benötigte Attribute für das Zielsystem fehlen im Altbestand und müssen mit anderen Quellen ergänzt/berichtigt werden
- wenn Historie, Vollständigkeit und Datentyp nicht den Qualitätsanforderungen genügen, stellt sich die Frage ob es überhaupt sinnvoll ist, Daten eines Altbestandes zu migrieren.
2. Konzepterstellung
Die Auswahl einer Strategie hängt von der Notwendigkeit der Datenmigration ab. Ist sie notwendig, weil das Unternehmen nach einer Akquisition oder Fusion Systeme konsolidiert, oder ist Datenüberflutung der Grund? Sie müssen die Geschäftsziele festlegen, die die Grundlage für den Datenmigrationsplan bilden.
Im nächsten Schritt müssen Sie klären, ob Sie sich für Datenmigrationsdienste oder ETL-Tools der Enterprise-Klasse entscheiden. Dadurch werden die Quell- und Zielsysteme identifiziert, Workflows generiert und der Inhalt migriert. Alternativ können Sie durch den Kauf einer Code-freien Software die Übertragung nach Belieben durchführen, das Projekt beschleunigen und Risiken reduzieren. Gleichzeitig können die Gesamtkosten gesenkt werden.
Durch die vorherige Strategie zum Kauf von ETL-Tools oder codefreier Migrationssoftware kann das Unternehmen Geschäfts- und IT- Benutzer über die Ziele des Datenmigrationsprojekts informieren und eine unternehmensweite erfolgreiche Einführung und Implementierung sicherstellen.
3. Designphase
In der Designphase wird definiert, welchen Ansatz der Datenmigration Sie verfolgen. Dazu gehört es, die technische Architektur zu entwerfen sowie die Details zu bestimmen.
Jetzt können Sie beginnen, die Zeitpläne und sämtliche Belange für Ihr Projekt festzulegen. Berücksichtigen Sie dabei:
- das Design
- die Übertragung der vorgesehenen Daten
- das Zielsystem.
Am Ende dieses Schritts sollte das gesamte Projekt dokumentiert sein. Zudem ist es wichtig, während der Planung Sicherheitskonzepte für die Daten zu erstellen und die Datenschutzrichtlinien einzuhalten.
4. Vorbereitung der Datensätze
Dieser Schritt umfasst mehrere Unterpunkte, die bedeutend für die Datenqualität sind und die Funktion der Migration gewährleisten. Weitere Informationen dazu finden Sie im nächsten Abschnitt.
5. Die Lösung für die Migration von Daten erstellen
Es kann verlockend sein, bei der Entwicklung des Datenmigrationsprojekts nur auf das Nötigste zu achten. Doch da Sie die Implementierung nur einmal durchführen, ist es wichtig, alle Details zu berücksichtigen. Eine verbreitete Taktik ist es, Daten in Untereinheiten aufzuteilen und immer nur eine Kategorie auf einmal zu erstellen. Anschließend führen Sie den Test durch. Für Organisationen, die an besonders großen Datenmigrationen arbeiten, kann es sinnvoll sein, Erstellung und Tests parallel laufen zu lassen.
6. Einen Live-Test durchführen
Die Testphase ist nicht vorbei, wenn Sie den Code in der Build-Phase getestet haben. Es ist wichtig, das Design der Datenmigration mit echten Daten zu testen. So können Sie die Genauigkeit der Implementierung und die Vollständigkeit der Anwendung gewährleisten.
7. Migrieren
Nach den finalen Tests kann die Datenmigration gemäß dem im Plan definierten Ansatz erfolgen. Beispielsweise werden die Daten auf den SQL-Server migriert, nachdem sie profiliert, sortiert und auf Fehler überprüft wurden.
8. Prüfung
Nachdem die Implementierung live gegangen ist, setzen Sie ein System zur Prüfung der migrierten Daten auf, um die Genauigkeit der erfolgten Datenmigration sicherzustellen.
Best Practices für Ihr Projekt
Für unsere Kunden haben wir schon zahlreiche Migrationsprozesse durchgeführt, auch im zwischenbetrieblichen Stammdatenmanagement. Natürlich können wir Ihnen kein PDF-Dokument anbieten, das für Ihre Anforderungen eine passende Blaupause bietet und so Ihren Unternehmenserfolg steigert. Aber wir können Ihnen Tipps geben oder Sie ausführlich beraten. Unabhängig von der Implementierungsmethode empfiehlt es sich, bei jeder Data Migration die folgenden Best Practices zu integrieren:
- Vorab Datenbackup durchführen: Sie können es sich nicht leisten, einzelne Datenbestände oder die gesamte ursprüngliche Version zu verlieren, falls bei der Implementierung etwas schiefgeht. Sorgen Sie dafür, dass Sie über Backup-Ressourcen verfügen und testen Sie diese.
- An der Strategie festhalten: Viele Datenmanager halten sich nicht an ihren Plan, wenn es allzu glatt läuft oder außer Kontrolle gerät. Datenmigrationen können kompliziert und manchmal auch frustrierend sein. Bereiten Sie sich darauf vor und halten Sie sich an Ihre Strategie.
- Testen, testen, testen: Während der Planungs- und Designphase sowie bei der Implementierung und Wartung ist es wichtig, die Prozesse zu testen. So stellen Sie sicher, dass Sie das gewünschte Ergebnis erhalten und eine hohe Datenqualität erzielen. Unabhängig davon, ob Sie in unterschiedlichen Systemen verschiedene Arten von Data bearbeiten oder auch verschiedene Quellen haben – Testen ist unersetzlich und sichert Ihnen eine erfolgreiche Migration.
Ihre Vorteile mit SymProject
Eine technisch versierte Zusammenarbeit in virtuellen Teams
Agile Projektabläufe mit Sprints alle 2-4 Wochen
Kompetente Projektteams und eingeschliffene Kommunikationswege
Immer das richtige Know-how im jeweiligen Projekt
Flexibilität bei der Einsatzplanung
Vertiefende Informationen zum Thema
Sie möchten tiefer eintauchen in die Materie der Datenmigration oder haben einen speziellen Anwendungsfall? Mit Links zu Detailthemen bieten wir Ihnen weitere Einblicke in unser Leistungsspektrum.
