دليل كامل حول استراتيجيات ترحيل التكنولوجيا: (الجزء 3 - ترحيل قواعد البيانات)
نشرت: 2020-12-25تخيل سيناريو تشتري فيه شقة جديدة ، وأنت مشغول تمامًا بالانتقال إليها ، وخططت العملية بعناية من خلالها. أنت جاهز تمامًا للانتقال إلى منزلك الجديد ، ثم فجأة تدرك أن هناك مشكلة. الأثاث والتحف لا تتناسب بشكل جيد مع شقتك الجديدة.
ما هو شعورك إذا اضطررت إلى التخلص من كل أثاثك والبدء من الألف إلى الياء؟ أخذ هذا القياس إلى أبعد من ذلك ، ضع في اعتبارك الشقة الجديدة كقاعدة بيانات جديدة والأثاث كبيانات. نحن على يقين من أن البيانات ستكون أكثر أهمية من الأثاث لعملك ، وبالتالي فإنك تريد الاحتفاظ بكل جزء منها أثناء التخطيط للترحيل.
كمتابعة لسلسلة ترحيل التكنولوجيا الخاصة بنا ، في هذه المدونة ، سنحاول الكشف عن أساسيات ترحيل قاعدة البيانات (DBM) ، ما يجب على المرء فهمه والنظر فيه والعناية به أثناء إجراء ترحيل قاعدة البيانات.
لماذا ومتى تكون هناك حاجة إلى ترحيل قاعدة البيانات؟
كمتابعة من مدونة ترحيل التطبيق السابقة ، تتمحور قطعة اليوم حول ترحيل قاعدة البيانات (المعروفة أيضًا باسم ترحيل المخطط) لأنها واحدة من أهم عمليات الترحيل التي تتعامل بشكل أساسي مع تحديد البيانات واستخراجها ونقلها / تحديثها من إطار قاعدة بيانات واحد إلى اخر.
بشكل أساسي ، يمكن أن تكون الحاجة إلى ترحيل قاعدة البيانات خاصة بمتطلبات العمل ، أو حتى لتلبية أحدث السياسات التنظيمية المتعددة التي وضعها مختلف المنظمين. على الرغم من عدم وجود مواقف محددة عندما تكون هناك حاجة إلى DBM ، فقد قمنا بإدراج بعض المواقف التي لا مفر منها:
- السبب الشائع هو نقل نظامك القديم إلى نظام يلبي متطلبات عملك واحتياجات البيانات الحديثة. أصبحت تقنيات التخزين الجديدة والحديثة ضرورة في أوقات البيانات الضخمة.
- جعلت بعض الهيئات التنظيمية من الإلزامي بقاء البيانات في منطقة جغرافية معينة فقط. وبالتالي ، يستلزم ترحيل البيانات الموزعة إلى موقع واحد.
- تفضل بعض الشركات نقل قاعدة بيانات محلية إلى قاعدة بيانات سحابية. يؤدي هذا عادةً إلى توفير البنية التحتية وموارد الخبرة اللازمة لدعم البيانات ، وكذلك جعل الأنظمة أسرع.
- يضمن الترحيل إلى نظام أساسي جديد سلامة البيانات الشاملة. يقلل من تكاليف التخزين والوسائط ، مما يؤدي إلى تحسن كبير في عائد الاستثمار.
- ترغب العديد من الشركات الحديثة في الاحتفاظ بجميع بياناتها في مكان واحد. بهذه الطريقة ، يمكن الوصول إلى البيانات لجميع أقسام الشركة.
يؤدي ترحيل نظام قاعدة البيانات إلى نظام أساسي جديد إلى تقليل الاضطراب الذي يحدث للعمليات التجارية اليومية. يمكن القيام بذلك بأقل جهد يدوي إذا تم اختيار منصة قاعدة بيانات جديدة بحكمة.
أنواع قواعد البيانات
قبل الشروع في ترحيل قاعدة البيانات ، دعنا أولاً نلقي نظرة على الأنواع المختلفة لقواعد البيانات:
- قاعدة البيانات العلائقية - تُعرف قواعد البيانات العلائقية باسم وحدات العمل الخاصة بصناعة قواعد البيانات. قواعد البيانات هذه مصنفة من خلال مجموعة من الجداول. تتكون الجداول من صفوف وأعمدة حيث يحتوي الصف على مثيل بيانات ويحتوي العمود على إدخال بيانات لفئة معينة. SQL - لغة الاستعلام الهيكلية هي واجهة برمجة قياسية لقاعدة البيانات العلائقية.
- قاعدة البيانات الموزعة - كما يوحي الاسم ، يتم توزيع البيانات في مواقع مختلفة لأي منظمة. تستخدم روابط الاتصال لربط المواقع ببعضها البعض. هذا يساعد على الوصول إلى قاعدة البيانات الموزعة بسهولة.
- قاعدة البيانات الموجهة للكائنات - يدمج هذا النوع من قواعد البيانات سمات قاعدة البيانات العلائقية والبرمجة الموجهة للكائنات. يمكن تخزين العناصر المختلفة التي تم إنشاؤها في C ++ و Java في قواعد البيانات العلائقية ، ومع ذلك ، فإن قاعدة البيانات الموجهة للكائنات أكثر ملاءمة لها.
- قاعدة بيانات NoSQL - يمكن لقاعدة بيانات NoSQL أن تحلل بكفاءة البيانات الكبيرة غير المهيكلة المخزنة على خوادم افتراضية متعددة. في المقابل ، لا تستطيع قاعدة البيانات العلائقية التعامل مع بعض أداء البيانات الضخمة بكفاءة. يمكن لقواعد بيانات NoSQL إدارة مثل هذه الحالات بسهولة واستخدامها لمجموعة كبيرة من البيانات الموزعة.
- قاعدة البيانات السحابية - قاعدة البيانات السحابية هي بيئة افتراضية توفر المرونة في الدفع لكل أساس استخدام. يحتاج المستخدم فقط إلى الدفع مقابل عرض النطاق الترددي وسعة التخزين التي تناسب متطلباته.
- قاعدة بيانات الرسم البياني - بعبارات بسيطة ، يمثل الرسم البياني مجموعة من العقد والحواف. تحتوي قاعدة بيانات الرسم البياني على العقد التي تمثل الكيانات وتصف الحافة العلاقات بين تلك الكيانات. إنه نوع من قواعد بيانات NoSQL ويستخدم نظرية الرسم البياني لتعيين العلاقات وتخزينها والاستعلام عنها.
- قاعدة البيانات المركزية - مع هذا النوع من قواعد البيانات ، يتم تخزين البيانات في موقع مركزي واحد. تحتوي قاعدة البيانات بشكل أساسي على إجراءات التطبيق التي تسمح للمستخدمين بالوصول إلى قاعدة البيانات من المواقع البعيدة أيضًا.
مناهج ترحيل قاعدة البيانات
يمكن أن يكون ترحيل البيانات من منصة قاعدة بيانات إلى أخرى مهمة حاسمة. إذا تم التخطيط للترحيل في بيئة LIVE ، فيجب إجراء الترحيل بأقصى قدر من الحذر. يجب على المرء أن يختار وقتًا مناسبًا للترحيل قبل المضي قدمًا في ترحيل البيانات. غالبًا ما تواجه الأنظمة الحية وقت تعطل عند نقل البيانات إلى قاعدة بيانات جديدة.
هناك طريقتان رئيسيتان لترحيل قاعدة البيانات:
ترحيل بيانات Big Bang:
هذا الأسلوب هو المكان الذي يختار فيه المرء ترحيل قاعدة البيانات الكاملة مرة واحدة في إطار زمني محدود. على الرغم من أن ترحيل البيانات الضخمة تبدو أقل تعقيدًا ، إلا أنها تتطلب وقتًا كافيًا لتعطل موقع الويب المباشر. علاوة على ذلك ، مع هذا النهج ، قد لا يكون من السهل تحقيق التراجع الكامل لعملية الترحيل في حالة فشل الترحيل في أي لحظة.
هجرة البيانات
باستخدام هذا النهج ، يتعين على المرء تقسيم عملية الترحيل إلى أجزاء أو مراحل أصغر. يشبه إلى حد كبير نهجًا رشيقًا في الترحيل ، إذا فشلت مرحلة واحدة ، فعندئذٍ فقط تلك المرحلة تحتاج إلى التراجع ، وتكرار العملية. ومع ذلك ، فإن ترحيل البيانات المتقطعة يستغرق وقتًا طويلاً وبالتالي قد يزيد من تكلفة المشروع.
أنواع الهجرة المختلفة
DB العلائقية إلى DB العلائقية
هذا النهج هو أكثر الهجرة إلى الأمام مباشرة. هناك الكثير من الأدوات المتاحة التي تؤدي هذا النوع من الترحيل بكفاءة عالية ، وبفعالية 100٪ تقريبًا.
DB العلائقية إلى قاعدة البيانات غير العلائقية والعكس بالعكس
هذه الهجرة أكثر صعوبة بالمقارنة مع ما سبق ذكره. نظرًا لأن DB Relational DB و Non-Relational DB يختلفان اختلافًا جوهريًا ، فقد لا يكون ترحيلهما فعالًا بنسبة 100 ٪. بشكل أساسي ، يعني الترحيل إلى قاعدة بيانات غير علائقية التضحية بخصائص ACID (الذرية والمتسقة والمعزولة والدائمة) التي تضمن قابلية توسيع قاعدة البيانات.
ومع ذلك ، هناك العديد من الأدوات المجانية المتاحة التي تدعم ترحيل قاعدة البيانات من قاعدة البيانات العلائقية إلى قاعدة البيانات غير العلائقية. على الرغم من أن استخدامها لا يوصى به على نطاق واسع لأن هذه الأدوات لا تدعم بنية مخطط النظام ويبدو أن معظمها صارم للغاية بحيث لا يمكن تكييف متطلبات النظام.
على الرغم من وجود بعض نصائح التحويل الأساسية التي يمكننا تقديمها لهذا النوع من الترحيل والتي يمكننا وضعها في الاعتبار (لسهولة ، دعنا نعتبر MySQL قاعدة بيانات علائقية لدينا و MongoDB كقاعدة بيانات غير علائقية لدينا)
- تحويل نوع بيانات MySQL String إلى String في MongoDB. قد يشمل ذلك char و varchar و blob والنص وما إلى ذلك.
- تحويل نوع البيانات الرقمية MySQL إلى رقم في MongoDB. قد يشمل ذلك int ، و float ، و decimal ، و double ، وما إلى ذلك.
- تحويل نوع بيانات MySQL Date إلى تاريخ في MongoDB. قد يشمل ذلك التاريخ والسنة والطابع الزمني وما إلى ذلك.
- تحويل نوع بيانات MySQL Bool & Boolean إلى نوع منطقي في MongoDB.
- يمكنك تقييم الحالات الأخرى بنفس الطريقة.
الترحيل باستخدام نموذج هجين
يدمج تصميم النموذج الهجين نموذجي قاعدة البيانات الشائعين في إطار واحد مع تخفيف عيوب كل نظام. على سبيل المثال ، يمكننا دائمًا اتباع نهج هجين حيث يمكننا استغلال قاعدة البيانات العلائقية للعمليات الأقل تطلبًا ، جنبًا إلى جنب مع قاعدة بيانات غير علائقية للمبادرات كثيفة البيانات.
النسخ الاحتياطي للبيانات
يمكن أن يضمن تخطيط إستراتيجية الترحيل قبل التنفيذ عملية ترحيل سلسة. ومع ذلك ، نحتاج دائمًا إلى خطة ب. بافتراض سيناريو أسوأ حالة حيث يكون هناك بعض فقدان البيانات ، أو تلف البيانات أثناء تنفيذ الترحيل ؛ يجب أن تكون مستعدًا لاستعادة البيانات إلى حالتها الأصلية قبل المحاولة مرة أخرى. هذا هو السبب في أن النسخ الاحتياطي للبيانات يعد خطوة حتمية للغاية أثناء DBM (ترحيل قاعدة البيانات). لذا ، ما هي الخيارات الموجودة لضمان النسخ الاحتياطي الآمن للبيانات ، دعنا نتعمق.
احتياطية سحابة
واحدة من أكثر الطرق فعالية وأمانًا لحماية مبادرة الترحيل الخاصة بك هي تنفيذ النسخ الاحتياطي للتخزين السحابي. بشكل أساسي ، عندما تقوم بنسخ بياناتك احتياطيًا إلى التخزين السحابي ، يتم تخزين ملفاتك خارج الموقع. هذا يزيل الثغرات الأمنية في الأجهزة المحلية التي قد تسبب مشاكل. إذن ، لماذا النسخ الاحتياطي على السحابة؟
- تعتبر النسخ الاحتياطية السحابية ميسورة التكلفة لأنك تحتاج إلى الدفع لكل استخدام فقط.
- يعد النسخ الاحتياطي على السحابة آمنًا لأنه يوفر تشفيرًا من طرف إلى طرف.
- يسمح باستعادة البيانات واستعادة البيانات بسهولة بعد الكوارث
- تتضمن خيارات النسخ الاحتياطي القوية على السحابة النسخة الاحتياطية الكاملة لصورة النظام. وبالتالي ، لا تحتاج إلى إعادة تثبيت نظام التشغيل. تتم استعادة أجهزة الكمبيوتر والخوادم إلى آخر إصدار يعمل.
برنامج مشاركة الملفات
تنمو مجموعات البرامج مثل Dropbox لتلبية احتياجات مستخدميها. يحتفظ Dropbox بإصدارات من الملفات التي يمكن استعادتها عند الحاجة. على غرار النسخ الاحتياطي السحابي ، يكون هذا الخيار ميسور التكلفة ويتم تخزين الملفات خارج الموقع. ما هي مميزاته؟
- يمكن استعادة الملفات إلى أي نظام في أي مكان.
- إنه مجاني ويدعم التعاون.
- آمن للغاية (التخزين السحابي يشفر ملفاتك أثناء النقل)
- قدرات العمل دون اتصال
ومع ذلك ، فإن الجانب السلبي هو أن الاستعادة ليست آلية. تحتاج إلى نسخ البيانات ولصقها في بنية دليل مشاركة الملفات من أجل حفظ البيانات. يجب أن توجد الملفات في بنية محددة ، وإلا فلن يتم نسخها احتياطيًا. إذا كانت الملفات موجودة في مجلد أو دليل مشترك ، فربما تحتاج إلى مزيد من النطاق الترددي لعمل نسخة احتياطية من هذه الملفات.
بشكل عام ، هناك وسائط أخرى متاحة للنسخ الاحتياطي مثل النسخ الاحتياطي لمحرك أقراص محمول أو محرك أقراص ثابت خارجي. لكن لا يوصى بهذه الخيارات لأنها ليست آمنة تمامًا مقارنة بالنسخ الاحتياطي السحابي أو برنامج مشاركة الملفات. على سبيل المثال ، يمكن أن يتسبب أي ضرر مادي لمحرك الأقراص الثابتة في فقد البيانات. علاوة على ذلك ، فهم أكثر عرضة لهجمات برامج الفدية وفيروسات التشفير.
كيف تتأكد من أن البيانات آمنة؟
عند القيام بترحيل البيانات ، تحتاج إلى التأكد من عدم اختراق البيانات الحساسة أو العبث بها. إذا حدث خطأ في الترحيل ، فقد يؤدي ذلك إلى عواقب أكبر ويؤدي إلى تسرب البيانات أو فقدان البيانات مثل الأمثلة المذكورة هنا في عام 2020.
لسوء الحظ ، قد يؤدي تسرب البيانات إلى الإضرار بسمعة العميل ، مما يؤدي إلى فقدان الأعمال والعملاء ؛ أو في بعض الحالات ، قد يثير إجراءات قانونية. لتجنب كل هذه العواقب ، تحتاج إلى وضع خطة أمنية مسبقًا مع مراعاة استراتيجية الترحيل.
- بادئ ذي بدء ، يجب أن يكون الوصول الموثوق والآمن إلى الخادم والوصول إلى البيانات على قائمة أولوياتك.
- قم بزيادة عدد الأذونات المطلوبة لنقل البيانات. في المؤسسات الكبيرة ، تقيد أقسام الأمان الوصول إلى الخوادم وتحدد ترحيل البيانات بين الخوادم المعنية.
- تكون البيانات في خطر كبير عند مشاركة المزيد من الأطراف. لذلك ، تجنب النقل بين الأطراف عبر أجهزة التخزين المحمولة أو رسائل البريد الإلكتروني. في مثل هذه الحالات ، يمكن اختراق البيانات بسهولة.
- لضمان الوصول الآمن إلى البيانات وتخزينها واسترجاعها ، يجب على المرء أن يمارس التشفير وفك التشفير باستمرار. يمكنك استخدام خوارزميات التشفير المختلط لضمان أقصى قدر من أمان البيانات. لكن هذا لا ينصح به للجميع. إذا فشلت عملية الترحيل ، فستكون البيانات مزدحمة وقد تؤدي إلى تلف البيانات أو فقدانها.
لضمان الترحيل الآمن ، تجنب استخدام الأدوات البدائية. قد يؤدي استخدام الأدوات البدائية إلى إضعاف نظامك وترك ثغرات للوصول إليها للمتسللين. يجب عليك استخدام أدوات قوية لترحيل البيانات تكون محددة وظيفيًا.
عملية ترحيل البيانات
ترحيل البيانات هو في الأساس عملية متعددة المراحل ، ويجب اتباع الخطوات التالية لتجنب فقدان البيانات وضمان الترحيل الآمن لقاعدة البيانات.
- التقييم :
- اجمع تحليل متطلبات العمل وحدد الهدف الرئيسي الذي يحتاج المرء إلى تحقيقه باستخدام DBM.
- حدد النطاق
- إجراء التنميط الشامل للبيانات:
- قم بمراجعة بيانات المصدر وتنسيق البيانات ومراجعة بنية المخطط والمحتوى والعلاقات بين مثيلات البيانات
- افهم نظام الوجهة
- تحديد أصحاب المصلحة
- ضع ميزانية للنشاط بأكمله
- النسخ الاحتياطي للبيانات
- تأكد من النسخ الاحتياطي للبيانات التي تقوم بترحيلها بشكل آمن. يوصى باستخدام نسخة احتياطية سحابية.
- تأكد من أن الوجهة نظيفة ومحمية من أي اختراق للبيانات.
- توافر الموارد :
- توفر الوقت للترحيل ووقت التعطل لنظام الوجهة.
- تأكد من أن الموارد البشرية المعينة لديها مجموعة المهارات الصحيحة.
- حدد الأداة والنصوص الصحيحة.
- تنفيذ ترحيل البيانات :
- قد تتضمن عملية الترحيل البرمجة النصية أو أدوات ETL أو أدوات أخرى قابلة للمقارنة لنقل البيانات.
- في وقت الترحيل ، ستقوم بتحويل البيانات ، وتطبيع أنواع البيانات ، وفي النهاية ، تحقق من الأخطاء المحتملة.
- الاختبار والضبط :
- يحتاج الفريق وفريق العميل إلى التأكد بشكل حاسم من أن جميع البيانات قد تم ترحيلها بشكل صحيح
- لذلك ، تحقق مما إذا تم نقل البيانات بشكل صحيح ، وما إذا كانت البيانات كاملة وتأكد من عدم وجود قيم مفقودة.
- تأكد أيضًا من أن البيانات صحيحة ولا تحتوي على أي قيم خالية.
- في حالة وجود أي عدم تطابق في البيانات ، يجب أن يكون هناك استرجاع للبيانات ويجب إعادة بدء العملية برمتها.
- مراجعة
بمجرد أن تصبح قاعدة البيانات الجديدة حية ، يمكن إعداد نظام لمراجعة البيانات. سيضمن ذلك دقة ترحيل قاعدة البيانات ويلفت الانتباه إلى البيانات غير الكاملة وغير الدقيقة.
المخاطر المحتملة مع ترحيل قاعدة البيانات
يعد ترحيل قاعدة البيانات إجراءً معقدًا للغاية ويترافق مع مخاطره وعدم اليقين. يمكنك دائمًا التغلب على هذه المشاكل من خلال التخطيط والتنفيذ المناسبين. المخاطر التي يمكن مواجهتها هي:
- أنظمة المصدر القديمة: هنا ، يمكن أن يكون مصدر البيانات قديمًا أو متكررًا أو قديمًا أو تافهًا
- بنية قاعدة البيانات المتباينة: في هذا السيناريو ، يمكن أن توجد قواعد البيانات المصدر في مواقع متعددة ، وقد يكون لها بنى مختلفة تمامًا عن بعضها البعض ، ومع ذلك فإن قاعدة البيانات الوجهة تحتاج إلى مزامنة كل شيء.
- فترة التوقف الممتدة: هناك حالات يستغرق فيها الترحيل المخطط وقتًا أطول من المتوقع ، ونتيجة لذلك ، هناك فترة تعطل ممتدة للنظام. قد يتسبب هذا في خسارة تجارية للعميل النهائي وقد لا يكون مقبولاً.
- فقدان البيانات المحتمل: لا يمكن تحديد جميع خسائر البيانات أثناء مرحلة الاختبار. قد يتم تحديد بعض حالات فقدان البيانات في النهاية عندما يحصل النظام على عدد كافٍ من الزيارات.
الترحيل من قاعدة بيانات في الوقت الفعلي: بالنسبة لأي موقع ويب عالي المعاملات ، يكون ترحيل قاعدة البيانات أمرًا صعبًا دائمًا نظرًا لوجود تحديثات مستمرة للبيانات ؛ وترحيل البيانات الحية والوقت الحقيقي غير ممكن. يجب أن يكون هناك فترة توقف حتى تحدث أي عملية ترحيل.
الملاحظات الختامية
يمكنك دائمًا طلب التوجيه من خبراء الجهات الخارجية بشأن ترحيل قاعدة البيانات. نحن Creole Studios متخصصون في عمليات ترحيل قواعد البيانات ، ويسعدنا تقديم المساعدة أو التشاور في أي مسعى من هذا القبيل. ابق متشبثًا بالمدونة الرابعة والأخيرة من سلسلة ترحيل التكنولوجيا.