السحابة تحول التفاصيل رأساً على عقب
نشرت: 2021-12-28
يتم حاليًا تشغيل طريقة تحويل المعلومات الشائعة للاستخراج والتحويل والتحميل بالكامل (ETL) رأسًا على عقب في تطور عصري تم تمكينه بواسطة الأنظمة السحابية.
أدى انخفاض نفقات السحابة ، وقدرتها على التكيف والتوسع ، وقدرة المعالجة الهائلة لمستودعات المعرفة السحابية ، إلى إحداث تغيير رئيسي: القدرة على تحميل جميع الحقائق في السحابة ، قبل تحويلها مباشرةً. يعني هذا التطور أن ETL وحده قد تم تحويله - إلى مستخلص ، وتحميل وتحويل كامل ، أو ELT.
يوفر ELT عددًا من المكافآت ، جنبًا إلى جنب مع الاحتفاظ بتفاصيل الحقائق ، وسيحتاج المصغر لمهندسي التطبيقات الباهظة الثمن ومواقف تحول المشروع بشكل ملحوظ.
تحويل المعلومات:
تعتبر البيانات مهمة للشركات ، التي تستخدمها للتعرف على عملائها ، وتحديد آفاق جديدة ومساعدة صانعي القرار من خلال البيانات الحيوية والمحدثة. ومع ذلك ، لتقييم البيانات ، يجب أولاً أن تكون منظمة. يرغب في أن يتم فهمه بحيث يمكن سحبه إلى لوحات المعلومات والتجارب والأساليب التنبؤية.
التحدي هو أن الحقائق غير المطبوخة لا تقدم على أنها بيانات قابلة للاستخدام ومنسقة بشكل خيالي. هذا هو المكان الذي يصل إليه تحويل البيانات. ترغب التفاصيل الأولية الفوضوية في إعادة صياغتها إلى تمثيلات للواقع تساعد الأشخاص على تحقيق طموحات متميزة.
يمكن أن يتم وضع هذا التحويل إما قبل تحميل الحقائق إلى موقعه ، أو بشكل عام مستودع التفاصيل ، أو في وقت لاحق
ETL القياسي:
في ETL التقليدية ، يتم إعادة تشكيل المعلومات في نماذج المعرفة الجاهزة للاختبار قبل تحميلها مباشرة. كما يلاحظ تشارلز وانج من Fivetran ، "يمكن أن يؤدي الجمع بين التحويل والتحميل إلى الخطوة الدقيقة إلى الحفاظ على وسائل التخزين والحساب ، ولكنه يقدم قدرًا ممتازًا من الهشاشة في سير عمل هندسة المعلومات. يشير هذا أيضًا إلى أن حزمة البرامج المستخدمة للتحولات يتم إنشاؤها عادةً باستخدام لغات البرمجة النصية مثل Python و Java. بالإضافة إلى ذلك ، قد تتطلب التحولات في ETL عرضًا رائعًا للتنسيق المعقد باستخدام أدوات من هذا النوع مثل تدفق الهواء. "
عادةً ما تتضمن ETL عرضًا رائعًا لرمز مخصص. وبالتالي فإن الشخص الذي يواجه القضايا الأساسية في ETL التقليدي هو إمكانية الوصول. الندرة ، وارتفاع الأسعار يعني هذا النوع من المهندسين والعلماء يريدون المشاركة.
هناك صعوبة إضافية تتعلق بمناسبات التحول. عادةً ما تستغرق علاجات ETL التقليدية المتضمنة في مستودعات المعلومات في مقر الشركة وقتًا طويلاً بشكل خاص. يتضمن العمل مع ETL أيضًا صيانة روتينية منتظمة ويمكن أن يؤدي إلى تعقيد.
تقنيات العصر الحديث للتحول:
كان التخزين عادةً باهظ الثمن بشكل باهظ. كانت مكافأة ETL للشركات هي أنهم لم يضطروا إلى تحميل كل معارفهم إلى الموقع النهائي. تم تحسين ذلك الآن بواسطة أنظمة السحابة. نشهد تحسنًا هائلاً في اعتماد السحابة في جنوب إفريقيا كما أن رسوم الهندسة تتناقص بشكل ملحوظ. تجعل النفقات المنخفضة من الممكن للشركات تحميل جميع معلوماتها على السحابة ، دون إدراك نفقات التخزين.
يشير هذا إلى أنه في سير عمل ELT الحالي ، يتم إعادة تشكيل المعرفة الأولية في تصميمات تفاصيل جاهزة للفحص تمامًا بعد تحميلها مباشرة. عندما تكون في المستودع ، يمكن إعادة صياغة المعرفة باستخدام SQL ، والتي ، بفضل تركيبها البديهي المعتمد على اللغة الإنجليزية ، يمكن تطبيقها من قبل مجموعة واسعة من الأشخاص. ونتيجة لذلك ، يمكن إجراء عملية التحول من قبل مستخدمي المؤسسة المتعلمين بلغة SQL وليس فقط هؤلاء الذين لديهم خبرة في الترميز.
تحول المعلومات في الوقت الحاضر ، لذلك يستفيد معظمها من الموارد والأنظمة المستندة إلى السحابة. تشكل هذه مجتمعة ما يشار إليه بمكدس حقائق العصر الحديث (MDS).
يعد نظام المعرفة السحابية الفعال للغاية ، وهو أمر أساسي في MDS ، عبارة عن مستودع سحابي يمكن أن يشتمل أيضًا على بحيرات التفاصيل. يتم تحميل المعرفة فيه من مجموعة من برامج الموارد بما في ذلك قواعد البيانات وبرامج الويب وواجهات برمجة التطبيقات. للقيام بذلك ، يتم استخدام طبقة تحويل حسنة السمعة لتحويل المعرفة غير المطبوخة إلى مجموعات بيانات مجموعة الاستعلام بالكامل. وأخيرًا ، يسمح الحل التعاوني لذكاء الأعمال التجارية الصغيرة والتصور للأعمال التجارية بالتفاعل مع المعرفة واستخلاص رؤى قابلة للتنفيذ لاستنتاجات شركة المعلومات.
في مقالته القصيرة التي تم تحديدها على أنها تفاصيل تحويل مفصّلة ، يستنتج وانج أن MDS يوجه المعلومات عن طريق المراحل التالية:
- الموارد - تفاصيل من قواعد البيانات التشغيلية وتطبيقات SaaS وتتبع الأحداث
- خط أنابيب المعرفة - يستخرج الحقائق من الموارد ويجمعها في مستودع المعلومات ، ويطبيعها أحيانًا
- مستودع البيانات - يخزن الحقائق في قواعد بيانات علائقية محسّنة للتحليلات
- جهاز تحويل المعرفة - برنامج يعتمد على SQL يستخدم البيانات من المصدر لعمل نماذج حقائق جديدة داخل مستودع المعلومات
- موارد التحليلات - أدوات لتوليد القصص والتصورات ، هذه الأنواع من منصات ذكاء الأعمال الصغيرة
التحول داخل مستودع التفاصيل:
يتم تخصيص التحويلات لإنشاء بعض تصاميم المعلومات التي يجب أن تمتلكها المؤسسات للتحليلات. يفصل ELT المعاصر الاستخراج والتحميل عن التحويل. يمكن أن يمكّن ذلك الشركات من أتمتة مراحل الاستخراج والتحميل الخاصة بطريقة تكامل البيانات والاستعانة بمصادر خارجية. يمكنهم بعد ذلك استخدام جهاز تحويل مركّز قائم على SQL في الوقت الذي تكون فيه التفاصيل موجودة بالفعل في المستودع.
تتمثل الميزة الرئيسية لـ ELT في أن الحقائق تظل بشكل أساسي في شكل محبب نظرًا لحقيقة أنها لم تمر بتحولات كبيرة قبل تحميلها. باستخدام ETL المشترك ، قد يكون لدى الشركة معرفة مميزة مجمعة مسبقًا قبل التحميل ، وبالتالي تتخلص من الدقة الأولى تمامًا.
توفر بنية ELT الجديدة أيضًا وظائف كبيرة ومرونة وجوانب إيجابية للسعر. يتم التحميل بسرعة ، ويمكن للمؤسسات الاحتفاظ بكل معارفها في مستودع المعلومات ، حتى تلك التي قد لا يكون لديهم في الوقت الحالي.
يلاحظ وانغ: "بشكل تقريبي ، يمكن أن تكون أنماط المعلومات المعاد صياغتها في مستودع المعلومات فقط وجهات نظر أو وجهات نظر حقيقية". يتابع ليوضح أنه في كل مرة يصل فيها الشخص إلى تسجيل الخروج ، يقوم مخزن البيانات بتشغيل استعلام لإرجاع المعلومات ذات الصلة. لا يتم حفظ هذه الآراء. ويضيف قائلاً: "في أرض مثالية خالية من الكمون والوسائل الحسابية غير المقيدة ، ستكون جميع التحولات في الأساس عبارة عن مشاهدات".
على النقيض من ذلك ، يتم حفظ المشاهد الفعلية على القرص لأن العروض التي تم إنشاؤها أثناء التنقل من طاولة ضخمة أو سؤال معقد يمكن أن تحفز مستودعات التفاصيل على الاختناق.
EtLT:
ربما ينبغي الإشارة إلى ELT باسم EtLT في معظم السيناريوهات ، حيث يتم غالبًا إجراء بعض عمليات تحويل المهام الخفيفة الوزن ، أو التطبيع ، قبل تحميل المعرفة. هذا يزيل التكرار والتكرار والقيم المشتقة. كما ينظم الجداول من الحقائق إلى أوضح مجموعة ممكنة من العلاقات المتبادلة بحيث يمكن للمحللين تفسير منتج البيانات الأساسي لتطبيق الموارد بسهولة ، وإنشاء أنواع معلومات جديدة معدة للتقييم وفقًا لذلك.
يقول وانج: "يجب أن تكون مخرجات أنابيب الاستخراج والتحميل موحدة إذا تم الاستعانة بمصادر خارجية ، فإن تقنية ELT التلقائية هي لإنجاز المهمة". "لتطبيع المعلومات بشكل فعال من أحد الموارد ، يجب أن تكون لديك معرفة عميقة بالتشغيل الأساسي ونموذج التفاصيل لتطبيق التوريد. الطريقة المثلى للالتفاف على هذا التحدي هي الاستخراج والتحميل إلى فريق لديه خبرة مكثفة مع هندسة المعلومات لهذا المورد المعين ".
متخصصو تكنولوجيا المعلومات ، Keyrus