هناك الكثير من الباحثين لايفرقون بين مفهوم البيانات او القيمة المفقودة ومفهوم البيانات او القيمة المتطرفة ومفهوم البيانات الضبابية.
ولكن في الواقع هناك اختلاف بين هذه المفاهيم وخاصةً في المجال الاحصائي لذا سوف نتناول كل منهاعلى حده.
ماذا نعني بالبيانات المفقودة؟
مشكلة البيانات المفقودة من المشكلات البحثيّة الشائعة والمتكرّرة عند جمع البيانات أو تحليلها، وهي تعني أن يتمّ فقدان جزء من بيانات العيّنة لأيّ سبب. ولأنّ الأساليب الإحصائيّة التي نستخدمها في تحليل البيانات تفترض دائماً وجود معلومات كاملة عن جميع المتغيّرات المستخدمة في التحليل؛ تُعدّ البيانات المفقودة مشكلةً كبيرة للباحث، وعدمُ معالجتها بشكلٍ مناسب قد يُسبّب للباحث بعض المشكلات كتقليل حجم العينة إلى حجمٍ غير ملائم، أو عدم تقدير التباين بشكل صحيح، أو الحصول على نتائج متحيّزة ولذلك يجب أن يكون الباحث على دراية كافية بالتعامل مع المشكلة، وتكون البداية بأن يحدّد الباحثُ نوع البيانات المفقودة في مجموعة البيانات الخاصة به كي يحدّد الطريقة المناسبة لمعالجتها قبل أن يبدأ التحليل الإحصائيّ.
وان من أنواع البيانات المفقودة وطرق التعامل مع كلٍّ منها في ما يلي:- أنواع البيانات المفقودة
كيف يتم التعامل مع البيانات المفقودة؟
ماذا نعني بالبيانات المتطرفة؟
هي القيم التي يمكن أن تتواجد وسط مجموعة من البيانات في قواعد البيانات بحيث أنها لا تتوافق أو لا تشبه في سلوكها السلوك العام لبقية البيانات. وغالبًا ما تكون هذه القيم مختلفة بشكل واضح وملفت للانتباه عن بقية البيانات الموجودة معها.
ويمكن أن تظهر هذه القيم عن طريق الخطأ، كأن يتم التعبير عن عمر أحد الأشخاص بالقيمة (1700) نتيجة خطأ في إدخال البيانات. ففي محل لبيع المجوهرات يمكن أن يكون ثمن قطعة من الألماس قيمة من النوع المتطرف مقارنة بثمن بقية أنواع المجوهرات التي تُباع في هذا المحل، وبالتالي تُشكل مصدرًا للربح لصاحب المحل، وبالتالي فهي ليست قيمة متطرفة مُزعجة بالنسبة له. كما يمكن استخدامها في المجالات الطبية وتحليل الحالات المَرَضية من أجل إيجاد الاستجابات غير الطبيعية للعلاجات الطبية المتنوعة. كما يمكن أن تظهر هذه القيم نتيجة استخدام القيم الافتراضية في برنامج الإدخال عن طريق الخطأ.
وخلاف ذلك فقد تكون قيم متطرفة بالفعل مقارنة بمثيلاتها من القيم الأخرى في قاعدة البيانات. أنواع القيم المتطرفة
طرق استكشاف القيم المتطرفة
ماذا نعني بالبيانات الضبابيه؟
في المنطق ، المنطق الضبابي هو شكل من أشكال المنطق متعدد القيم حيث قد تكون قيمة حقيقة المتغيرات أي رقم حقيقي بين 0 و 1 على حد سواء. يتم استخدامه للتعامل مع مفهوم الحقيقة الجزئية ، حيث قد تتراوح قيمة الحقيقة بين صحيح تمامًا وخطأ تمامًا. على النقيض من ذلك ، في المنطق المنطقي ، قد تكون قيم الحقيقة للمتغيرات هي القيم الصحيحة 0 أو 1 فقط.على المدى المنطق الضبابي وقدم مع اقتراح 1965 من نظرية المجموعات الضبابية التي كتبها لطفي زاده . ومع ذلك ، فقد تمت دراسة المنطق الضبابي منذ عشرينيات القرن الماضي ، كمنطق غير محدود القيمة يعتمد المنطق الضبابي على ملاحظة أن الناس يتخذون قرارات بناءً على معلومات غير دقيقة وغير رقمية. نماذج غامض أو مجموعات وسائل الرياضية لتمثيل الغموض والمعلومات غير دقيقة (ومن هنا جاء مصطلح غامض).
تتمتع هذه النماذج بالقدرة على التعرف على البيانات والمعلومات الغامضة التي تفتقر إلى اليقين وتمثيلها ومعالجتها وتفسيرها واستخدامها. تم تطبيق المنطق الضبابي على العديد من المجالات ، من نظرية التحكم إلى الذكاء الاصطناعي . مثال عن الضبابية هو ان المنطق الكلاسيكي يسمح فقط باستنتاجات إما صحيحة أو خاطئة. ومع ذلك ، هناك أيضًا اقتراحات ذات إجابات متغيرة ، مثل التي قد يجدها المرء عند مطالبة مجموعة من الأشخاص بتحديد اللون. في مثل هذه الحالات ، تظهر الحقيقة كنتيجة للتفكير من المعرفة غير الدقيقة أو الجزئية التي يتم فيها تعيين إجابات العينة على طيف.
قد يميز التطبيق الأساسي نطاقات فرعية مختلفة لمتغير مستمر . على سبيل المثال ، قد يكون لقياس درجة حرارة الفرامل المانعة للانغلاق عدة وظائف عضوية منفصلة تحدد نطاقات درجة حرارة معينة مطلوبة للتحكم في الفرامل بشكل صحيح. تقوم كل وظيفة بتعيين نفس قيمة درجة الحرارة إلى قيمة حقيقة في النطاق من 0 إلى 1. يمكن بعد ذلك استخدام قيم الحقيقة لتحديد كيفية التحكم في الفرامل. توفر نظرية المجموعة الضبابية وسيلة لتمثيل عدم اليقين.
التطبيقات المبكرة تم تنفيذ العديد من التطبيقات الناجحة المبكرة للمنطق الضبابي في اليابان. كان أول تطبيق ملحوظ في قطار الأنفاق في سينداي ، حيث كان المنطق الضبابي قادرًا على تحسين الاقتصاد والراحة والدقة في الركوب. كما تم استخدامه للتعرف على الرموز المكتوبة بخط اليد في أجهزة كمبيوتر الجيب من سوني ، ومساعدات الطيران لطائرات الهليكوبتر ، والتحكم في أنظمة مترو الأنفاق من أجل تحسين راحة القيادة ، ودقة التوقف ، واقتصاد الطاقة ، وتحسين استهلاك الوقود للسيارات ، وزر واحد التحكم في الغسالات ، والتحكم الآلي في المحركات للمكانس الكهربائية مع التعرف على حالة السطح ودرجة التلوث ، وأنظمة التنبؤ للتعرف المبكر على الزلازل من خلال معهد علم الزلازل ، مكتب الأرصاد الجوية ، اليابان.
التطبيقات الحالية في اتخاذ القرارات الطبية المنطق الضبابي هو مفهوم مهم عندما يتعلق الأمر باتخاذ القرارات الطبية. نظرًا لأن البيانات الطبية وبيانات الرعاية الصحية يمكن أن تكون ذاتية أو غامضة ، فإن التطبيقات في هذا المجال تتمتع بإمكانية كبيرة للاستفادة كثيرًا من خلال استخدام الأساليب القائمة على المنطق الضبابي. أحد مجالات التطبيق الشائعة التي تستخدم المنطق الضبابي هو التشخيص بمساعدة الكمبيوتر (CAD) في الطب.
المصادر
- كتاب التحليل المتقدم وتنقيب البيانات، د. م. مصطفى فؤاد عبيد، إصدار: دار الفكر العربي، القاهرة، الطبعة الأولى.
- 2017 KJ, Carlin JB. Multiple Imputation for Missing Data: Fully Conditional Specification Versus Multivariate Normalz Imputation.
- Am J Epidemiol [Internet]. 2010 Mar 1 [cited 2018 Oct 8];171(5):624–32. Available from نوفاك ، ف. بيرفيليفا ، أنا (Močkoř ، J. (1999.
- المبادئ الرياضية للمنطق الضبابي . دوردريخت: كلوير أكاديمي. رقم ISBN 978-0-7923-8595-0.
الكاتب: محمد مؤيد شكر
بكالوريوس علوم احصاء / محلل احصائي