فيديو

جدول المحتويات:

Anonim

يظل تفسير وفهم سلوك الشبكات العصبية العميقة أحد التحديات الرئيسية في النظام البيئي للتعلم العميق. كبشر ، نحاول بانتظام فهم الموضوعات الجديدة من خلال مقارنتها بمجالات المعرفة الأخرى التي نعرفها. من هذا المنظور ، يبدو أن مقارنة الشبكات العصبية المختلفة هي وسيلة طبيعية لتحسين قابليتها للتفسير. ومع ذلك ، فإن مقارنة نماذج التعلم العميق بعيدة عن كونها مجهودًا سهلاً. بالنظر إلى شبكتين عصبيتين عميقتين ، كيف يمكننا تحديد مدى تشابههما وربطهما بأدائهما؟ قام فريق من الباحثين في مجال الذكاء الاصطناعي من Google Brain ببعض الأعمال الرائدة في هذا الفضاء ، حيث طوروا فكرة التشابه التمثيلي لتقدير أوجه التشابه بين الشبكات العصبية العميقة المختلفة.

SVCCA والتشابه التمثيلي

هل يمكننا مقارنة التمثيلات التي تعلمها نموذجان مختلفان للتعلم العميق؟ يحاول مفهوم التشابه التمثيلي حساب أوجه التشابه بين الشبكات العصبية العميقة المختلفة باستخدام النماذج الإحصائية. في ورقة "SVCCA: تحليل الارتباط الكنسي المتجه المفرد لديناميات التعلم العميق والتفسير" ، قدمت Google طريقة إحصائية بسيطة وقابلة للتطوير لتقييم أوجه التشابه بين الشبكات العصبية العميقة. إن SVCCA هي تقنية إحصائية لربط مجموعتين من الملاحظات الناشئة عن العملية الأساسية. ويحدد العلاقات الخطية "الأفضل" (تعظيم الارتباط) (تحت التعامد المتبادل والقيود المعيارية) بين مجموعتين من المتغيرات المتعددة الأبعاد.

في حالة نماذج التعلم العميق ، يقيس SVCCA القرب بين شبكتين عصبيتين عميقتين من خلال تقييم تنشيط الخلايا العصبية في طبقات مخفية. باستخدام هذه التقنية ، ركز باحثو Google على سيناريوهين رئيسيين:

أ) تقييم أوجه التشابه بين التمثيلات التي تعلمتها شبكتان عصبيتان مختلفتان.

ب) تقييم أوجه التشابه بين التمثيلات التي تعلمتها الطبقات المخفية في نفس الشبكة العصبية العميقة.

كأسلوب ، يأخذ SVCCA في مجموعتين من الخلايا العصبية ويخرج خرائط ميزة محاذاة تعلمتها كل منهما. تحسب الطريقة أيضًا الاختلافات السطحية مثل التباديل في ترتيب الخلايا العصبية (حاسمة لمقارنة الشبكات المختلفة) ، ويمكنها اكتشاف أوجه التشابه في حالة فشل المقارنات الأخرى الأكثر وضوحًا. على سبيل المثال ، لنأخذ شبكتين عصبيتين تلافيتين (خضراء وحمراء) مدربين على استخدام مجموعة بيانات CIFAR-10. تُظهر الصورة الموجودة على اليسار المقارنة باستخدام تقنية تقليدية تقيس أعلى مستوى من التنشيط العصبي في الشبكة. كما ترون ، لا توجد أوجه تشابه واضحة بين الشبكتين ، أليس كذلك؟ ليس بهذه السرعة … بعد تطبيق SVCCA ، يمكننا أن نرى بوضوح أن التمثيلات التي تعلمتها الشبكتان متشابهتان تمامًا (الصورة الصحيحة).

طبقت Google أيضًا SVCCA لتقييم أوجه التشابه بين التمثيلات التي تعلمتها الطبقات المخفية المختلفة في نفس الشبكة. على سبيل المثال ، تُظهر الصورة أدناه مصفوفة تقيم أوجه التشابه بين الطبقات المخفية عبر مراحل تدريب مختلفة. تقيس كل خلية i، j في تلك المصفوفة أوجه التشابه بين الطبقة i و j. أظهرت هذه التجربة أن الطبقات في شبكة عصبية عميقة أقرب إلى المدخلات تتقارب بشكل أسرع من الطبقات العليا. يُعرف هذا التقارب من القاعدة إلى القمة وكان أحد أهم الاكتشافات التي تمت باستخدام SVCCA.

يتوفر تطبيق أساسي لتقنية SVCCA على جيثب.

حفظ وتعميم الشبكات

بعد نشر ورقة SVCCA ، وسّع فريق Google Brain أعماله لتشمل هياكل CNN أكثر تعقيدًا بالإضافة إلى الشبكات العصبية المتكررة (RNNs). تم تسليط الضوء على هذا العمل في ورقة بحثية حديثة بعنوان "رؤى حول التشابه التمثيلي في الشبكات العصبية مع الارتباط الكنسي". في حالة شبكات CNN ، ركز فريق Google على بنائين رئيسيين:

  • تعميم الشبكات : CNN المدربين على البيانات ذات الملصقات غير المعدلة والدقيقة والتي تتعلم الحلول التي تتعميم البيانات الجديدة.
  • حفظ الشبكات : شبكات CNN المدربة على مجموعات البيانات ذات الملصقات العشوائية بحيث يجب عليها حفظ بيانات التدريب ولا يمكن ، بالتعريف ، التعميم.

بعد تطبيق SVCCA عبر مثيلات متعددة لكل نوع من أنواع CNN ، أظهرت التجربة مجموعات مختلف تم تعميم الشبكات المتقاربة باستمرار مع تمثيلات أكثر تشابهًا (خاصة في الطبقات اللاحقة) من مجموعات شبكات الحفظ. في كلتا الحالتين ، تنخفض بشكل كبير مسافة التقييم القطري المشترك لكل مجموعة من شبكات التعميم والحفظ ، حيث أن الشبكات في كل مجموعة منفصلة تنبئ بتوقعات مماثلة.

SVCCA و RNNs

في أحدث دراستهم ، طبقت Google أيضًا SVCCA لدراسة أوجه التشابه في الشبكات العصبية المتكررة (RNNs). تشترك بنية شبكات RNN في بعض التعقيدات التي تشبه شبكات CNN ، لكن RNNs تمثل التحدي الإضافي المتمثل في تغيير تمثيلاتها على مدار تسلسل.

كان الهدف الرئيسي لتطبيق SVCCA على RNNs هو تحديد ما إذا كان الأخير يحمل نفس طور التقارب من أسفل إلى أعلى مثل CNNs. الصورة. لاختبار ذلك ، قام فريق Google Brain بقياس مسافة التقييم القطري المشترك بين التمثيل في كل طبقة من شبكة RNN على مدار التدريب مع تمثيله النهائي في نهاية التدريب. أظهرت النتائج أنه ، تمامًا مثل شبكات CNN ، تتلاقى شبكات RNN أيضًا في نمط تصاعدي.

المقارنة والتماثل هي عنصر مهم في الإدراك البشري. استخدمت تقنيات مثل SVCCA أوجه التشابه للكشف عن الخصائص الهامة وغير المعروفة لشبكات CNN و RNNs. كما هو الحال مع كل شيء في الحياة ، قد تصبح المقارنة آلية مهمة لمساعدتنا في فهم سلوك شبكات التعلم العميق.

موصى به اختيار المحرر