فيديو

جدول المحتويات:

Anonim

أصدرت Google Research الأسبوع الماضي أخبارًا من خلال إصدار Semantic Experiences ، وهو موقع إلكتروني يستخدم كموقع لتقييم بعض التطورات الجديدة في تقنيات فهم اللغة الطبيعية (NLU). تضمن الإصدار الأولي لعبتين مزيفتين توضحان الصلاحية العملية لبعض أحدث أبحاث NLU من Google.

تدعى التجربة الأولى المضمنة في الموقع الجديد بـ Talk to Books وتمكّن المستخدمين من التحدث مع خوارزمية مُدرَّبة على التعلُّم الآلي تُظهر إجابات على الأسئلة مع مقاطع ذات صلة من نص مكتوب بواسطة الإنسان. كما وصفها فريق Google Research ، يتيح لك تطبيق Talk to Books "الإدلاء ببيان أو طرح سؤال ، وتجد الأداة جمل في الكتب التي تستجيب ، دون الاعتماد على مطابقة الكلمات الرئيسية." وأضافوا أيضًا ، "بمعنى ما أنت تتحدث إلى الكتب ، وتتلقى ردودًا يمكن أن تساعدك في تحديد ما إذا كنت مهتمًا بقراءتها أم لا. "

المبادرات الثانية المضمنة في التجارب الدلالية هي Semantris ، وهي لعبة مدعومة بالتعلم الآلي ، حيث تكتب الكلمات المرتبطة بموجه معين. قد تبدو التجربة تافهة ، لكن عندما أتحدث كمستخدم نهائي ، يمكنني أن أخبرك أنها يمكن أن تصبح مدمنة.

يعد كل من Google Talk to Books و Semantris أول تطبيقين عمليين لتقنية Universal Sentence Encoder. تم توضيح هذه الطريقة مؤخرًا في بحث نشره فريق من الباحثين في Google يتضمن مؤلفًا مشهورًا عالميًا ومستقبلاً راي كورزويل. من الناحية النظرية ، تركز تقنية Universal Sentence Encoder على تمثيل اللغة في فضاء متجه باستخدام متجهات تمثل مقاطع نصية كبيرة مثل الجمل أو الفقرات مقابل النماذج التقليدية التي تركز في الغالب على متجهات الكلمات.

فكرة استخدام الزخارف الجملة باعتبارها ناقل الترميز الأساسي في نموذج NLU هي محاولة لتحسين قابلية نقل هذه النماذج إلى مهام NLU الأخرى. أصبح نقل التعلم آلية أساسية لإعادة استخدام معرفة الذكاء الاصطناعي (AI) على نطاق واسع ولكن نماذج NLU تكافح تقليديًا للعمل في سيناريوهات نقل التعلم. السبب الرئيسي وراء هذه التحديات هو أن نماذج NLU التقليدية تعتمد على تجهير تضمين الكلمات الذي يمكن أن يؤدي إلى كثرة الحوسبة في التدريب والتوسع. أظهرت الدراسات الحديثة أن حفلات مستوى الجملة تميل إلى تفوق أداء حفلات مستوى الكلمة في سيناريوهات تعلم النقل.

كما يشير إلى ذلك ، يركز بحث Universal Sentence Encoder على اقتراح آليات تشفير جملة مختلفة لنماذج NLU. على وجه التحديد ، يقدم البحث أساليب ترميز الجملة لشبكات المحولات والشبكات العميقة (DAN) كوسيلة لتحسين قدرات التعلم في نقل النماذج.

محول

يركز محول التشفير على تحسين دقة النموذج على حساب الموارد الحاسوبية. تقنية يبني حفلات الجملة باستخدام الرسم البياني الترميز الفرعي للهندسة المحولات. يستخدم هذا الرسم البياني الفرعي الانتباه إلى حساب تمثيل الكلمات على دراية بالسياق في جملة تأخذ في الاعتبار كل من ترتيب وهوية كل الكلمات الأخرى.

يوضح بحث Google أن برنامج تشفير المحول يحقق أفضل أداء تعليمي في النقل. ومع ذلك ، يأتي هذا على حساب وقت حساب واستخدام الذاكرة تحجيم بشكل كبير مع طول الجملة.

DAN

إن الهدف من تقنية شبكات المتوسط ​​العميق (DAN) هو تحسين كفاءة التداول من بعض الدقة. في نموذج DAN ، يتم أولاً احتساب مدخلات الكلمات والكلمات ثنائية النواة معًا ثم تمريرها عبر شبكة عصبية عميقة (DNN) لإنتاج قصاصات الجمل. يوضح بحث Google أن الميزة الأساسية لجهاز تشفير DAN هي أن وقت الحساب خطي بطول تسلسل الإدخال.

نماذج TensorFlow

لم يتوقف فريق بحث Google عن العمل النظري ونشر تطبيقًا لتطبيق Universal Sentence Encoder في TensorFlow Hub.لا يتطلب استخدام برنامج التشفير أكثر من حفنة من أسطر التعليمات البرمجية كما هو موضح في مقتطف الشفرة التالي.

تضمين = hub.Module ("http://tfhub.dev/google/universal-sentence-encoder/1")

حفلات الزفاف = تضمين (
"الثعلب البني السريع يقفز فوق الكلب الكسول."،
"أنا جملة أود الحصول على تضمينها)
جلسة الطباعة.

يمكن للمطورين البدء في الاستفادة من Universal Sentence Encoder لتدريب نماذجهم الخاصة والمساهمة في تجارب Google الدلالية.

موصى به اختيار المحرر