كيف يمكن للأفلام تغيير الخطوط في الوقت الفعلي من خلال الاستجابة لمشاعر المشاهدين

تقدم معظم الأفلام نفس تجربة المشاهدة تمامًا. تجلس ، يبدأ الفيلم ، تتكشف الحبكة وتتابع ما يحدث على الشاشة حتى تنتهي القصة. إنها تجربة خطية. فيلمي الجديد ، قبل أن نختفي – يدور حول زوج من نشطاء المناخ يسعيان للانتقام من الشركات المرتكبة للاحتباس الحراري – يسعى إلى تغيير تجربة المشاهدة هذه.

ما يجعل فيلمي مختلفًا هو أنه يكيف القصة لتناسب الاستجابة العاطفية للمشاهد. من خلال استخدام كاميرا الكمبيوتر والبرمجيات ، يراقب الفيلم الجمهور بفاعلية وهم يشاهدون لقطات لكوارث مناخية. يُطلب من المشاهدين ضمنيًا اختيار جانب.

اخترت استخدام هذه التكنولوجيا لإنتاج فيلم عن أزمة المناخ لجعل الناس يفكرون حقًا فيما هم على استعداد للتضحية به من أجل مستقبل قابل للبقاء.

لطالما كان سرد القصص تفاعليًا: سيتفاعل رواة القصص الشفهيون التقليديون ويستجيبون لمستمعيهم. منذ ما يقرب من قرن من الزمان ، كان مخرجو الأفلام يجربون التفاعل – شهد العقد الماضي انفجارًا في المحتوى التفاعلي.

تتيح خدمات البث للمشاهدين الفرصة لاختيار مغامرتهم الخاصة. ومع ذلك ، فإن السماح للمشاهد بالتحكم في الحدث كان يمثل تحديًا لفترة طويلة: فهو يتعارض مع الانغماس في السرد ، حيث ينجذب المشاهد إلى العالم الذي أنشأته القصة.

توضح واحدة من أبرز التجارب الحديثة في الفيلم التفاعلي ، Bandersnatch على Netflix ، هذا الأمر بوضوح. هنا يتوقف الإجراء ليطلب من المستخدم ما يجب فعله بعد ذلك – كسر تدفق القصة وإشراك المشاهد بنشاط. يظل حل مشكلة كسر التجربة الغامرة سؤالًا رئيسيًا للفنانين الذين يستكشفون الفيلم التفاعلي.

تتخذ الأفلام التي أقوم بإنشائها وأخرجها مسارًا مختلفًا ، مستفيدة من التحكم غير الواعي للتأثير على الفيلم بينما يشاهده الجمهور. استخدمت أفلامي السابقة التي تم التحكم فيها بالدماغ ، The Moment (2018) و The Dis محمص السفر عبر الزمن (2014) ، واجهات كمبيوتر الدماغ (BCIs). تستخدم هذه الأنظمة أجهزة الكمبيوتر لتحليل الإشارات الكهربائية من الدماغ ، مما يسمح للناس بالتحكم الفعال في الجهاز بأذهانهم.

باستخدام هذه البيانات من الدماغ ، ينشئ الجمهور تعديلًا غير واعٍ للفيلم في الوقت الفعلي – مما يعزز قصص الأفلام الخاصة بالخيال العلمي الواقع المرير وعقل يتجول في أحلام اليقظة.

ومع ذلك ، تتطلب واجهة BCI معدات متخصصة. بالنسبة لـ Before We Disappear ، أردت استخدام تقنية متاحة بسهولة أكبر للجماهير ، والتي يمكن أن تسمح بمشاركة الأفلام عبر الإنترنت.

السيطرة على السرد

يستخدم Before We Disappear كاميرا كمبيوتر عادية لقراءة الإشارات العاطفية وتوجيه التعديل في الوقت الفعلي للفيلم. لإنجاح هذا العمل ، احتجنا إلى فهم جيد لكيفية تفاعل الناس مع الأفلام.

أجرينا العديد من الدراسات لاستكشاف المشاعر التي ينوي صانعو الأفلام استحضارها وكيف يقدم المشاهدون المشاعر بصريًا عند المشاهدة. باستخدام رؤية الكمبيوتر وتقنيات التعلم الآلي من شريكنا BlueSkeye AI ، قمنا بتحليل مشاعر المشاهدين وردود أفعالهم على مقاطع الفيديو وقمنا بتطوير العديد من الخوارزميات للاستفادة من تلك البيانات للتحكم في السرد.

بينما لاحظنا أن الجماهير لا تميل إلى الانفعال على نطاق واسع عند مشاهدة فيلم ، فإن أدوات تحليل الوجه والعاطفة الخاصة بـ BlueSkeye حساسة بدرجة كافية لالتقاط ما يكفي من الاختلافات الصغيرة والإشارات العاطفية لتكييف الفيلم مع ردود فعل المشاهدين.

يقيس برنامج التحليل حركة عضلات الوجه جنبًا إلى جنب مع قوة الاستثارة العاطفية – بشكل أساسي كيف يشعر المشاهد بالعاطفة في لحظة معينة. يقوم البرنامج أيضًا بتقييم إيجابية أو سلبية العاطفة – وهو ما نسميه “التكافؤ”.

نحن نجرب العديد من الخوارزميات حيث تساهم بيانات الإثارة والتكافؤ في قرارات التحرير في الوقت الفعلي ، مما يؤدي إلى إعادة تكوين القصة. يعمل المشهد الأول كخط أساس يقاس عليه المشهد التالي. اعتمادًا على الرد ، سيصبح السرد واحدًا من حوالي 500 تعديل ممكن. في قبل أن نختفي ، أستخدم سردًا غير خطي يقدم للجمهور نهايات مختلفة ورحلات عاطفية.

رحلة عاطفية

أرى التكنولوجيا التفاعلية كطريقة لتوسيع مجموعة أدوات المخرج ، لإخبار القصة بشكل أكبر والسماح للفيلم بالتكيف مع عارض فردي ، وتحدي وتوزيع قوة المخرج.

ومع ذلك ، يمكن إساءة استخدام الاستجابات العاطفية أو قد يكون لها عواقب غير متوقعة. ليس من الصعب تخيل نظام على الإنترنت يعرض فقط المحتوى الذي يثير المشاعر الإيجابية من المستخدم. يمكن استخدام هذا لإنشاء غرفة صدى – حيث يرى الأشخاص فقط المحتوى الذي يطابق التفضيلات الموجودة لديهم بالفعل.

أو يمكن استخدامها للدعاية. لقد رأينا في فضيحة Cambridge Analytica كيف تم جمع كميات كبيرة من المعلومات الشخصية من Facebook واستخدامها في الإعلانات السياسية.

يهدف بحثنا إلى إنشاء محادثة حول كيفية استخدام بيانات عواطف المستخدمين بشكل مسؤول بموافقة مستنيرة ، مع السماح للمستخدمين بالتحكم في معلوماتهم الشخصية. في نظامنا ، يتم تحليل البيانات على جهاز المستخدمين ، بدلاً من السحابة على سبيل المثال.

عمل كبير ، مسؤولية كبيرة

التفاعل غير الواعي هو عمل كبير. تستخدم المنصات مثل TikTok و YouTube تحليل تفاعلات المستخدمين السابقة على الأنظمة الأساسية للتأثير على المحتوى الجديد الذي يرونه هناك. لا يدرك المستخدمون دائمًا ما هي المعلومات الشخصية التي يتم إنشاؤها أو تخزينها ، ولا يمكنهم التأثير على الخوارزميات التي ستقدم لهم بعد ذلك.

من المهم إنشاء نظام لا يتم فيه تخزين بيانات الجمهور. لا ينبغي تحميل أو تحليل فيديو العارض أو بيانات تعبيرات الوجه في أي مكان سوى على جهاز المشغل. نخطط لإصدار الفيلم كتطبيق تفاعلي ، يتضمن وعيًا باحتمال إساءة استخدام بيانات المستخدم ، وحماية أي بيانات شخصية على الجهاز المستخدم لمشاهدته.

تقدم الأفلام التكيفية بديلاً لرواية القصص التقليدية “اختر مغامرتك الخاصة”. عندما يمكن أن تتغير القصة بناءً على ردود الجماهير اللاواعية بدلاً من التفاعل المتعمد ، يمكن الحفاظ على تركيزهم في القصة.

هذا يعني أنه يمكنهم الاستمتاع بتجربة أكثر تخصيصًا للفيلم. تبين أن التقاليد القديمة لرواية القصص قد لا تزال لديها الكثير لتعلمنا إياه في القرن الحادي والعشرين.