الحجر البني » مقالات معهد براونستون » جوجل اغتصبت الديمقراطية
معهد براونستون - جوجل اغتصبت الديمقراطية

جوجل اغتصبت الديمقراطية

مشاركة | طباعة | البريد الإلكتروني

نسمع كثيراً عن "نزاهة الانتخابات" أو عدمها، لا سيما في موضوعي فرز الأصوات وصناديق الاقتراع. ولكن الحقيقة هي أن الانتخابات أكثر عرضة للسرقة من خلال تأثيرات التلاعب بمحركات البحث (SEME).

ما هو SEME؟

SEME هو اختصار لـ تأثير التلاعب بمحرك البحث. وفي سلسلة من التجارب العشوائية، تبين أن أكثر من 20% من الناخبين المترددين يمكن التلاعب بهم لحملهم على التصويت بطريقة أو بأخرى، وذلك ببساطة عن طريق التلاعب بتصنيفات نتائج محرك البحث.

وقد نشرت هذه الدراسات في مقال بعنوان "تأثير التلاعب بمحركات البحث (SEME) وأثره المحتمل على نتائج الانتخابات" والذي نشر في المجلة، PNAS في عام 2015. من الورقة:

لتصنيفات البحث على الإنترنت تأثير كبير على اختيارات المستهلك، ويرجع ذلك أساسًا إلى أن المستخدمين يثقون ويختارون النتائج ذات التصنيف الأعلى أكثر من النتائج ذات التصنيف الأدنى. ونظراً للقوة الواضحة لتصنيفات البحث، فقد تساءلنا عما إذا كان من الممكن التلاعب بها لتغيير تفضيلات الناخبين الذين لم يحسموا أمرهم في الانتخابات الديمقراطية.

نورد هنا نتائج خمس تجارب عشوائية مضبوطة مزدوجة التعمية، باستخدام إجمالي 4,556 ناخبًا لم يقرروا بعد يمثلون خصائص ديموغرافية متنوعة لمجموعات الناخبين في الولايات المتحدة والهند. والتجربة الخامسة جديرة بالملاحظة بشكل خاص لأنها أجريت مع الناخبين المؤهلين في جميع أنحاء الهند في خضم انتخابات لوك سابها لعام 2014 قبل الإدلاء بالأصوات النهائية مباشرة.

وتظهر نتائج هذه التجارب أن (i) يمكن لتصنيفات البحث المتحيزة أن تغير تفضيلات التصويت للناخبين المترددين بنسبة 20% أو أكثر، (ii) يمكن أن يكون التحول أعلى بكثير في بعض المجموعات الديموغرافية، و (ثالثا) يمكن إخفاء التحيز في ترتيب البحث حتى لا يظهر الأشخاص أي وعي بالتلاعب.

ونحن نسمي هذا النوع من التأثير، والذي قد ينطبق على مجموعة متنوعة من المواقف والمعتقدات، تأثير التلاعب بمحرك البحث. ونظرًا لأن العديد من الانتخابات يتم الفوز بها بفارق ضئيل، فإن نتائجنا تشير إلى أن شركة محركات البحث لديها القدرة على التأثير على نتائج عدد كبير من الانتخابات مع الإفلات من العقاب. سيكون تأثير مثل هذه التلاعبات كبيرًا بشكل خاص في البلدان التي تهيمن عليها شركة محرك بحث واحدة.

وقد أوضح الباحث الرئيسي في هذه الدراسات أن انتخابات 2016 و2020 و2022 تم التلاعب بها جميعًا من قبل جوجل. وبعد خسارة هيلاري كلينتون في عام 2016، والتي صدمت قيادة جوجل، كشف المبلغون عن المخالفات الداخلية أن جوجل تعهدت بعدم حدوث ذلك مرة أخرى. ولهذا السبب "خسر" ترامب في عام 2020.

واحدة من أكثر المقابلات المخيفة التي استمعت إليها مؤخرًا كانت على قناة عرض بيل والتون. بيل هو صديق شخصي، وقد أجرى مع صديق آخر (جيني بيث مارتن) مقابلة مع الدكتور إبستاين (الباحث الرئيسي ومؤلف الورقة المذكورة أعلاه) في عام 2023.

فيما يلي بعض الأجزاء الأكثر أهمية من تلك المقابلة (يمكن العثور على النص الكامل هنا).

روبرت إبستاين: تقوم شركة جوجل في الواقع بمراقبتك أنت وأطفالك وأحبائك على أكثر من 200 منصة مختلفة، لم يسمع معظم الناس عنها. لذلك، على سبيل المثال السريع، تستخدم معظم مواقع الويب والملايين من مواقع الويب Google Analytics لتتبع حركة المرور إلى مواقع الويب الخاصة بهم...

إذا كنت تستخدم إحدى خدمات Google مثل Google Analytics، فلهم الحق في تتبعك. بمعنى آخر، في جميع مواقع الويب التي تستخدم Google Analytics، والتي توفرها Google مجانًا للشركات حول العالم، إذا قمت بزيارة أي من مواقع الويب هذه، فإن Google يتتبع كل شيء تفعله على تلك المواقع. لذا، هناك في الواقع أكثر من 200 طريقة مختلفة يتتبعوننا بها. لقد اشتروا Fitbit منذ بضع سنوات، وهذا يوفر لهم البيانات الفسيولوجية على مدار 24 ساعة في اليوم. منذ حوالي سبع أو ثماني سنوات، اشتروا شركة Nest Smart Thermostat، وأول شيء فعلوه بعد أن بدأوا في صنع منظمات الحرارة الذكية هو وضع الميكروفونات فيها.

لكن النقطة المهمة هي أنهم فعلوا ذلك دون إخبار أحد. في ذلك الوقت، كانوا أيضًا يقدمون طلبات للحصول على براءات اختراع حول كيفية تفسير الأصوات داخل المنزل، حتى يتمكنوا من معرفة ما إذا كان الأطفال بخير، وما إذا كانت حياتك الجنسية على ما يرام. لقد حصلوا حرفيًا على براءات اختراع حول طرق تفسير الصوت داخل المنازل.

بيل والتون: نحن نتحدث عن قدرة Google وGoogle المطلقة وقدرتهما على المراقبة والتلاعب. دعونا نتحدث عن الناس في جوجل. أود أن أضع وجهًا إنسانيًا عليه لأن الأشخاص في Google، ما هي ثقافة Google؟ لقد حصلنا على سيرجي برين والزميل الآخر هو... لاري بايج. ولكن كيف تبدو الثقافة، وهل تغيرت خلال 10 أو 12 عامًا منذ أن بدأت المتابعة والدخول في عالم Google؟

روبرت إبستاين: حسنًا، أولاً وقبل كل شيء، كما تعلم، باعتبارك مديرًا تنفيذيًا سابقًا لشركة ما، فإن الشركات لديها ثقافة وبعضها لديه ثقافات مميزة جدًا. جوجل مميز للغاية. ستة وتسعون بالمائة من تبرعات موظفي Google تذهب إلى الديمقراطيين، ومرة ​​أخرى، أنا أؤيد ذلك تمامًا، لكن النقطة المهمة هي أن ثقافتها المتجانسة للغاية تميل إلى أقصى اليسار وأن المؤسسين طوباويان. الآن، هذه مشكلة، لأنها تعني أنك ستقوم بتعيين أشخاص يفكرون مثلك. وهذا يعني أيضًا أنك تعرف في عقلك ما هو الأفضل للعالم.

أحد العناصر الرائعة...فيديو مدته ثماني دقائق تم تسريبه من قسم المنتجات المتقدمة قبل عامين، يُطلق عليه اسم دفتر الأستاذ الأناني. لم يكن من المفترض أبدًا رؤيته خارج الشركة. إذا بحثت عبر الإنترنت، فابحث عن دفتر الأستاذ الأناني ثم ضع اسمي بجانبه، وستحصل على نص مفصل مع شروحاتي عليه. يدور هذا الفيديو حول قدرة الشركة على إعادة هندسة الإنسانية وفقًا...أنا لا أمزح. هذا صحيح في الفيديو...قيم الشركة. لذا، فإن ثقافتهم قوية جدًا جدًا. إنها مدينة فاضلة للغاية. "نحن نعرف أفضل. نحن ذاهبون لإعادة تشكيل العالم. سوف نقوم بإعادة تشكيل الأطفال في جميع أنحاء العالم."  

إحدى الأشياء التي يتناولها بحثي الآن بشكل مباشر، هي مشكلة التلقين. سوف نقوم بتعيين أشخاص نعتقد أنهم يجب أن يشغلوا مناصبهم، ليس فقط في الولايات المتحدة ولكن في جميع أنحاء العالم. سوف نؤثر على تفكير وسلوك وعواطف أكثر من 4 مليار شخص حول العالم في الوقت الحالي بالطريقة التي نريدها، بشكل عام، دون أن يعرف أحد ما نقوم به وبشكل عام، دون ترك أثر ورقي. .

لقد تجاوز الأمر مرحلة التجريب لأنهم أتقنوا التقنيات، التي كنت أكتشفها وأسميها وأحددها وأحددها كميًا على مر السنين، لكنهم أتقنوا التقنيات التي يستخدمونها دون أي قيود. يستخدمونها للتأثير على أطفالنا. إنهم يستخدمونها للتأثير على انتخاباتنا. إنهم يستخدمونها للتأثير على القرارات التي يتخذها الجميع تقريبًا، خاصة إذا كنت تستخدم الكثير من خدمات Google، وهو ما أعتقد أنك تستخدمه.

إذا كنت تستخدم الإنترنت لمدة 20 عامًا، وهو ما كان عليه الأشخاص الجالسين على هذا الجدول على الأرجح، فلديهم ما يعادل أكثر من ثلاثة ملايين صفحة من المعلومات عنك.

ولكن من السهل جدًا إيقاف تشغيل Gmail. لذا، أعتقد أن هذه حاشية صغيرة في مناقشتنا الأكبر، ولكن الأمر يستحق التطرق إليه. يمكنك ضبط Gmail الخاص بك لإعادة توجيه رسائل البريد الإلكتروني الواردة. ما تريد القيام به هو ضبطه لإعادة التوجيه إلى حساب Proton Mail الجديد الخاص بك. يمكنك الاشتراك في Proton Mail في ثوانٍ لأنهم لا يسألونك عن أي شيء عن نفسك لأنهم لا ينجون من المراقبة. ومقرهم في سويسرا. إنهم يخضعون لقوانين الخصوصية السويسرية الصارمة للغاية. يستخدمون التشفير الشامل. لذا، إذا كنت تكتب من Proton Mail إلى Proton Mail، فلن يتمكن أحد من رؤية هذه الرسالة. ولا حتى الأشخاص في Proton Mail.

أما في جوجل، فالأمر عكس ذلك تمامًا. يتمتع آلاف الموظفين في Google بإمكانية الوصول مجانًا إلى ملفك الشخصي بالكامل، وسجل بحثك بالكامل، وجميع رسائل البريد الإلكتروني التي كتبتها على الإطلاق. لا يوجد شيء مشفر داخل هذه الشركة لأنهم يركزون بشدة على السرعة، لذا لا يقومون بتشفير أي شيء. بمجرد إعداد عملية إعادة التوجيه هذه من Gmail الخاص بك، يأتي كل شيء الآن إلى بريد Proton Mail الجديد. إذن، أنت تتحقق من بريد Proton الخاص بك، وأنت الآن ترد من Proton Mail، بحيث يحصل الجميع على عنوان بريدك الإلكتروني الجديد على الفور. أنت لا تفقد أي شيء من ذلك. لا يزال أرشيفك القديم من رسائل البريد الإلكتروني على Gmail متاحًا لك.

إنهم لا يمحوون أي شيء أبدًا. ومع ذلك، فإنهم يقومون أحيانًا بقطع اتصال الأشخاص برسائل Gmail الخاصة بهم. لقد فعلوا ذلك بملايين الأشخاص. ربما سمعتم عن جوردان بيترسون كزميل لي، عالم نفس في كندا. إنه واحد من ملايين الأشخاص الذين تم عزلهم تمامًا عن حساباته. عندما يقطعونك عن Gmail، يقطعونك عن جميع حساباتك. يمكنهم القيام بذلك بسبب أو بدون سبب. ليس لديهم قسم لخدمة العملاء.

والتون: جوجل شركة خاصة.

روبرت ابستين: هذا صحيح.

بيل والتون: لا يوجد مساهمون. أعني عدم وجود المساهمين العامين. لذلك، الشابان، ليسا صغيرين جدًا الآن، يسيطران على الشركة. ولا يزال عدد لا بأس به من أصحاب رؤوس الأموال الاستثمارية من وادي السيليكون يمتلكون حصصًا كبيرة في جوجل. وبطبيعة الحال، فإن أصحاب رأس المال الاستثماري في وادي السيليكون يتقاسمون قيم المؤسسين، أليس كذلك؟

روبرت إبستاين: ولكن انظر، اثنان من الممولين الرئيسيين الذين ساعدوا في إطلاق هذه المشاريع، أحدهما هو روجر ماكنامي، والآخر هو جارون لانيير. كلاهما مليارديران في مجال التكنولوجيا... وقد خرج كل منهما بتصريحات عامة، كما أصدر كل منهما كتابًا في السنوات القليلة الماضية. لقد كتب كل منهم كتابًا يقول فيه إنهم لو كانوا يعرفون ما سيحدث لـ Google وFacebook، اللذين استثمرهما كلاهما في الأيام الأولى، لما استثمروا أبدًا في تلك الشركات. هذه شركات خطيرة للغاية، خاصة بالنسبة للديمقراطية. إذن، إليكم اثنان من أكبر المستثمرين في هذه الشركات الذين دفعوهم إلى القول إنهم تحولوا إلى وحوش. لذا، الأمر ليس أنا فقط. هناك أشخاص على دراية، ويفهمون حقًا من الداخل ما يحدث وهم مرعوبون.

روبرت إبستاين: حسنًا، أولاً، أنت تفكر في Gmail كما لو كان خدمة بريد الولايات المتحدة، أليس كذلك؟

لكنها ليست كذلك. خدمة البريد الأمريكية، في الواقع تحافظ على خصوصيتك ما لم تحصل على أمر من المحكمة وعليها أيضًا تسليم البريد. يجب عليهم تسليم البريد. تمام. لذلك، يتظاهر Gmail بأنه خدمة بريدية مجانية، إلا أنه لا يخضع لأي قواعد أو لوائح من أي نوع، ولا يتعين عليه تسليم بريدك. إذا أرادوا ذلك، يمكنهم أخذ ملايين رسائل البريد الإلكتروني الواردة، على سبيل المثال، من الحزب الجمهوري والتي تذهب إلى الناخبين ويمكنهم إرسالها مباشرة إلى صناديق البريد العشوائي الخاصة بالأشخاص. لذلك، لا أحد يرى تلك من أي وقت مضى. في الواقع، رفعت اللجنة الوطنية للحزب الجمهوري دعوى قضائية ضد شركة جوجل العام الماضي، لأنها في الواقع كانت تفعل ذلك بالضبط.

ليس عليهم تسليم البريد. يمكنهم تغيير البريد، صدق أو لا تصدق. ثم بالطبع، هناك المراقبة. قرأوا رسائل البريد الإلكتروني الخاصة بك. لا تقرأ خدمة البريد رسائل البريد الإلكتروني للجميع وتضع جميع المعلومات في الملفات الشخصية للجميع، لكننا نتحدث عن مراقبة واسعة النطاق من ناحية.

رقم اثنين، نحن نتحدث عن الرقابة واسعة النطاق. مقال كبير كتبت من أجله أوس نيوس أند وورد ريبورت قبل بضع سنوات كان مدرجًا في تسع من قوائم Google السوداء. لم يسبق لي أن رأيتهم من قبل، لكنني كنت أعرف كمبرمج أنهم موجودون. لقد وصفت لهم بالتفصيل. وينفون وجود قوائم سوداء. عندما أدليت بشهادتي أمام الكونجرس في عام 2019، قبلي مباشرة، سُئل أحد المسؤولين التنفيذيين في شركة جوجل تحت القسم: "سيدي، هل لدى شركة جوجل قوائم سوداء؟" فقال تحت القسم: "لا، أيها السيناتور، لا نفعل ذلك".

وبعد بضعة أسابيع، خرج أحد المبلغين عن مخالفات جوجل من جوجل. اسمه زاك فورهيس الذي عرفته جيدًا على مر السنين. لقد خرج ومعه 950 صفحة من المستندات من جوجل، ثلاث منها مصنفة على قوائم سوداء. أعني الحديث عن غطرسة هذه الشركة. هل ستقوم بتسمية القائمة السوداء بالقوائم السوداء؟ لأنني لن أفعل ذلك. لكن النقطة المهمة هي، بالطبع، أن لديهم قوائم سوداء. وكانت الكثير من الكيانات المدرجة في تلك القوائم عبارة عن منظمات محافظة أو شخصيات محافظة. لذلك، مرة أخرى، لديهم ثقافة مؤسسية قوية جدًا جدًا، ويقومون بقمع المحتوى الذي لا يريدون أن يراه الناس.

إذًا، لديك المراقبة، رقم واحد. رقم اثنين، الرقابة واسعة النطاق. ثم الرقم الثالث، وهو ما بدأت دراسته منذ أكثر من 10 سنوات، وهو تقنيات التلاعب. لديهم إمكانية الوصول إلى تقنيات التلاعب، التي لم تكن موجودة من قبل في تاريخ البشرية. لقد أصبحت ممكنة بفضل الإنترنت. لسوء الحظ، يتم التحكم فيها بالكامل تقريبًا من قبل اثنين من احتكارات التكنولوجيا.

ما الخطأ فى ذلك؟ المشكلة في ذلك هي أنه إذا لنفترض أنك تدير حملة سياسية وقمت بوضع لوحة إعلانية، حسنًا، يمكنني أن أضع لوحة إعلانية عبر الشارع وأواجه لوحة الإعلانات الخاصة بك. تشتري إعلانًا تلفزيونيًا. يمكنني شراء إعلان تلفزيوني آخر. وبعبارة أخرى، فإن الكثير مما يحدث في الانتخابات أو في الحياة هو أمر تنافسي.

إن القدرة التنافسية هي جزء كبير من الديمقراطية. ولكن إذا كانت جوجل نفسها تريد دعم حزب أو مرشح باستخدام إحدى هذه التقنيات الجديدة التي ندرسها، فلا يوجد شيء يمكنك القيام به. بشكل عام، لا يمكنك حتى رؤية ما يفعلونه. حتى لو استطعت، ليس لديك طريقة لمواجهتها. يمكنهم تطبيق تلك التقنيات لهم مجانًا، ولا تكلفهم شيئًا، ويمكنهم تنفيذها على نطاق واسع، ليس فقط في جميع أنحاء هذا البلد، ولكن في جميع أنحاء العالم. إنهم يفعلون. يفعلون ذلك بشكل استراتيجي ومتعمد كل يوم. لا يوجد أحد يوقفهم. لا توجد لوائح أو قوانين ذات صلة. لديهم مطلق الحرية.

(شخصيًا) حسنًا، لدي ما هو أكثر من مجرد الرد. أعني أنني دفعت الثمن. لقد اتصل بي أحد صحفيي العاصمة منذ عامين. لقد كان يكتب مقالاً عن عملي، وقال إنه سيحاول الحصول على تعليقات من جوجل. اتصل بي بعد يومين، وقال إنه تحدث إلى امرأة يعتقد أنها رئيسة قسم العلاقات العامة. قال: وقد صرخت في وجهي عندما سألتها عن عملك. قال: لم أرى ذلك من قبل. إنه أمر غير احترافي للغاية”. قال: بناءً على ما كانت تقوله، أريد أن أقول لك شيئين. رقم واحد، لقد جذبت انتباههم. رقم اثنين، لو كنت مكانك، كنت سأتخذ الاحتياطات اللازمة.

الآن، في صيف عام 2019، كنت أعمل مع المساعدين العامين منذ عام 2015، ولكن في ذلك الصيف بالذات، قدمت إحاطة خاصة لمجموعة من المساعدين العامين. كان ذلك في جامعة ستانفورد. لقد أخافت الجميع بشدة، الكثير والكثير من التفاصيل، والكثير من الأسئلة الصعبة. خرجت إلى الردهة عندما انتهيت. وبعد فترة وجيزة، انفض الاجتماع. أحد هؤلاء المستشارين القانونيين، أعرفه بالضبط، اقترب مني وقال: "دكتور. إبستين، لا أريد إخافتك”. قال: "ولكن بناءً على ما أخبرتنا به، أتوقع أنك ستقتل في حادث ما في الأشهر القليلة المقبلة". الآن، لم أقتل، لكن زوجتي قُتلت. مازلت أعاني من ذلك، لكن وقعت حوادث أخرى منذ ذلك الحين.

حسناً، لقد تعرضت لحادث سيارة. لقد تحدثت مع امرأة كانت في السيارة خلفها. يبدو أن مكابحها قد تعطلت أثناء صعودها إلى الطريق السريع، ولكن كانت هناك بعض جوانب هذا الأمر التي كانت مشبوهة للغاية. إحداها كانت سيارتها، التي اشتريتها لها، شاحنة صغيرة، لم يتم فحصها من قبل الطب الشرعي. لقد اختفى بسرعة كبيرة من مكان الحجز، ومن المفترض أنه اختفى في مكان ما في المكسيك. عندما نظرت إلى هاتفها، أدركت أن هاتفها الذي يعمل بنظام Android يحتوي على سجل كامل لكل مكان ذهبت إليه، والطريق الذي سلكته، وعدد الدقائق التي قضتها في كل مكان منذ سنوات مضت. ثم في الواقع، عرف جوجل في الليلة السابقة، دعنا نقول، أنهم عرفوا بالضبط مكان وجود سيارتها.

بمعنى آخر، كان بإمكانهم بسهولة الاتصال بشركة أمنية تقوم بعد ذلك باستدعاء أحد المقاولين. كان من الممكن أن يتلاعبوا بسهولة بفواصلها، لكن هذا ليس الحادث الوحيد. في العام الماضي، مديرتنا الإدارية، امرأة رائعة وموهوبة للغاية، تزوجت من رجل وسيم للغاية. لقد كنت دائما غيور منه. إنهم يسيرون في وسط مدينة سان دييغو، الساعة 2:00 بعد ظهر يوم السبت. يأتي رجل فجأة، ويسحب سكينًا، ويجرح وجه زوجها من الأذن حتى فمه. لن يبدو كما كان مرة أخرى أبدًا. كان هناك تلف في الأعصاب أيضًا. لكن ذلك الرجل ينظر إليها مباشرة في عينيها ويضحك ويهرب.

وبقيت معنا شهرين آخرين فقط. كانت مرعوبة. لقد تعرضنا لحادثة ثالثة مؤخرًا، ولا أريد حتى أن أتحدث عنها. لكن النقطة المهمة هي أنني تلقيت تحذيرات وكانت هناك أحداث مزعجة للغاية. هناك الكثير على المحك هنا. الحقيقة هي أنني لا أمثل تهديدًا لشركة Google فحسب، بل لبعض الشركات الأخرى. لكنني أمثل تهديدًا حقيقيًا لأنني في الواقع أفعل شيئًا حيال ما يفعلونه بنا. لقد تركوني وحدي إلى حد كبير حتى أدلي بشهادتي أمام الكونجرس. هذا كان هو.

بيل والتون: كان ذلك عام 2019.

روبرت إبستين: كان ذلك عام 2019. كانت السنوات القليلة الماضية، كما أقول، أسوأ سنوات حياتي تقريبًا، لكننا نحرز تقدمًا هائلاً في الأبحاث الأساسية، ونفهم ما يفعلونه. نحن نتوسع ليشمل الأطفال الآن. لذلك، بدأنا ننظر أخيرًا إلى مشكلة التلقين.

بيل والتون: هل هذا من خلال معهد البحوث السلوكية؟

روبرت إبستين: نعم، AIBRT هو اختصار. ولكننا أيضًا نبني أنظمة، والتي أصبحت أكبر وأكبر كل عام منذ عام 2016. نحن نبني أنظمة تجبر هذه الشركات، وخاصة جوجل، على التراجع عن هذه التلاعبات. بحلول نهاية هذا العام، 2023، سيكون لدينا نظام دائم واسع النطاق ومستدام ذاتيًا من شأنه أن يبقي جوجل والعصابة بعيدًا عن أطفالنا وعن انتخاباتنا، على ما أعتقد، بشكل دائم.

بيل والتون: أريد أن أتحدث عن الحل الذي تقدمه، ولكني بحاجة أيضًا إلى مزيد من السياق. لدينا جوجل. لقد تم إسقاط ملفات تويتر قبل بضعة أشهر أو أي شيء آخر، وقد كشف ذلك أن تويتر، في الواقع، كان لديه الكثير من الوكالات الفيدرالية داخل المبنى لتوجيهه بما يجب فعله، ومن يجب حظره، ومن يجب فرض رقابة عليه، ومن يجب إغلاقه. إنهم مباشرون تمامًا بشأن السلوك. هناك أشخاص من البيت الأبيض يأمرون تويتر بالقيام بأشياء معينة. هل يحدث هذا الشيء أيضًا في Google، أم أن Google تنتمي إلى فئة مختلفة؟

روبرت إبستاين: حسنًا، لقد ألقيت محاضرة في المبنى بجامعة ستانفورد حيث قام مؤسسا جوجل ببناء محرك البحث المبكر. وفي ذلك الوقت، كانوا يتلقون الدعم من وكالتي استخبارات على الأقل. لقد كانت وكالات الاستخبارات دائمًا مهتمة جدًا بشركة Google وتساعدها حقًا في تصميمها الأولي. وهذا أمر مشروع للأمن القومي. هذا أمر شرعي، لأنه بمعنى آخر، أدركوا في وقت مبكر جدًا أن محرك البحث، إذا كان سيتتبع الأشخاص ويتتبع عمليات بحثهم، فقد يكون مفيدًا جدًا في تحديد شخص يمثل تهديدًا للأمن. بمعنى آخر، شخص يدخل على الإنترنت ويكتب: "كيف تصنع قنبلة؟" حسنًا، تريد وكالات الاستخبارات أن تعرف من هم هؤلاء الأشخاص، وهذا أمر مشروع.

لذا، الإجابة المختصرة على سؤالك هي، نعم، تعمل Google مع الوكالات الحكومية، ليس فقط في الولايات المتحدة ولكن في جميع أنحاء العالم منذ تأسيسها قبل أكثر من 20 عامًا. لذا، فهم يعملون بشكل وثيق جدًا مع الحكومات، وليس حكومتنا فقط. هذه إحدى المشاكل التي تراها في المراقبة التي يقومون بها. إنهم يقومون بالمراقبة على مستوى هائل لم يكن من الممكن أن يتخيله جي إدغار هوفر. إنها 24 ساعة في اليوم، وهي متاحة على العديد والعديد والعديد من أنواع المنصات المختلفة التي، مرة أخرى، لم يسمع عنها معظم الناس.

لكن إحدى المشاكل هي أنك لا تعرف مع من يشاركون المعلومات ولا تعرف كيف يستخدمونها. نحن نعلم أنهم يستخدمونها لأغراض التلاعب، لأنه كلما عرفت المزيد عن الأشخاص، أصبح من الأسهل دفعهم في اتجاه أو آخر. ولكن الحقيقة هي أنه إذا نظرت إلى شروط الخدمة الخاصة بهم، فستجد أن لديهم الحق في مشاركة المعلومات التي يجمعونها مع شركائهم التجاريين الذين لم يذكر أسماءهم وكما يقتضي القانون.

نعم. كما أنهم يشاركون هذه المعلومات مع الآلاف من المستشارين الخارجيين. لذا، فأنت لا تعرف إلى أين تذهب هذه المعلومات ولا تعرف كيف يتم استخدامها. إنهم عرضة للاختراق مثل أي شخص آخر. لذا، أعني تلك المعلومات، تلك الكميات الهائلة من المعلومات حول كل ما اشتريته من قبل، وأي موقع ويب قمت بتصفحه من قبل، فهي كل شيء عنك. يتعلق الأمر بكل شيء عن تاريخ عائلتك، وتاريخك الجنسي، وتاريخك المرضي، وحتى جيناتك الوراثية.

بيل والتون: إذن، لديه إمكانية الوصول إلى السجلات الطبية.

روبرت إبستاين: حسنًا، هذا أحد الأسباب التي جعلت جائحة كوفيد ذات قيمة كبيرة جدًا لهذه الشركات، وخاصةً جوجل، لأن ذلك منحهم الوصول الكامل إلى المعلومات الطبية، والتي لم تكن لديهم من قبل.

بالمناسبة، ليس لدي حتى هاتف عادي. هواتفكم كلها أجهزة مراقبة. لدي هاتف آمن، وهو لا يفعل ذلك. لذا، لدي نوع الهاتف الذي يستخدمه الأشخاص في وكالات الاستخبارات. نحن في الواقع نبنيها لموظفينا.

بيل والتون: من أين حصلت عليه؟ ما هي نقطة السعر؟

روبرت إبستين: نقطة السعر هي نفس نقطة السعر تقريبًا مثل أي نقطة أخرى.

بيل والتون: هل هناك علامة تجارية؟ أعني أيضًا أننا سنبيع بروتون. أعني أننا سندفع أجهزة iPhone أو الهواتف.

روبرت إبستين: حسنًا، ما نفعله، نفعله لأنفسنا. ولكن عندما يسألني الناس: "حسنًا، أين يمكنني الحصول على واحدة؟" المكان الرئيسي الذي يجب أن تذهب إليه الآن هو موقع ويب يسمى de-googled.com. فقط تأكد إذا كنت ستشتري هاتفًا منهم، فلا تشتري هاتف Pixel لأن Pixel هو Google.

بيل والتون: نعم. الشيء المتعلق بـ Google هو أنني كبير في السياق. هناك 500 مليار دولار من عائدات الإعلانات أو المبيعات عبر الإنترنت كل عام. جوجل على الأقل نصف ذلك. أعني أنهم حصلوا على حصة تتراوح بين 50 و60% من سوق الإعلانات عبر الإنترنت.

روبرت إبستين: أعتقد أنها أكثر من 60%. نعم.

بيل والتون: حسنًا، أعلى. جوجل تشتري شركة كل أسبوع.

روبرت ابستين: هذا صحيح.

بيل والتون: إذا رأيت شركة ناشئة تفعل شيئًا مختلفًا، خاصة إذا اعتقدت جوجل أنها قد تتنافس مع نموذجها، فإن ما يفعلونه هو أنهم يذهبون ويعرضون على شخص ما 100 مليون دولار، أو 500 مليون دولار، أو مليار دولار. لا يهمهم الأمر حقًا لأنه أموال لعب.

روبرت إبستين: إنه تغيير الجيب.

بيل والتون: إنهم يشترون شركة في الأسبوع. هل تسارعوا؟ أعني أن هناك موقعًا رائعًا يحتوي على قائمة كاملة من الشركات التي تعتبر منافسة محتملة والتي تم الآن إما دمجها في Google أو تم شراؤها وقتلها.

روبرت ابستين: هذا صحيح. لديهم حوالي 200 مليار دولار نقدًا في البنك.

روبرت إبستين: نحن نتحدث عن وحش حقيقي. مرة أخرى، كلما تعلمنا أكثر، زاد قلقي. الآن، معي، لا أعرف كيف سأظهر لك ذلك. يمكنني بالتأكيد أن أفعل ذلك عندما نكون خارج الهواء. سيكون الأمر أسهل، لكن هذا جديد تمامًا. لقد أرسل لي هذا للتو أحد علماء البيانات لدينا، ولكن معي رسوم متحركة مدتها دقيقة واحدة. إنه رسم بياني ويظهر لك فقط-

تمام. في الواقع، لقد اقترح عليّ أن ألتقط هذه الرسوم المتحركة وأن أضع نفسي في الزاوية اليسرى السفلية منها، وأتحدث مع الناس من خلالها. إنها دقيقة واحدة فقط، لكن هذه هي الطريقة التي تسير بها الأمور.

إذن، ما ترونه هو رسم بياني بسيط جدًا ويظهر لك على صفحة Google الرئيسية في يوم الانتخابات عام 2022، الثامن من نوفمبر. إنها تظهر لك على صفحة Google الرئيسية، أولاً وقبل كل شيء، بنقاط حمراء وخطوط حمراء، وتُظهر لك نسبة المحافظين الذين يتلقون تذكيرات بالتصويت على صفحة Google الرئيسية، والتي كما قلت سابقًا، تتم مشاهدتها 8 مليون مرة يوميًا فقط في عام الولايات المتحدة. إذًا، نحن نبدأ في الساعة 500:10 صباحًا، وأنتم ترون نقطة حمراء تظهر هناك. إنه يوضح لك نسبة المحافظين الذين يتلقون تلك التذكيرات. إنها قريبة من 00٪ في بداية اليوم. بالنسبة للنقاط الزرقاء ثم يتم توصيلها بخطوط زرقاء، فإننا نرى نسبة الليبراليين الذين يتلقون تذكيرات بالتصويت على صفحة Google الرئيسية.

بيل والتون: بفضل قاعدة بياناتهم وجميع المعلومات المتوفرة لديهم، يمكنهم بشكل موثوق تحديد من هو المحافظ.

روبرت ابستين: بالضبط. إنهم يعرفون كل شيء.

أوه، ليس هناك حتى سبب لإجراء انتخابات لأنهم يعرفون من سيصوت، ومن لن يصوت، وكيف سيصوت. إنهم يعرفون كل هذه الأشياء مقدمًا.

بيل والتون: حسنًا، هذا مصدر قلق كبير بالنسبة لنا الآن ونحن نقترب من عام 2024. أعني أننا قلقون من أننا لن نرى أبدًا انتخابات حرة ونزيهة أخرى.

روبرت إبستين: حسنًا، دعني أخبركم المزيد عن هذا الرسم البياني.

لنرى ما الذي تواجهه هنا. لذلك، بعض الناس يحصلون على هذه "اذهب للتصويت"، وستزعم Google أن الجميع ربما يحصلون عليها، باستثناء أننا قمنا بإعداد أنظمة مراقبة. لقد قمنا بذلك منذ عام 2016، وأنظمتنا أصبحت أكثر تعقيدًا. من خلال أجهزة الكمبيوتر الخاصة بآلاف الناخبين المسجلين، نحن في الواقع ننظر فوق أكتاف الناس بإذنهم، ونحن في الواقع نسجل ما يرونه على شاشاتهم. لذلك، هذا محتوى سريع الزوال، وعادة ما يظهر فقط. هناك تذكير بالذهاب للتصويت. يختفي. لقد ذهب إلى الأبد. لا يتم تخزينها في أي مكان. لا يمكن العودة في الوقت المناسب. لكننا توصلنا إلى طرق لتخزين المحتوى سريع الزوال وحفظه وتحليله.

إذن، إنها الساعة 10:00 صباحًا. الآن الطريقة التي يعمل بها هذا هو أن هذه الرسوم المتحركة تستمر لمدة دقيقة واحدة. كل ثانية تمر 15 دقيقة أخرى. لذلك، نحن نسرع. ماذا سيحدث في الوقت الفعلي إذا تم تشغيل هذا في الوقت الفعلي وكان متاحًا على الإنترنت ليراها الجميع؟ إذن هنا تأتي النقطتان.

إذًا، إنها الساعة 10:00، إنها 10:15، وتحصل على نقطتين إضافيتين، إنها 10:30. تحصل على نقطتين أخريين، والنقاط تتحرك. ترون هذه المنحنيات، وهذه الخطوط تتراكم، وترون أنه خلال معظم اليوم، ما يقرب من 100% من المحافظين والليبراليين يتلقون تذكيرًا بالتصويت، وهذا أمر جيد. لذا، يستمر الخط في التحرك، والآن فجأة، الساعة 5:00، إنها 5:30. ولا تزال هاتان النقطتان مرتفعتين جدًا بالقرب من أعلى الرسم البياني. ثم حوالي الساعة 6:00 أو نحو ذلك، هذا هو توقيت المحيط الهادئ.

لذلك، لا تزال صناديق الاقتراع مفتوحة في الكثير من الأماكن. وذلك عندما يغادر الكثير من الناس العمل. وذلك عندما يتوجه الكثير من الناس إلى صناديق الاقتراع. وفجأة، تستمر النقاط الزرقاء في البقاء في الأعلى. لذا، فإن 100% من الليبراليين يحصلون على تذكيرات بشأن التصويت. تبدأ النقاط الحمراء بالهبوط للأسفل ثم للأسفل ثم للأسفل، ثم تصل إلى الصفر. في الساعتين الأخيرتين، بقيت عند الصفر.

الآن، تخيل لو كنت، على سبيل المثال، ترامب وأنت ترشح نفسك للرئاسة في عام 2024. تخيل لو أننا منحنا الجميع إمكانية الوصول إلى تلك المعلومات بينما نقوم بجمعها في الوقت الحقيقي. تخيل لو بدأت تلك النقاط في الانخفاض.

ألن يكون لديك محاميك الذي يقف حرفيًا هناك ومعه جميع الأوراق الجاهزة لتسليمها إلى القاضي؟ ألن تطلب من محاميك أن يتوجه إلى المحكمة ويقول: "حضرة القاضي، نحن بحاجة إلى أمر قضائي طارئ. نحن بحاجة إلى إغلاق جوجل. جوجل تفعل شيئا. جوجل تتلاعب الآن بملايين الأصوات؟

هذا مجرد مثال واحد. السبب الذي ذكرته هو أننا أنشأنا هذا الرسم البياني حرفيًا، وأنشأنا تلك الرسوم المتحركة.

جيني بيث مارتن: نفاق اليسار في القول إنهم يهتمون بالعدالة والمساواة. لا يفعلون ذلك. إنهم لا يعاملون معاملة عادلة ومتساوية على الإطلاق. إنهم يعطون معاملة مرجحة ليقرروا من يريدون الفوز.

روبرت إبستين: حسنًا، المشكلة هنا هي أن هذا لا يقتصر على اليسار فقط. هذه شركة خاصة، ولا يطلبون الإذن من أحد. إنهم لا يناقشون الأمر مع أي شخص. إنهم يفعلون كل ما يريدون القيام به. لذا، ما نقوم بجمعه الآن هو كميات هائلة من المعلومات التي يرسلونها إلى الجميع تقريبًا في الولايات المتحدة. نحن نقوم بجمعها. نحن نحافظ عليه. لقد بدأنا صغيرًا في عام 2016. واحتفظنا بـ 13,000 تجربة سريعة الزوال على Google وBing وYahoo. كنا نبحث في نتائج البحث. في ذلك الوقت، كان ذلك إنجازًا كبيرًا. كنا نراقب من خلال أجهزة كمبيوتر 95، نسميهم عملاء ميدانيين في 24 ولاية. إذن، 95 عميلاً ميدانيًا. لقد احتفظنا بـ 13,000 تجربة سريعة الزوال. نحن نحللها. لقد استغرق الأمر الكثير من الوقت بعد الانتخابات.

لقد وجدنا تحيزاً هائلاً في نتائج بحث جوجل لصالح هيلاري كلينتون، ولكن ليس على Bing أو Yahoo. لذلك، عليك دائمًا إجراء مقارنات. بما يكفي للتحول، لو كان هذا المستوى من التحيز موجودًا على الصعيد الوطني، لكان قد تحول ما بين 2.6 و10.4 مليون صوت لصالح هيلاري كلينتون على مدى عدة أشهر قبل الانتخابات. من الذي سيتم تحويل الأصوات؟ إنهم لا يغيرون الديمقراطيين والجمهوريين المتعصبين. إنهم يغيرون الناخبين المترددين. هؤلاء هم الأشخاص الذين يذهبون ليسألوا-

بيل والتون: ماذا يفعلون إلى جانب قطعة التصويت؟ تحدثنا عن جميع الطرق سريعة الزوال للتلاعب وما هي نتائج البحث وما هو الفيديو الذي يظهر بعد ذلك عندما تنظر؟ كيف يفعلون ذلك؟

روبرت إبستين: حسنًا، هناك تلاعب يحدث في محرك البحث نفسه. هناك الكثير من التلاعب، والذي نراقبه أيضًا الآن على YouTube، تلك الاقتراحات التالية. أولاً، 70% من مقاطع الفيديو التي يشاهدها الأشخاص على YouTube حول العالم مقترحة بواسطة الخوارزمية التالية.

بيل والتون: عندما نتحدث عن Google، فإننا نتحدث عن YouTube. كل ذلك شيء واحد.

روبرت إبستين: إنه جوجل. صحيح. في عام 2022، في تلك الأيام التي سبقت الانتخابات النصفية، كان 76% من تلك الاقتراحات القادمة قادمة من مصادر إخبارية ليبرالية. الآن، ستقول جوجل: "حسنًا، هذا هو ما يوجد هناك. نحن فقط نبلغ عما يحدث هناك." لكننا حسبنا ذلك وفي الواقع 38% فقط من مقاطع الفيديو الموجودة هناك، مقاطع الفيديو الإخبارية تأتي من مصادر إخبارية ليبرالية، لكن 76% من الاقتراحات التي يقدمونها تأتي من مصادر أخبار ليبرالية. هذا متحيز للغاية.

هذه لها تأثير هائل على الناس، وقمنا بقياس ذلك في التجارب. وهذا له تأثير هائل على الأشخاص الذين لم يقرروا بعد، لكن الأمر يزداد سوءًا لأننا الآن نحصل على بيانات من الأطفال والمراهقين. هذه الاقتراحات التالية على YouTube، 96% منها للأطفال والمراهقين تأتي من مصادر إخبارية ليبرالية. 96%.

جيني بيث مارتن: أعتقد أن هناك إحساسًا لدى الأشخاص المتصلين بالشبكة ويدركون أن ما ستحصل عليه قد يتم التلاعب به، ولكن بعد ذلك إذا كانوا يبحثون عن شيء ما وما زالوا ينقرون على أول شيء يظهر ، إنهم يدركون أن هذا تلاعب، لكنهم ما زالوا ينقرون على أول شيء بدلاً من البحث بشكل أعمق في النتائج أو يكافحون حقًا لكتابة العديد من الكلمات المختلفة بحيث تحصل على ما تبحث عنه حقًا، وليس ما يريده هو تسليم لك.

روبرت إبستين: هذا هو المكان الذي يوصلونك إليه لأنهم يعرفون أن الناس كسالى.

بيل والتون: إنه ينهي كلمتك نيابة عنك.

روبرت إبستين: اقتراحات البحث تلك، التي نعرفها من تجاربنا-

بيل والتون: إذا كتبت بطريقة ملتوية، فلن تحصل على هيلاري المحتالة.

روبرت إبستاين: ليس على Google، وGoogle هو كل ما يهم عندما يتعلق الأمر بالبحث لأن 92% من عمليات البحث حول العالم تتم في...

إذا كنت ترغب في الحصول على ملخص في مكان واحد لكيفية الابتعاد عن كل عناصر المراقبة، فانتقل إلى مقالتي الموجودة على myprivacytips.com, myprivacytips.com. يبدأ الأمر بجملة، لم أتلق إعلانًا مستهدفًا على هاتفي المحمول أو جهاز الكمبيوتر الخاص بي منذ عام 2014. هكذا بدأت. لذلك، من الممكن استخدام التكنولوجيا وحماية خصوصيتك أو على الأقل معظم خصوصيتك، ولكن معظم الناس لا يفكرون حتى في هذه الأشياء، وخاصة الأطفال، وخاصة الشباب. إنهم لا يفكرون في هذه الأشياء على الإطلاق. لم يعرفوا الخصوصية أبدًا.

لكن انظر، لقد بدأنا في مراقبة TikTok. نحن لا نراقب Google فحسب، بل نراقب YouTube وFacebook وTwitter وTikTok وInstagram. نحن نضيف المزيد والمزيد. لذا، فإن أنظمة المراقبة التي نبنيها أصبحت أكبر وأكبر، وأكثر تعقيدًا، وهذه هي الطريقة التي يمكنك من خلالها إيقاف هذه الشركات من هذه التلاعبات وحتى من الرقابة. مشكلة الرقابة هي أنك لا تعرف ما الذي لا يعرضونه.

روبرت إبستين: هذا نوع خطير جدًا من أدوات التلاعب. لكن أنظمة المراقبة، هي وسيلة للرد لأننا في الواقع نلتقط كل هذه الأشياء سريعة الزوال. نحن نقوم بأرشفتها، بحيث يمكن تحليلها الآن أو لاحقًا. ويمكن أيضًا تقديمه إلى المحاكم أيضًا. هذا دليل مقبول للمحكمة، ونحن نفعل ذلك بحذر شديد. نحن نراقب من خلال مجموعة متوازنة سياسيًا من الناخبين المسجلين في جميع أنحاء البلاد، ثم في الأشهر الأخيرة، قمنا أيضًا بتجنيد أطفالهم ومراهقيهم.

جيني بيث مارتن: لقد تحدثت عدة مرات عن تلقين الأطفال. أحد الأشياء التي في كل مرة تقريبًا أقوم فيها بإجراء مقابلة أو أتحدث مع أولياء الأمور ويطرأ أي شيء يتعلق بحماية الأطفال، أقول باستمرار، "أيها الآباء، تأكدوا من تسجيل الدخول إلى حسابات أطفالكم وانظروا إلى ما يفعلونه". "نرى على أجهزتهم."

لأنه إذا نظرت إلى حساباتهم فقط، فستحصل على تجربة مختلفة تمامًا عما يحصلون عليه بالفعل بسبب الطريقة التي ترسل بها الخلاصات والخوارزميات المعلومات إليك. ماذا ترى؟ أنا سعيد لأنهم منحوا لك الإذن بمراقبة الأطفال لأنني أعتقد أن هناك أشياء سيئة للغاية تحدث مع الأطفال وأنها تسبب عدوى اجتماعية من السلوكيات الضارة للغاية. ماذا ترى؟

روبرت ابستين: حسنًا، دعونا نرى. كيف أشرح هذا؟ أولاً، لدي خمسة أطفال. في الأساس، الآباء لا يعرفون حقًا ما يراه أطفالهم، لأن معظم ما يرونه سريع الزوال، لذلك لا يوجد سجل له. لذا، أحد الأشياء التي سنفعلها والتي تعادل ملفات تعريف الارتباط الخاصة بفتيات الكشافة، سنقوم في الواقع ببيع تطبيق يمكن للآباء تثبيته على أجهزة أطفالهم.

سيؤدي ذلك إلى تتبع كل هذا المحتوى سريع الزوال، وتسجيله، ومن ثم يمكن للوالدين النظر إلى الوراء ورؤية ما كان يراه الأطفال بالفعل. حتى الآن، الآباء لا يعرفون حقًا، لكن يمكنني أن أخبركم دون أدنى شك أن أطفالنا يتعرضون للتلقين العقائدي 24 ساعة يوميًا، وهو أمر مكثف للغاية لدرجة أنني أعتقد أنه يمكن تسميته بشكل مشروع بغسل الدماغ. الكثير من الأشياء الغامضة التي يبدو أنها تحدث مع تفكير أطفالنا، كل هذه الألغاز، هذا الاستخدام المفاجئ لجميع أنواع المصطلحات المتعلقة بالجنس أو مصطلحات التوجه الجنسي أو المواقف تجاه هذا أو ذاك، وهذه التغييرات الهائلة في التفكير بين الشباب يبدو أن هذا يحدث بين عشية وضحاها تقريبًا، وقد تمت هندسته.

لقد تم تصميمها، وسنكون قادرين على إظهار أنه عندما يصبح نظامنا كبيرًا بدرجة كافية، سنكون قادرين على توثيق ذلك. والأهم من ذلك، أننا سنكون قادرين على كشف ذلك، ويمكنني أن أعطيكم مثالاً واضحًا إذا وعندما تكونوا مستعدين لذلك، حيث نظهر أنه من خلال كشف ما يفعلونه، يمكننا أن نجعلهم يتوقفون.

لذلك، من خلال فضح التلقين الذي يحدث، سوف نجعلهم يتوقفون. نحن نعرف كيف نبعدهم عن انتخاباتنا وعن أطفالنا. إنها مجرد مسألة توسيع نطاق أنظمة المراقبة التي قمنا ببنائها، ونحن نفعل ذلك الآن.

(لمعرفة المزيد عن عمل روبرت إبستين، انتقل إلى: mygoogleresearch.com )

روبرت ابستين: من السهل جدًا أن تتذكره. mygoogleresearch.com ويمكن للأشخاص الذهاب إلى هناك لمشاهدة مقاطع الفيديو، والنظر في المستندات، وهناك أيضًا معلومات للأشخاص الذين قد يرغبون في دعمنا ودعم البحث.

روبرت ابستين: mygoogleresearch.com

أعيد نشرها من المؤلف Substack



نشرت تحت أ ترخيص Creative Commons Attribution 4.0
لإعادة الطباعة ، يرجى إعادة تعيين الرابط الأساسي إلى الأصل معهد براونستون المقال والمؤلف.

المعلن / كاتب التعليق

  • روبرت مالون

    روبرت دبليو مالون طبيب وعالم كيمياء حيوية. يركز عمله على تقنية الرنا المرسال ، والمستحضرات الصيدلانية ، وأبحاث إعادة توظيف الأدوية. يمكنك أن تجده في Substack و جيتر

    عرض جميع المشاركات

تبرع اليوم

إن دعمك المالي لمعهد براونستون يذهب إلى دعم الكتاب والمحامين والعلماء والاقتصاديين وغيرهم من الأشخاص الشجعان الذين تم تطهيرهم وتهجيرهم مهنيًا خلال الاضطرابات في عصرنا. يمكنك المساعدة في كشف الحقيقة من خلال عملهم المستمر.

اشترك في براونستون لمزيد من الأخبار

ابق على اطلاع مع معهد براونستون