تطور استخدام الذكاء الاصطناعي بسرعة من مجرد كتابة سؤال والحصول على إجابة إلى تنفيذ مهام حقيقية باستخدام الأدوات والبيانات والأنظمة الرقمية.
ومن أهم الاتجاهات التي تظهر بقوة في هذه المرحلة تقنية Computer Use، أو استخدام الكمبيوتر بالذكاء الاصطناعي.
وتوضح وثائق OpenAI الرسمية حول Computer Use أن هذه التقنية تسمح للنموذج بتشغيل واجهات المتصفح أو سطح المكتب، واستخدام لقطات الشاشة ونتائج الأدوات لتحديد الإجراء التالي. وهذا يجعلها مختلفة عن الشات بوت التقليدي الذي يكتفي بإعطاء التعليمات.
ما هو Computer Use في الذكاء الاصطناعي؟
Computer Use هو قدرة نظام الذكاء الاصطناعي على التفاعل مع واجهة الكمبيوتر لتنفيذ خطوات رقمية، مثل فتح موقع، قراءة ما يظهر على الشاشة، إدخال بيانات، الضغط على عناصر الواجهة، التمرير، والتنقل بين الصفحات، وفق الأدوات والبيئة التي تم توفيرها له.
بدل أن تقول للذكاء الاصطناعي: "افتح الموقع ثم اضغط على هذا الزر ثم املأ النموذج"، يمكن للنظام الداعم لـComputer Use أن يقوم بهذه الإجراءات بنفسه داخل بيئة مخصصة له.
وتختلف طريقة التنفيذ من نظام إلى آخر. فقد تعتمد بعض الأنظمة على أدوات تتحكم في الماوس ولوحة المفاتيح، بينما يمكن لأنظمة أخرى استخدام أتمتة برمجية مثل Playwright أو PyAutoGUI أو أدوات خاصة بالمنصة.
وتذكر وثائق OpenAI الحالية هذه الخيارات ضمن طرق تنفيذ Computer Use.
ما الفرق بين Computer Use وAutomation التقليدية؟
الأتمتة التقليدية تعتمد غالبًا على خطوات محددة مسبقًا: إذا حدث شيء معين، نفذ الإجراء المحدد. أما Computer Use فيمكن أن يعتمد على نموذج يفهم الحالة الحالية للشاشة ويقرر الخطوة التالية بناءً على الهدف والتعليمات.
على سبيل المثال، إذا تغير مكان زر داخل موقع، فقد تتعامل أتمتة تقليدية مصممة على إحداثيات ثابتة مع المشكلة بصعوبة، بينما يستطيع نظام يعتمد على فهم الواجهة المرئية محاولة تحديد العنصر الجديد وفق ما يراه على الشاشة.
كيف يعمل Computer Use؟
يمكن تبسيط دورة عمل Computer Use إلى ثلاث مراحل رئيسية: الرؤية، التفكير، والتنفيذ.
رؤية الشاشة
يحتاج النموذج إلى معرفة الحالة الحالية للكمبيوتر. ويمكن أن يحصل على Screenshot أو نتائج من البيئة التي يعمل فيها، ثم يستخدم هذه المعلومات لفهم ما يظهر أمامه.
وهنا يظهر الارتباط المباشر بالمقال السابق عن الذكاء الاصطناعي متعدد الوسائط Multimodal AI، لأن القدرة على فهم الصور وواجهات المستخدم تمثل جزءًا مهمًا من التفاعل مع الشاشة.
تحديد الخطوة التالية
بعد فهم الشاشة، يحتاج النظام إلى تحديد الإجراء المناسب لتحقيق الهدف. قد تكون الخطوة التالية الضغط على زر، الكتابة داخل حقل، فتح صفحة أو الانتقال إلى جزء آخر من التطبيق.
وتصف OpenAI Computer-Using Agent بأنه يعمل في حلقة تجمع بين إدراك الحالة والتفكير ثم تنفيذ الإجراء، مع إعادة تقييم البيئة بعد تنفيذ الخطوة.
تنفيذ الإجراء
بعد اختيار الإجراء، يتم إرساله إلى البيئة التي تستضيف النظام. وقد يكون الإجراء نقرة أو كتابة أو تمريرًا أو ضغطًا على مفتاح أو مجموعة من الإجراءات التي تدعمها الأداة المستخدمة.
ثم يحصل النموذج على الحالة الجديدة ويقرر ما إذا كان الهدف تحقق أم أن هناك خطوة أخرى مطلوبة.
ما الذي يستطيع AI فعله باستخدام Computer Use؟
تختلف القدرات حسب النموذج والبيئة والصلاحيات، لكن المبدأ يسمح بمجموعة واسعة من المهام الرقمية.
التعامل مع مواقع الإنترنت
يمكن استخدام Computer Use للتنقل داخل مواقع الويب، البحث عن معلومات، إدخال بيانات في نماذج، الانتقال بين الصفحات وتنفيذ خطوات متتابعة.
وهذا يختلف عن مجرد إعطائك رابطًا أو شرحًا؛ فالنظام يحاول تنفيذ المهمة داخل الواجهة نفسها عندما تكون البيئة مصممة لذلك.
ملء النماذج
من الاستخدامات الواضحة ملء نماذج تحتوي على مجموعة من الحقول، بشرط أن تكون البيانات والصلاحيات وطريقة التنفيذ محددة بشكل مناسب.
اختبار واجهات المواقع والتطبيقات
يمكن استخدام Computer Use في اختبار User Flows، مثل فتح موقع، تسجيل الدخول في بيئة اختبار، الانتقال إلى صفحة معينة، الضغط على عناصر مختلفة والتأكد من أن المسار يعمل كما هو متوقع.
وتذكر وثائق OpenAI هذا النوع من الاستخدام ضمن أمثلة Computer Use، مثل اختبار تدفقات المستخدم والتعامل مع التطبيقات من خلال واجهتها.
تنفيذ مهام مكتبية متكررة
يمكن تخيل استخدام هذه التقنية في مهام مثل نقل معلومات بين أنظمة، تنظيم ملفات، إدخال بيانات أو تنفيذ خطوات متكررة داخل برامج لا توفر تكاملًا برمجيًا مباشرًا.
لكن الأفضل أن تكون مثل هذه المهام داخل بيئة آمنة ومحددة الصلاحيات، خصوصًا إذا كانت تتعامل مع بيانات حساسة.
Computer Use وAI Agents: ما العلاقة بينهما؟
Computer Use يصبح أكثر قوة عندما يتم دمجه مع AI Agents.
فالـAI Agent يمكن أن يمتلك هدفًا، ويستخدم أدوات، ويحتفظ بالسياق، ثم ينفذ سلسلة من الخطوات للوصول إلى النتيجة. أما Computer Use فيمكن أن يكون إحدى الأدوات التي يستخدمها الوكيل عندما يحتاج إلى التفاعل مع واجهة كمبيوتر.
على سبيل المثال، يمكن أن يحصل Agent على المهمة التالية: "راجع البيانات الموجودة في ملف، ثم افتح نظام الشركة، وابحث عن العميل، وأدخل المعلومات الجديدة، ثم أبلغني بالنتيجة".
في هذا السيناريو يمكن استخدام تقنيات مختلفة معًا: قراءة الملفات، تحليل البيانات، استخدام Computer Use للتعامل مع الواجهة، ثم استخدام أداة أخرى لإرسال النتيجة.
وتوضح وثائق OpenAI الحديثة أن بناء الوكلاء يعتمد على الجمع بين النموذج والتعليمات والأدوات والبيئة المناسبة، وهو ما يجعل Computer Use أحد المكونات الممكنة في أنظمة Agentic أكثر تطورًا.
Computer Use ليس هو الـAgent نفسه
من المهم عدم الخلط بين المصطلحين. Computer Use هو قدرة أو أداة للتعامل مع الكمبيوتر، بينما AI Agent هو نظام أوسع يمكنه التخطيط واتخاذ خطوات واستخدام مجموعة من الأدوات لتحقيق هدف معين.
لذلك يمكن أن يكون Computer Use جزءًا من Agent، لكنه ليس مرادفًا له.
أمثلة عملية على Computer Use
لفهم التقنية بشكل أفضل، يمكن تصور بعض السيناريوهات العملية.
مثال 1: البحث وتجميع المعلومات
يمكن إعطاء Agent مهمة البحث داخل عدة صفحات، قراءة المعلومات، تنظيم النتائج ثم إعداد تقرير. وإذا كانت الأدوات المتاحة له تسمح بذلك، يمكن أن يستخدم Computer Use للتنقل بين المواقع.
مثال 2: إدخال بيانات في نظام داخلي
يمكن للنظام قراءة البيانات من مستند ثم فتح نظام داخلي وإدخال الحقول المطلوبة. هذا النوع من الاستخدام يمكن أن يقلل الأعمال اليدوية، لكنه يحتاج إلى صلاحيات محدودة ومراجعة مناسبة.
مثال 3: اختبار موقع إلكتروني
يمكن إعطاء AI مهمة مثل: "افتح صفحة تسجيل الدخول، اختبر عملية الانتقال إلى الصفحة التالية، وسجل أي مشكلة تواجهك". ويستطيع النظام استخدام الشاشة لمتابعة خطوات الاختبار.
مثال 4: تنفيذ Workflow متعدد الخطوات
يمكن الجمع بين RAG وAI Agents وComputer Use. فمثلًا يبدأ النظام بالبحث في قاعدة المعرفة باستخدام RAG، ثم يستخدم النتيجة لاتخاذ قرار، وبعد ذلك يتعامل مع تطبيق خارجي من خلال Computer Use.
كيف تكتب Prompt مناسبًا لـComputer Use؟
كلما كانت المهمة أكثر وضوحًا، أصبح من الأسهل مراقبة سلوك النظام وتقييم النتيجة. بدل إعطاء أمر عام مثل "اعمل المهمة"، حدد الهدف والخطوات والقيود ونقاط التوقف.
Prompt عملي
نفذ المهمة التالية داخل بيئة الاختبار:
1. افتح الموقع المحدد.
2. انتقل إلى صفحة البحث.
3. ابحث عن المنتج المطلوب.
4. تحقق من اسم المنتج والسعر الظاهر.
5. لا تنفذ أي عملية شراء.
6. لا تدخل أي بيانات دفع.
7. إذا ظهرت رسالة غير متوقعة فتوقف واذكرها.
8. قبل أي إجراء نهائي أو حساس، اطلب تأكيدًا مني.
9. في النهاية قدم ملخصًا بالخطوات التي تم تنفيذها والنتيجة.هذا الأسلوب مهم لأنه يحدد بوضوح ما يسمح للنظام بفعله وما لا يسمح له بفعله.
ما علاقة Computer Use بـFunction Calling وMCP؟
يمكن أن تعمل هذه التقنيات معًا، لكن لكل واحدة منها دور مختلف.
Function Calling يسمح للنموذج بطلب تنفيذ وظيفة محددة من التطبيق، بينما Computer Use يتيح التفاعل مع واجهة الكمبيوتر عندما يكون هذا هو المسار المناسب.
أما MCP فيرتبط بفكرة توصيل النماذج بالموارد والأدوات والخدمات بطريقة منظمة. لذلك يمكن لنظام Agent متقدم أن يمتلك مجموعة من الأدوات، ويختار بينها وفق طبيعة المهمة.
في بعض الحالات يكون API أو Function Calling أكثر ملاءمة من التحكم في الواجهة. وإذا كانت هناك واجهة فقط ولا يوجد تكامل برمجي مناسب، فقد يكون Computer Use خيارًا مفيدًا.
متى يكون Computer Use مناسبًا ومتى لا يكون؟
ليس الهدف من Computer Use استبدال كل أنواع الأتمتة. اختيار التقنية المناسبة يعتمد على طبيعة المهمة.
متى يكون مناسبًا؟
- عندما تعتمد المهمة على واجهة رسومية.
- عندما لا يتوفر API مناسب.
- عندما تتغير الواجهة أو تختلف خطوات التنفيذ.
- عندما تحتاج المهمة إلى فهم مرئي للشاشة.
- عندما تكون المهمة متعددة الخطوات وتحتاج إلى قدر من الاستدلال.
متى قد يكون التكامل البرمجي أفضل؟
إذا كان النظام يوفر API موثوقًا لتنفيذ العملية المطلوبة، فقد يكون استخدام API أو Function Calling أكثر مباشرة وقابلية للتوقع من التحكم في واجهة المستخدم.
ولهذا ينبغي النظر إلى Computer Use كأداة إضافية داخل منظومة الأتمتة، وليس باعتباره الحل الوحيد لكل مشكلة.
ما مخاطر استخدام الذكاء الاصطناعي للتحكم في الكمبيوتر؟
كلما انتقل AI من إنتاج النصوص إلى تنفيذ الإجراءات، تصبح المخاطر أكثر أهمية. فالنظام الذي يستطيع قراءة الشاشة والنقر والكتابة قد يمتلك قدرة فعلية على تغيير البيانات أو تنفيذ عمليات داخل التطبيقات.
الصلاحيات الزائدة
من الخطأ إعطاء Agent صلاحيات أكبر من احتياجات المهمة. يجب تطبيق مبدأ أقل صلاحية ممكنة، بحيث يحصل النظام على الوصول الضروري فقط.
البيانات الحساسة
قد تظهر كلمات المرور أو بيانات العملاء أو المعلومات المالية على الشاشة. لذلك يجب تصميم البيئة بحيث لا يتم كشف بيانات حساسة للنظام إلا عندما يكون ذلك ضروريًا ومسموحًا.
الأوامر غير الموثوقة
يمكن أن تحتوي صفحات الويب أو الملفات التي يقرأها Agent على محتوى يحاول التأثير على تعليماته. ومع انتقال الوكلاء إلى تنفيذ المهام بشكل مستقل، تصبح حماية السياق والأدوات والصلاحيات جزءًا أساسيًا من التصميم.
وتشير تقارير Google Cloud الحديثة إلى أن الوكلاء الذين يمتلكون القدرة على الوصول إلى البيانات واستخدام الأدوات يخلقون نموذج مخاطر مختلفًا، ولذلك تحتاج الأنظمة الوكيلة إلى ضوابط للهوية والوصول والمراقبة.
ضرورة وجود Human-in-the-loop
في الإجراءات الحساسة، من الأفضل أن يتوقف النظام ويطلب موافقة الإنسان قبل تنفيذ الإجراء النهائي.
وتشير تجربة OpenAI مع Computer-Using Agent إلى طلب تأكيد المستخدم في بعض الإجراءات الحساسة، مثل إدخال بيانات تسجيل الدخول أو التعامل مع CAPTCHA.
مستقبل Computer Use في 2026
يمثل Computer Use خطوة مهمة في انتقال الذكاء الاصطناعي من "المساعد الذي يخبرك ماذا تفعل" إلى "النظام الذي يستطيع تنفيذ جزء من المهمة بنفسه".
وتوضح OpenAI في موادها الحديثة حول الوكلاء أن الاتجاه يتجه نحو مهام أطول وأكثر استقلالية، حيث يستطيع Agent استخدام الأدوات والتفاعل مع البيئات وتنفيذ مجموعة من الخطوات للوصول إلى النتيجة.
كما أصبحت بيئات العمل الوكيلة أكثر ارتباطًا بالملفات والأدوات والبرامج، مع ظهور نماذج تشغيل توفر للوكيل بيئة تنفيذ وصلاحيات وأدوات محددة بدل الاكتفاء بمحادثة نصية.
من AI الذي يجيب إلى AI الذي ينفذ
يمكن تلخيص التطور في أربع مراحل بسيطة:
- AI يجيب عن الأسئلة.
- AI يفهم النصوص والصور والصوت والفيديو.
- AI يستخدم الأدوات والبيانات الخارجية.
- AI ينفذ مهامًا متعددة الخطوات داخل بيئات رقمية.
ويأتي Computer Use في المرحلة الأخيرة كواحدة من التقنيات التي تجعل التعامل مع واجهات الكمبيوتر جزءًا من قدرات الوكلاء الذكيين.
الخلاصة
الذكاء الاصطناعي واستخدام الكمبيوتر Computer Use يمثل مرحلة جديدة في تطور أنظمة AI، لأنه يسمح للنموذج بالتعامل مع واجهات الكمبيوتر بدل الاكتفاء بتقديم النصائح والتعليمات.
يمكن استخدامه في تصفح المواقع، ملء النماذج، اختبار التطبيقات، إدخال البيانات وتنفيذ Workflows متعددة الخطوات، خصوصًا عندما لا يكون هناك API مناسب للتكامل.
لكن Computer Use لا يعني أن AI يجب أن يمتلك وصولًا كاملًا إلى جهازك. الاستخدام الاحترافي يتطلب بيئة آمنة، وصلاحيات محدودة، ومراقبة واضحة، وتأكيدًا بشريًا عند الإجراءات الحساسة.
ومع دمج Computer Use مع Agentic AI وRAG وMCP وFunction Calling وهندسة السياق، يصبح من الممكن بناء أنظمة قادرة على فهم المعلومات ثم اختيار الأدوات وتنفيذ خطوات متتابعة للوصول إلى نتيجة عملية.
الأسئلة الشائعة حول Computer Use
ما هو Computer Use في الذكاء الاصطناعي؟
هو قدرة نظام AI على التفاعل مع واجهات الكمبيوتر مثل الشاشة والماوس ولوحة المفاتيح لتنفيذ مهام رقمية، وفق الأدوات والصلاحيات والبيئة التي تم توفيرها له.
هل Computer Use هو نفسه AI Agent؟
لا. Computer Use هو قدرة أو أداة تسمح بالتفاعل مع الكمبيوتر، بينما AI Agent هو نظام أوسع يمكنه التخطيط واستخدام عدة أدوات وتنفيذ سلسلة من الخطوات لتحقيق هدف.
هل يستطيع AI التحكم في الكمبيوتر بالكامل؟
يمكن لبعض الأنظمة تنفيذ عدد كبير من إجراءات الواجهة، لكن مستوى التحكم يعتمد على النموذج والبيئة والأدوات والصلاحيات. ولا يُنصح بمنح النظام صلاحيات غير ضرورية.
هل Computer Use آمن؟
الأمان يعتمد بدرجة كبيرة على طريقة تصميم البيئة والصلاحيات والمراقبة. يجب عزل المهام الحساسة، وتقليل الصلاحيات، ومراجعة الإجراءات المهمة قبل تنفيذها.
هل Computer Use أفضل من Automation التقليدية؟
ليس في كل الحالات. الأتمتة البرمجية التقليدية قد تكون مناسبة أكثر للمهام الثابتة والمتوقعة، بينما يمكن أن يكون Computer Use مفيدًا عندما تحتاج المهمة إلى فهم واجهة مرئية أو التعامل مع خطوات متغيرة.
ما علاقة Computer Use بـMultimodal AI؟
يعتمد Computer Use في كثير من تطبيقاته على قدرة النظام على فهم ما يظهر على الشاشة، ولذلك ترتبط التقنية ارتباطًا وثيقًا بالذكاء الاصطناعي متعدد الوسائط والرؤية الحاسوبية.
التعليقات