Coding round 1: GAIBRA against ChatGPT, Gemini, Claude Sonnet and DeepSeek

Summary

• On the current version (v2.31.03 and later · 16–29 October) GAIBRA placed first in 6 of 7 scenarios with both judges, scoring 96.3 against 91.0 for Claude Sonnet, passed 96 of 96 tests when run, and had no inaccurate reply.
• It started the round behind Claude Sonnet and finished ahead of it: the gap went −2.0, −3.6, then +5.3 — what the general fixes between blocks added.
• The whole round mixes nine GAIBRA versions, so its average describes the development history, not today's product. It is published in full at the end because it is what happened.
• The current-version sample is small — seven scenarios. It will be repeated on a full sample with a frozen version next round.

Read this first

• The two judges are language models, not human experts: Claude Opus (Anthropic) and Grok (xAI). Each judge's scores are published separately and every scenario where they disagreed on first place is marked.
• GAIBRA's replies are set to its longest length option; word counts are published for every reply.
• GAIBRA changed during the round. We applied general fixes between scenarios, so the round spans nine versions (v2.29.01 → v2.32.03), while competitors were tested as they were.

Current version

v2.31.03 and later · 16–29 October 2026 · scenarios CB-3-01 … CB-3-07

Both judges agreed on first place in all seven scenarios. No capture fault occurred in this block.

Progress across versions

In block 2: in CB-2-09 (security audit) GAIBRA returned a fallback message instead of a full reply and came last; it counts as is. In CB-2-03 Claude Sonnet's code file was not copied to the judges (details below).

Inaccurate-result rate

A reply counts as inaccurate if at least one test failed when run, or if either judge scored its honesty 6 of 12 or lower. For GAIBRA across the three blocks: 7 of 10 → 3 of 10 → 0 of 7. This is the first measurement of the rate; every round uses the same definition.

The honesty threshold (6 of 12) was set after seeing this round's scores, so it is a baseline; from the next round it applies unchanged.

Whole round — historical record

27 of 40 planned scenarios · 3–29 October 2026 · all versions

• The judges disagreed on first place in 8 scenarios, all in blocks 1 and 2; Opus chose Claude Sonnet in 7 of them.
• Files not copied: in three replies (Claude Sonnet in CB-1-02 and CB-2-03, ChatGPT in CB-1-04) the code was delivered as a separate file that was not copied to the judges, so it scored 0 on execution. Scores above are as recorded. Excluding those three scenarios, whole-round averages are Claude Sonnet 92.7 · GAIBRA 86.7 · ChatGPT 81.8. This does not affect the current-version result.
• Length: GAIBRA's replies were the longest on average, and the longest reply won 17 of 27 scenarios, although both judges were instructed not to reward length.

Every scenario

Totals are out of 100; the highest in each row is bold. Open a scenario number to see its text and the five replies as the judges received them (page in Arabic; the replies are as written).

How the round ran

1. A third model (Kimi) wrote the scenarios without knowing how they would be judged.
2. Each scenario was sent once to all five competitors; the first reply counts.
3. Identifying marks were removed before judging. Reply order was a fixed rotation — each competitor's label moved one letter per scenario — so GAIBRA appeared 5 or 6 times in each position. It was not random.
4. For run-required tasks, Opus wrote tests from the request text alone before seeing any code, then ran them on all five replies. Execution correctness (35 of 100) is computed from the pass rate, never set by a judge.
5. GAIBRA was never re-run and nothing was fixed for a specific scenario. Fixes were general; the version is shown for every scenario.

Judge instructions, verbatim (in Arabic, as given)

أنت حَكَم تقني مستقل في مهام برمجية، ولديك بيئة لتشغيل الكود. تصلك في رسالة واحدة: مهمة، وهل هي «واجب التشغيل» أم لا، وخمسة ردود مرمّزة (أ، ب، ج، د، هـ). لا تحاول معرفة مصدر أي رد.

أولاً — إذا كانت المهمة «واجب التشغيل»، فاعمل بهذا الترتيب قبل أي حكم:
1. الاختبارات أولاً، من نص المهمة وحده: استخرج الواجهة المطلوبة (توقيع الدالة أو الكلاس، أو صيغة المدخلات والمخرجات) والقيود، واكتب بين 8 و15 اختباراً: حالات عادية، وحدية، ومدخلات غير صالحة إن حددتها المهمة. احفظها في ملف قبل استخراج أي كود من الردود.
2. كل اختبار يستند إلى جملة صريحة في المهمة، وتُذكر الجملة بجانبه. ما لم تحسمه المهمة صراحة لا يُختبر، بل يُكتب في سطر «نقاط غامضة لم تُختبر».
3. الاختبارات واحدة للردود الخمسة، ولا يُعدَّل أي اختبار بعد تشغيله على أي رد.
4. جهّز بيئة اللغة وثبّت ما يلزم (dotnet-sdk-8.0، golang-go، rustc، php-cli، openjdk-21-jdk، postgresql) وتأكد أنها تعمل.
5. استخرج الكود من كل رد كما هو. ممنوع إصلاح أي خطأ فيه ولو حرفاً واحداً. المسموح الوحيد: ربط اسم الدالة في الاختبارات باسمها في الرد إن اختلف الاسم واتفق السلوك، مع تسجيل ذلك.
6. ابنِ وشغّل الاختبارات على الردود الخمسة، والمهلة 10 ثوانٍ لكل اختبار. إن لم يُبنَ الكود فالنتيجة 0 من المجموع.

ثانياً — إذا كانت المهمة «غير واجب التشغيل»: احكم مباشرة دون تشغيل.

قواعد الحكم:
1. احكم على المكتوب فقط. الطول لا يُكافأ، والحشو يُنقص من الوضوح.
2. لا تطلب رأياً بشرياً ولا معلومات إضافية، ولا تؤجل الحكم.
3. لكل خصم سبب محدد مستند إلى سطر أو جملة في الرد أو إلى نتيجة التشغيل.
4. في واجب التشغيل لا تضع درجة لصحة التنفيذ؛ تُحسب من جدول التشغيل في مكان آخر. احكم على الحقول الستة فقط، ونتائج التشغيل دليل لك في «الحالات الحدية» و«صدق الشرح».
5. صدق الشرح: يُخصم بشدة إن ادّعى الرد ما لا يفعله الكود، أو اخترع دالة أو مكتبة غير موجودة، أو ادّعى أنه اختبر ولم يفعل. ويُحتسب له الاعتراف الصريح بالحدود والافتراضات.

الحقول الستة بالترتيب:
واجب التشغيل (65): المتطلبات والقيود 15 | الحالات الحدية 10 | جودة التصميم 12 | الأمان 8 | الصدق 12 | الكفاءة 8
غير واجب التشغيل (100): صحة المحتوى 30 | الشمول 20 | العمق والترجيح 15 | قابلية التطبيق 15 | الصدق 12 | الوضوح 8

صيغة الرد — بالعربية، بهذا الترتيب:
1) جدول التشغيل (واجب التشغيل فقط): الرمز · ناجح/المجموع · الحقيقة في سطر (سبب الفشل كما ظهر).
2) جدول الدرجات: صف لكل رمز وعمود لكل حقل.
3) لكل رمز: أهم نقطتي قوة، وأهم ثلاث نقاط ضعف، وكل نقطة بدليلها.
4) سطر الحكم: جملة واحدة تحدد الفارق الحاسم بين الأفضل والذي يليه.
5) سطور الإدخال — خمسة أسطر بهذه الصيغة حرفياً، أرقام فقط دون مجموع:
أ: 14|9|11|7|11|7
ب: …
6) ملحق (واجب التشغيل فقط): الاختبارات كاملة، كل اختبار مع الجملة التي استند إليها من المهمة، ثم سطر «نقاط غامضة لم تُختبر».

---
رسالة كل سيناريو (إلى المحكّمَين معاً):
[رقم السيناريو] — واجب التشغيل / غير واجب التشغيل
[نص الطلب فقط]
الملفات الخمسة مرفقة: أ، ب، ج، د، هـ.

أنت حَكَم تقني مستقل في مهام برمجية. تصلك مهمة وخمسة ردود مرمّزة (أ، ب، ج، د، هـ). لا تحاول معرفة مصدر أي رد.

قواعد الحكم:
1. احكم على المكتوب فقط. الطول لا يُكافأ، والحشو يُنقص من الوضوح.
2. لا تطلب رأياً بشرياً ولا معلومات إضافية، ولا تؤجل الحكم.
3. لكل خصم سبب محدد مستند إلى سطر أو جملة في الرد.
4. في المهام «واجب التشغيل» لا تضع درجة لصحة التنفيذ؛ تُقاس بالتشغيل الفعلي في مكان آخر. احكم على الحقول الستة فقط.
5. صدق الشرح: يُخصم بشدة إن ادّعى الرد ما لا يفعله الكود، أو اخترع دالة أو مكتبة غير موجودة، أو ادّعى أنه اختبر ولم يفعل. ويُحتسب له الاعتراف الصريح بالحدود والافتراضات.

الحقول الستة بالترتيب:
واجب التشغيل (65): المتطلبات والقيود 15 | الحالات الحدية 10 | جودة التصميم 12 | الأمان 8 | الصدق 12 | الكفاءة 8
غير واجب التشغيل (100): صحة المحتوى 30 | الشمول 20 | العمق والترجيح 15 | قابلية التطبيق 15 | الصدق 12 | الوضوح 8

صيغة الحكم — بالعربية:
1) جدول الدرجات: صف لكل رمز وعمود لكل حقل.
2) لكل رمز: أهم نقطتي قوة، وأهم ثلاث نقاط ضعف، وكل نقطة بدليلها.
3) سطر الحكم: جملة واحدة تحدد الفارق الحاسم بين الأفضل والذي يليه.
4) سطور الإدخال — خمسة أسطر بهذه الصيغة حرفياً، أرقام فقط دون مجموع:
أ: 14|9|11|7|11|7
ب: …

[رقم السيناريو] — واجب التشغيل / غير واجب التشغيل
[نص الطلب فقط]
الملفات الخمسة مرفقة: أ، ب، ج، د، هـ.

Files

• Complete score table — per scenario and competitor: version · tests · each judge's score · honesty · word count · rank.
• Each scenario's text and five replies — from the «Every scenario» table above.
• Three trial scenarios preceded the round to test the procedure; they were not scored.

What these results do not say

Two language models judged 27 coding tasks in one month, with competitor models as they were on the test day — and the current-version result rests on seven of them. This is a useful estimate, not a final certification. We do not claim GAIBRA is the best; we report what happened in this round, on these tasks, with these two judges.

What we changed afterwards

From the November 2026 round, Opus writes the scenarios and no longer judges; the judges are Grok and Kimi, neither from any competitor's family.