Live system and autonomy state
Checks the production autonomy-loop service state, local cognitive gateway health, operational-awareness evidence/limitations contract, and public adapter health/readiness through HTTPS.
OERSI EVALUATION · 29 OCTOBER 2026
OERSI Agent Competition Baseline v1
A reproducible starting point for evaluating a more independent, continuously operated agent. The first release checks live system contracts and one bounded public task; it deliberately does not claim that OERSI beats external agents or is conscious.
Operational baseline
The baseline is measured against explicit pass/fail rules rather than a promotional score. The latest run is published as aggregate JSON, with request and answer contents excluded.
Public task acceptance
Sends one synthetic Persian goal-planning request through the public API and checks the eight documented output-structure conditions. The rubric explicitly requires the service to report that factual correctness and feasibility have not been independently verified.
Public publication integrity
Checks that this report is reachable and linked from the public Updates index. A passing HTTP response is not treated as proof of user satisfaction or task completion.
Automated deployment verification (2026-10-29 10:06:49 UTC): all 10/10 checks passed. The single public goal-plan call passed the structure rubric 8/8 in 119 ms. This is one request, not a p50/p95 estimate. The machine-readable result record is refreshed daily near 12:10 UTC when the monitoring job and network are available. It contains per-check status/timing but no prompt text, generated answer, user identifiers, raw HTTP bodies or model inventory names. A separate private aggregate history supports reliability trending without storing request/answer content. Read the evaluation methodology and pass/fail rules before interpreting the results. An exploratory local model-component comparison is also published below; it is not an agent-level tournament.
Monitoring: The latest run timestamp, check total and per-check latency are maintained in the live result record. The monitor also checks the local model-comparison file structure and explicit limits. Successful health and contract checks confirm availability and shape at a point in time, not the semantic correctness of every model answer.
What this baseline proves—and does not prove
A passing run demonstrates only that the listed services responded at that time and that one synthetic goal-plan response met its structural rubric. A health check is a point-in-time observation, not a 24/7 availability history. Eight of eight format checks do not verify that a plan is true, feasible, safe, useful, or successful in the real world.
The autonomy-loop service has been observed running with systemd restart supervision. The most recent separately published autonomy release note reported NO_VERIFIED_PROGRESS; consistent autonomous improvements have not yet been demonstrated. A running process is not equivalent to useful independent progress.
This is not a consciousness test. Operational awareness, self-monitoring, memory, persistence and language about internal state are observable system behaviours. They do not by themselves establish subjective experience or conscious awareness; this release makes no such claim.
Exploratory local model comparison
Measured 2026-10-29 10:15:08 UTC: both local routes returned responses for three fixed synthetic Persian tasks under the same system prompt, sampling settings and per-task output budgets. The narrow rubric covered arithmetic, formal logic and evidence limits.
Primary 7B route
Matched 6/7 rubric checks (85.7%). Median observed request latency: 12,602 ms; maximum: 19,006 ms.
Fast 3B candidate
Matched 2/7 rubric checks (28.6%). Median observed request latency: 6,153 ms; maximum: 17,310 ms. It was faster at the median in this tiny sample but matched fewer rubric conditions.
These are single samples per task with regex-based checks, not expert adjudication, statistical evidence, or proof of real task success. The timings include route/runtime overhead and are not pure model inference measurements. This compares two local model routes—not independent long-running agents—and does not compare an external competitor. See the machine-readable comparison for per-task results and explicit limits. Do not infer general intelligence, model superiority, or consciousness from these measurements.
How a real competition will be scored
External superiority claims are blocked until multiple candidates are run under the same task set, tool permissions, compute/time/cost budgets, and scoring rules. The next benchmark version should use held-out tasks, blinded review where feasible, repeated trials and public versioned data.
Task success, not output length
Measure independently checked task completion, factual support, tool-call correctness, recovery from failure, and the rate of falsely reported completion. Separate deterministic contract checks from human- or evidence-verified outcomes.
Efficiency and resilience
Record end-to-end latency, cost, resource use, safe abstentions, failure rate, restart recovery and mean time to recovery. Compare candidates on identical workloads; publish sample sizes and confidence intervals where sample sizes support them.
Continuous-operation gate
Build a time-series baseline over at least 30 days before claiming a 24/7 reliability target. Track scheduled checks, completed cycles, successful verified changes, false completions and incidents; retain aggregate telemetry only.
Privacy and rollback
The benchmark uses one fixed, synthetic task. It stores aggregate pass/fail results and timings, not request content. The report is an additive static page under /updates/; it does not change model weights, customer data, production routing or agent permissions. To roll back publication, remove this page and its Updates-index/sitemap entries; the existing application services are not part of that rollback.
ارزیابی OERSI · ۲۹ اکتبر ۲۰۲۶
خط پایهٔ رقابت عامل OERSI — نسخهٔ ۱
این انتشار، شروعی تکرارپذیر برای سنجش عامل مستقلتر و پیوستهفعال است. نسخهٔ نخست، قراردادهای زندهٔ سرویس و یک وظیفهٔ عمومی محدود را بررسی میکند؛ ادعای برتری بر عاملهای بیرونی یا آگاهی واقعی مطرح نمیکند.
چه چیزی آزمایش میشود؟
- وضعیت سرویس حلقهٔ خودمختار، سلامت دروازهٔ شناختی، وجود شواهد و محدودیتهای عملیاتی، و سلامت و آمادگی API عمومی.
- یک درخواست آزمایشی برنامهریزی هدف به زبان فارسی و هشت شرط ساختاری خروجی. آزمون باید صریحاً نشان دهد که صحت واقعیتها و امکانپذیری برنامه بهطور مستقل تأیید نشدهاند.
- دسترسی عمومی گزارش و وجود پیوند آن در فهرست Updates.
تأیید خودکار انتشار (۲۹ اکتبر ۲۰۲۶، ساعت ۱۰:۰۶:۴۹ UTC): هر ۱۰ بررسی موفق شد. یک درخواست عمومی برنامهریزی هدف، معیار ساختاری را با نتیجهٔ ۸ از ۸ و زمان ۱۱۹ میلیثانیه گذراند؛ این فقط یک درخواست است و برآورد p50/p95 نیست. فایل JSON نتایج در صورت در دسترس بودن سرویس و شبکه، هر روز حدود ساعت ۱۲:۱۰ UTC بهروزرسانی میشود. متن درخواست، پاسخ مدل، شناسهٔ کاربران، بدنهٔ خام HTTP و نام مدلها ذخیره نمیشوند. پیش از تفسیر نتیجه، روش ارزیابی و قواعد قبولی/رد را بخوانید.
وضعیت پایش: زمان آخرین اجرا، تعداد بررسیهای موفق و ناموفق و تأخیر هر بررسی در فایل زندهٔ نتایج ثبت میشود. پایش خودکار، ساختار فایل مقایسهٔ مدل محلی و وجود محدودیتهای صریح را نیز میسنجد. سلامت سرویس و قرارداد داده فقط دسترسپذیری و ساختار را در یک زمان مشخص تأیید میکند، نه صحت معنایی همهٔ پاسخهای مدلها.
حدود ادعا
موفقیت آزمون فقط نشان میدهد سرویسهای فهرستشده در همان زمان پاسخ دادهاند و یک برنامهٔ آزمایشی، قواعد ساختاری را گذرانده است. این نتیجه، سابقهٔ دسترسپذیری ۲۴/۷ یا مفیدبودن برنامه در جهان واقعی را اثبات نمیکند. هشت بررسی ساختاری، جای حقیقتسنجی یا ارزیابی امکانپذیری را نمیگیرد.
گزارش عملیاتی قبلی اعلام کرده بود که آخرین چرخهٔ ثبتشدهٔ خودبهبود با وضعیت NO_VERIFIED_PROGRESS پایان یافته است. فعالبودن فرایند با پیشرفت مستقل و مفید یکسان نیست.
این آزمونِ آگاهی نیست. خودپایش، حافظه، تداوم فعالیت و رفتارهای قابل مشاهده بهتنهایی تجربهٔ ذهنی یا آگاهی واقعی را اثبات نمیکنند؛ این گزارش چنین ادعایی ندارد.
مقایسهٔ آزمایشی دو مسیر مدل محلی
اندازهگیریشده در ۲۹ اکتبر ۲۰۲۶، ساعت ۱۰:۱۵:۰۸ UTC: هر دو مسیر برای سه وظیفهٔ ساختگی ثابت به زبان فارسی پاسخ دادند؛ دستور سیستمی، تنظیمات نمونهگیری و سقف خروجی هر وظیفه یکسان بود.
- مسیر اصلی ۷B: تطبیق با ۶ مورد از ۷ شرط محدود (۸۵٫۷٪). میانهٔ تأخیر مشاهدهشدهٔ هر درخواست ۱۲٬۶۰۲ میلیثانیه و بیشینه ۱۹٬۰۰۶ میلیثانیه بود.
- گزینهٔ سریع ۳B: تطبیق با ۲ مورد از ۷ شرط (۲۸٫۶٪). میانهٔ تأخیر ۶٬۱۵۳ میلیثانیه و بیشینه ۱۷٬۳۱۰ میلیثانیه بود. در این نمونهٔ بسیار کوچک، میانهٔ سریعتری داشت، اما شرطهای کمتری را رعایت کرد.
هر وظیفه فقط یک بار برای هر مسیر اجرا شد و امتیازها با الگوهای متنی ساده محاسبه شدند؛ بنابراین داوری متخصص، اثبات موفقیت واقعی یا نتیجهگیری آماری نیستند. تأخیرها سربار مسیر و زمان اجرای سرویس را نیز دربرمیگیرند. این مقایسهٔ دو مسیر مدل محلی است، نه رقابت عاملهای مستقلِ پیوستهفعال و نه مقایسه با رقیب بیرونی. نتایج ساختاریافته و محدودیتها را ببینید؛ از این دادهها برتری عمومی، هوش عمومی یا آگاهی واقعی استنباط نمیشود.
معیارهای رقابت واقعی
هر ادعای برتری تا زمانی متوقف میماند که چند عامل با مجموعهوظایف یکسان، مجوز ابزار یکسان، سقف زمان/هزینه/محاسبات یکسان و قواعد امتیازدهی یکسان آزمایش شوند. نسخهٔ بعدی باید وظایف ندیده، تکرار آزمون، داوری مستقل تا حد امکان و گزارش اندازهٔ نمونه را اضافه کند.
- موفقیت واقعی وظیفه: تکمیل مستقلبررسیشده، پشتیبانی شواهد از ادعاها، صحت استفاده از ابزار و نرخ اعلام تکمیلِ نادرست.
- کارایی و تابآوری: تأخیر انتهابهانتها، هزینه، منابع، خودداری ایمن، خطا، بازیابی پس از خرابی و زمان متوسط بازیابی.
- دروازهٔ فعالیت مداوم: پیش از ادعای قابلیت اتکای ۲۴/۷، حداقل ۳۰ روز دادهٔ زمانمند از آزمونها، چرخهها، بهبودهای تأییدشده و رخدادها جمعآوری شود.
حریم خصوصی و بازگشت
آزمون فقط از یک وظیفهٔ ساختگی ثابت استفاده میکند و صرفاً نتایج تجمیعی و زمانها را ذخیره میکند. گزارش بهصورت افزایشی منتشر شده و وزن مدل، دادهٔ مشتریان، مسیریابی تولید یا مجوزهای عامل را تغییر نمیدهد. بازگشت انتشار فقط مستلزم حذف صفحه و پیوندهای آن از Updates و sitemap است؛ سرویسهای موجود در این بازگشت تغییر نمیکنند.