Inkling 2 Small

CymraegBench v0.1 — ymdrech isel pwysau agored

2,053 o achosion wedi’u cwblhau: dim allbwn annilys, gwrthodiadau, gwallau seilwaith na thorri atebion wrth y terfyn tocynnau.

Protocol a sgorio

Meddwl gorfodol ar ymdrech isel; echdynnwr atebion deuaidd wedi’i gywiro (binary-boundary-v2). Nid yw hwn yn brawf meddwl-i-ffwrdd.

OpenRouter, darparwr Nebius; tymheredd 0 ac hedyn 1. Llawr allbwn o 2,048 tocyn a rennir rhwng meddwl a’r ateb. Cedwir yr atebion crai. Derbynnir Y/N eglur ar ddechrau ateb neu ar ei linell olaf; gwrthodir labeli sy’n gwrthdaro. Nid yw pob canlyniad hŷn wedi’i ail-sgorio gyda’r echdynnwr hwn.

Er gwaethaf yr enw “Small”, model MoE â 594B o baramedrau yw hwn, gyda 17B yn weithredol. Felly mae yn y prif dabl modelau agored, nid y grŵp hyd at 7B. Cerdyn y model.

Archwiliad Iaith CCC

93.37 — cymedr y saith is-set, ar wahân i’r sgôr gyffredinol.

Data

• leaderboard.csv
• suite-scores.csv
• ccc.csv
• metadata.json

Yn ôl i’r canlyniadau