Profi, mesur a meithrin AI Cymraeg
Gwerthusiadau → Claude Opus 5.5

Claude Opus 5.5 masnachol wedi'i fesur

Yn ail yn sgorfwrdd estynedig CymraegBench â sgôr gyffredinol o 87.55.

Pedwar gwerthuswr yn astudio modelau haniaethol mewn arena brofi dryloyw

Y ffeithiau

DatblygwrAnthropic
Rhyddhawyd22 Medi 2026
ID yr APIclaude-opus-5-5
Pris$4 / $20 y filiwn tocyn (mewnbwn/allbwn)
Cyd-destun1 miliwn o docynnau; hyd at 128,000 o docynnau allbwn
TrwyddedPerchnogol (API)

Ffynonellau'r model: cyhoeddiad Anthropic a manyleb Claude Opus 5.5.

Canlyniad CymraegBench

Sgôr gyffredinolRhesymu CymraegCymraeg ymarferolCyfieithu BLEU
87.5589.5585.5672.52

Defnyddiwyd yr un sampl ag yn y profion ar y modelau blaenllaw eraill, wedi'i dewis drwy ddull sy'n rhoi'r un achosion bob tro: hyd at 100 o achosion o bob un o'r 19 o setiau craidd, ag hedyn hap 1. Gosodwyd effort=low a lleiafswm allbwn o 512 o docynnau; ail-redwyd pedwar ymateb a gyrhaeddodd y terfyn â 2,048 o docynnau. Nid yw'r 232 o achosion CCC yn cyfrannu at y sgôr gyffredinol.

Opus 5.5 sydd yn ail yn y sgorfwrdd estynedig: 2.58 pwynt y tu ôl i GPT-6 Astra a 2.39 pwynt o flaen Opus 5. Cwblhaodd bob un o'r 2,053 o achosion heb wrthodiad nac allbwn annilys.

Nodyn sgorio: ar y profion deuaidd Gramadeg a ToxiGen, derbynnir label Y neu N clir ar ddechrau'r ateb hyd yn oed os oes esboniad ar ei ôl. Cadwyd copi o'r gronfa ddata cyn ailsgorio. Datgelodd yr archwiliad hefyd un ateb a orffennodd â Y pan mai N oedd y targed; ni chafodd hwn ei gyfrif yn gywir. Dyna pam mai 87.55, nid yr amcangyfrif cychwynnol 87.61, yw'r canlyniad cyhoeddedig.

Archwiliad Iaith CCC

Is-setSgôr
Cywiro ac esbonio96.48
Priod-ddull100.00
Termau100.00
Crynhoi a dyfynnu94.46
Cyfeiriadau86.41
Cyfarwyddyd Cymraeg100.00
Cyfarwyddyd Saesneg100.00
Cymedr y saith is-set96.76

Cafodd Opus 5.5 sgôr lawn am gywiro, categori a rheol, a 64.84 am esbonio. Ar y prawf cyfeiriadau cafodd 90.63 am ddewis cyfeiriadau, 73.44 am gynnwys yr ateb, a 100 am beidio â dyfeisio ffynhonnell.

Gweler y sgorfwrdd llawn, Archwiliad Iaith CCC, neu lawrlwythwch y crynodeb, sgoriau fesul set, dimensiynau CCC a'r metadata.