"Gemini 3 Pro’s Hallucination Rate in the evaluation is 88%, the same as Gemini 2.5 Pro and Gemini 2.5 Flash. This suggests Gemini 3 Pro made substantial gains in knowledge but not as material gains in its tendency to hallucinate."
Was the model rushed or did they place all their chips on scaling go brrrr!!
Gemini 3 Pro just took the #1 spot in our new AA-Omniscience Index — but it is a nuanced story
AA-Omniscience is our new knowledge and hallucination eval. Gemini 3 Pro’s leadership is driven by its high Accuracy (percentage correct); the model scored a massive 14 points higher than the next highest accuracy model, Grok 4. Gemini 3 Pro’s Hallucination Rate in the evaluation is 88%, the same as Gemini 2.5 Pro and Gemini 2.5 Flash. This suggests Gemini 3 Pro made substantial gains in knowledge but not as material gains in its tendency to hallucinate.
We measure Hallucination Rate based on how often the model answers incorrectly when it should have refused, defined as the proportion of wrong answers out of all non-correct attempts. In AA-Omniscience, we found there was little correlation between Accuracy and Hallucination Rate.
Additionally, we found there is a high correlation between the size of open weights models and Accuracy (but not Hallucination Rate). As such, Gemini 3 Pro’s very high Accuracy suggests it is a very large model.
See below for further details regarding AA-Omniscience 👇
183,03 tys.
457
Treści na tej stronie są dostarczane przez strony trzecie. O ile nie zaznaczono inaczej, OKX nie jest autorem cytowanych artykułów i nie rości sobie żadnych praw autorskich do tych materiałów. Treść jest dostarczana wyłącznie w celach informacyjnych i nie reprezentuje poglądów OKX. Nie mają one na celu jakiejkolwiek rekomendacji i nie powinny być traktowane jako porada inwestycyjna lub zachęta do zakupu lub sprzedaży aktywów cyfrowych. Treści, w zakresie w jakim jest wykorzystywana generatywna sztuczna inteligencja do dostarczania podsumowań lub innych informacji, mogą być niedokładne lub niespójne. Przeczytaj podlinkowany artykuł, aby uzyskać więcej szczegółów i informacji. OKX nie ponosi odpowiedzialności za treści hostowane na stronach osób trzecich. Posiadanie aktywów cyfrowych, w tym stablecoinów i NFT, wiąże się z wysokim stopniem ryzyka i może podlegać znacznym wahaniom. Musisz dokładnie rozważyć, czy handel lub posiadanie aktywów cyfrowych jest dla Ciebie odpowiednie w świetle Twojej sytuacji finansowej.