Η Google ενημερώνει το Android Bench με νέο LLM, αλλά ο Gemini εξακολουθεί να υστερεί

Ωστόσο, το Fable 5 και το GPT 5.5 έχουν επίσης εξαιρετικά υψηλό λειτουργικό κόστος, μασώντας περισσότερα από 130 $ σε μάρκες για ένα σημείο αναφοράς 100 προβλημάτων και 10 εκτελέσεων. Το Gemini 3.1 Pro δεν σημείωσε υψηλή βαθμολογία, αλλά κόστισε μόνο 87 $ για τη δοκιμή. Το Gemini 3.5 Flash, το οποίο θεωρείται φθηνότερο στην εκτέλεση από άλλα μοντέλα, κοστίζει περισσότερο στον πίνακα κατάταξης, επειδή χρειάζεται περισσότερος χρόνος για την ολοκλήρωση του σημείου αναφοράς: 165 $ ανά εκτέλεση και διάρκεια εκτέλεσης 28 ωρών.

Το χάσμα απόδοσης κωδικοποίησης Android είναι ένα πρόβλημα για τα μοντέλα της Google, καθώς η εταιρεία μετατοπίζει πολλά από τα έργα της στην ανάπτυξη αντιπροσώπων.

κοινοτική υποστήριξη

Το Android Bench υποτίθεται ότι εξελίσσεται με την πάροδο του χρόνου, υιοθετώντας νέες ροές εργασίας για τη δοκιμή μοντέλων. Η Google ελπίζει ότι οι προγραμματιστές θα θελήσουν να συνεισφέρουν στο Android Bench μοιράζοντας σημεία αναφοράς και εργασίες ανάπτυξης. Για να το κάνουμε πιο ρεαλιστικό, η Google μεταβαίνει στο πλαίσιο Harbour. Σύμφωνα με την εταιρεία, αυτό το δοκιμαστικό sandbox διευκολύνει τους προγραμματιστές να τρέξουν, να αξιολογήσουν και να μοιραστούν τα αποτελέσματα για το Android Bench.

Η Google επαναλαμβάνει όλες τις προηγούμενες δοκιμές της στο Χάρμπορ για να αποκτήσει μια νέα βάση για την απόδοση LLM. Επομένως, οι βαθμολογίες που αναφέρθηκαν προηγουμένως έχουν αλλάξει, παρόλο που οι υποκείμενες δοκιμές δεν έχουν αλλάξει (ακόμα). Τα ιστορικά δεδομένα θα παραμείνουν online σε ένα αρχείο.

Με το νέο, απλούστερο πλαίσιο, οι προγραμματιστές μπορούν να εκτελέσουν τις δικές τους εργασίες ανάπτυξης στο Android Bench και να τις υποβάλουν για πιθανή συμπερίληψη σε επίσημες δοκιμές. ρε Android Bench GitHub Ενημερώθηκε με νέο σύνολο δεδομένων και οδηγίες για τον τρόπο συμμετοχής