Η OpenAI, η εταιρεία πίσω από το ChatGPT και το Codex και τα μοντέλα που χρησιμοποιούν αυτά τα εργαλεία, και η Broadcom, ένας καθιερωμένος προμηθευτής πυριτίου, έχουν ανακοίνωση Ένα νέο τσιπ, που ονομάζεται Jalapeño, έχει σχεδιαστεί ειδικά για την εκτίμηση μοντέλων μεγάλων γλωσσών σε κέντρα δεδομένων.
Προοριζόμενο για το τσιπ να αναπτυχθεί σε μεγάλα κέντρα δεδομένων, και οι δύο εταιρείες ισχυρίζονται ότι αυτή είναι η πρώτη γενιά ενός μακροπρόθεσμου έργου που θα βελτιώσει τα τσιπ με την πάροδο του χρόνου.
Η Broadcom λέει ότι αυτό το ASIC (Application-Specific Integrated Circuit) σχεδιάστηκε από την αρχή για την υπόθεση LLM, με βάση “λεπτομερείς πληροφορίες” από τις συνομιλίες της εταιρείας με τους ερευνητές του OpenAI και ότι η ανάπτυξη του τσιπ ενημερώθηκε από τον οδικό χάρτη του OpenAI για μελλοντικά μοντέλα και προϊόντα. Το τσιπ χρειάστηκε εννέα μήνες για να σχεδιαστεί και να κατασκευαστεί.
Η υπόσχεση είναι ότι αυτό το τσιπ είναι πιο εξειδικευμένο για τις τρέχουσες ανάγκες του LLM από τα συστήματα εικασίας που τρέχουν επί του παρόντος στα υπάρχοντα κέντρα δεδομένων.
Το OpenAI ισχυρίζεται ότι “οι αρχικές δοκιμές δείχνουν ότι το Jalapeño θα παρέχει σημαντικά καλύτερη απόδοση ανά watt από το τρέχον state-of-the-art”, αλλά σημειώνει ότι δεν έχει μετρήσει την απόδοση και ότι “θα παρουσιαστεί λεπτομερής τεχνική έκθεση τους επόμενους μήνες”.