Πρόσφατα, Τα Frontier AI Labs ανταγωνίζονται όλα για την κατασκευή μοντέλων που βελτιώνουν τον εαυτό τους. Κάποιοι πιστεύουν ότι αυτός είναι ο πιο σίγουρος δρόμος για την υπερευφυΐα. Καθώς η τεχνητή νοημοσύνη βελτιώνεται στους βρόχους που λύνουν το μυαλό, πιστεύεται ότι τελικά θα ξεπεράσει την ανθρώπινη κατανόηση (και ίσως ακόμη και τον έλεγχο).
Είναι εντάξει, αλλά πρέπει να δημιουργήσετε ένα ενημερωτικό δελτίο. Σκέφτηκα ότι η επαναληπτική αυτοβελτίωση μπορεί επίσης να είναι χρήσιμη για μένα. Μπορούμε να χρησιμοποιήσουμε την τεχνητή νοημοσύνη για να εκπαιδεύσουμε και να βελτιώνουμε συνεχώς ένα μοντέλο που αυτοματοποιεί μέρος αυτού του ενημερωτικού δελτίου βαρέων βαρών;
Μετά από μια εβδομάδα πειραματισμού, η απάντηση ήταν έκπληξη και έκπληξη. Επιπλέον, η ενασχόληση με μοντέλα αυτοβελτίωσης προσφέρει ένα διαφορετικό όραμα για το πώς θα ξεδιπλωθεί η τεχνητή νοημοσύνη, ένα όραμα που δεν επικεντρώνεται σε λίγες εταιρείες που κυριαρχούν σε έναν ολόκληρο κλάδο.
Πρώτα, δοκίμασα έναν απλό βρόχο αυτοβελτίωσης.
Για να ξεκινήσω, πειραματίστηκα με την εκπαίδευση ενός μικρού γλωσσικού μοντέλου από την αρχή. Με άλλα λόγια, έχετε εγκαταλείψει όλη την κουραστική δουλειά του Claude.
Εγκατεστημένο αυτόματη έρευνατο οποίο σας βοηθά να δημιουργήσετε μοντέλα τεχνητής νοημοσύνης εκτός ραφιού και να βελτιώσετε μικρότερα μοντέλα. Η AutoResearch είναι το πνευματικό τέκνο του Andrej Karpathy, ο οποίος βοήθησε στην ίδρυση του OpenAI, ηγήθηκε των προσπαθειών τεχνητής νοημοσύνης στην Tesla και πρόσφατα είναι ένας σούπερ σταρ ερευνητής AI. συμμετείχα Ανθρώπινος.
Πύρισα τον Κλοντ και του έδωσα μερικές προτεινόμενες οδηγίες. “Γεια, κοιτάξτε το program.md και ξεκινήστε ένα νέο πείραμα!” Ενώ ο Claude έκανε τη σκληρή δουλειά, παρείχα πυρίτιο (Nvidia DGX, ένας επιτραπέζιος «υπερυπολογιστής» σχεδιασμένος για πειράματα τεχνητής νοημοσύνης), ηλεκτρισμό (ζεστός για μέρες στη σειρά) και, ίσως απερίσκεπτα, τη θέληση να αφήσω το μοντέλο να παραλείψει όλους τους συνήθεις ελέγχους αδειών για να κάνει ό,τι έπρεπε να κάνει (άσε τον να μαγειρέψει!).
Έκανα check in στο έργο AutoResearch κάθε λίγες ώρες και έμεινα έκπληκτος βλέποντας τον Claude να προσαρμόζει τις παραμέτρους και τα προγράμματα εκπαίδευσης, βλέποντας πώς αυτό άλλαξε την απόδοση του μικρού του μοντέλου και συνέχισε να το βελτιώνει.
Αυτή είναι μια πρώιμη έκδοση αυτού του μικρού γλωσσικού μοντέλου που δημιουργήθηκε όταν του ζητήσατε να συμπληρώσει μια φράση. “Πρώτα…”
Όχι και τόσο σπουδαίο. Αλλά το μεταγενέστερο μοντέλο, που βελτιώθηκε οικειοθελώς από τον Claude, ήταν πιο συνεπές και λιγότερο ατελείωτα επαναλαμβανόμενο. Αν και αυτό δεν είναι GPT-5, έδειξε μια πολλά υποσχόμενη διαδρομή για συνεχή βελτίωση.
Το ταξίδι μου συνεχίστηκε σε κάτι πιο σύνθετο και χρήσιμο.
Ήδη χρησιμοποιώ έναν πράκτορα που βασίζεται στον Claude για να βρει αξιόλογες ερευνητικές εργασίες, οπότε αποφάσισα να δω αν θα μπορούσα να φτιάξω κάτι πέρα από αυτό.
Γύρισα σε εργαλεία για startups. πρωταρχική νοημοσύνηχρησιμοποιήστε AI για να εκπαιδεύσετε προσαρμοσμένα μοντέλα για συγκεκριμένες εργασίες. Έχω συλλέξει περίπου 100 προηγούμενες καταχωρήσεις “Elsewhere on the AI Frontier”, κομμάτια έρευνας που ακολουθούν το κύριο δοκίμιο του ενημερωτικού δελτίου. Στη συνέχεια, δημιούργησα ένα περιβάλλον εκπαίδευσης Prime Intellect και ζήτησα από τον Claude να με βοηθήσει να φτιάξω το δικό μου μοντέλο, που ονομάζεται Frontier_Paper_Curator, για να βρω και να συνοψίσω ενδιαφέρουσες εργασίες.
Ο Claude βρήκε περισσότερα χαρτιά και δημιούργησε μεγάλο όγκο συνθετικών δεδομένων για να βοηθήσει στην εκπαίδευση. Στη συνέχεια, αξιοποιήσαμε ένα ακόμη μοντέλο για να αξιολογήσουμε τα αποτελέσματα του Frontier_Paper_Curator και το εκπαιδευτικό περιβάλλον βελτίωσε επίσης το μοντέλο χρησιμοποιώντας ενισχυτική μάθηση.
