Η X.AI Corp, ιδιοκτησίας του δισεκατομμυριούχου Elon Musk, ανακοίνωσε στις 11 Μαρτίου πως θα κάνει το AI chatbot “Grok” διαθέσιμο προς όλο τον κόσμο, σε λειτουργία ανοιχτού κώδικα (open source).
Σε ανάρτηση της η εταιρεία ανέφερε πως απελευθερώνει την αρχιτεκτονική του μοντέλου, το οποίο έχει συνολικά 314 δισεκατομμύρια παραμέτρους και βασίζεται στην τεχνολογία της μηχανικής μάθησης του “Mixture-of-Experts”.
Πιο αναλυτικά η ανακοίνωση αναφέρει:
Απελευθερώνουμε τα βάρη και την αρχιτεκτονική του μοντέλου Mixture-of-Experts των 314 δισεκατομμυρίων παραμέτρων, Grok-1.
Κυκλοφορούμε τα βάρη του βασικού μοντέλου και την αρχιτεκτονική δικτύου του Grok-1 , του μοντέλου μας σε μεγάλες γλώσσες. Το Grok-1 είναι ένα μοντέλο Mixture-of-Experts 314 δισεκατομμυρίων παραμέτρων που εκπαιδεύτηκε από την αρχή από το xAI.
Αυτό είναι το σημείο ελέγχου πρωτογενούς βασικού μοντέλου από τη φάση προεκπαίδευσης Grok-1, η οποία ολοκληρώθηκε τον Οκτώβριο του 2023. Αυτό σημαίνει ότι το μοντέλο δεν έχει ρυθμιστεί με ακρίβεια για καμία συγκεκριμένη εφαρμογή, όπως ο διάλογος.
Απελευθερώνουμε τα βάρη και την αρχιτεκτονική με την άδεια Apache 2.0.
Για να ξεκινήσετε με τη χρήση του μοντέλου, ακολουθήστε τις οδηγίες στη διεύθυνση github.com/xai-org/grok .
Λεπτομέρειες μοντέλου
- Βασικό μοντέλο εκπαιδευμένο σε μεγάλο όγκο δεδομένων κειμένου, μη προσαρμοσμένο για κάποια συγκεκριμένη εργασία.
- Παράμετρος 314B Μοντέλο Mixture-of-Experts με το 25% των βαρών ενεργό σε ένα δεδομένο διακριτικό.
- Εκπαιδεύτηκε από την αρχή από το xAI χρησιμοποιώντας μια προσαρμοσμένη στοίβα εκπαίδευσης πάνω από το JAX και το Rust τον Οκτώβριο του 2023.
This week, @xAI will open source Grok
— Elon Musk (@elonmusk) March 11, 2024
