$LA Lagrange doet tegenwoordig veel interessante dingen. Je weet waarschijnlijk al dat Gemma3 van Google is uitgekomen... Gemma3 is het volgende AI-model dat door Google is ontwikkeld, en het werkt slimmer met minder parameters (berekeningseenheden zoals hersencellen). Het is snel en nauwkeurig, maar het is behoorlijk anders dan de bestaande GPT-structuur. Bijvoorbeeld: - GQA (Grouped Query Attention): het probleem niet meerdere keren oplossen, maar antwoorden delen. -> Berekeningsefficiëntie ↑ - Lokale + globale aandacht: dichtbij zijnde woorden zijn lokaal, verder weg gelegen woorden zijn globaal, zodat de focus kan worden verdeeld. -> Onnodige berekeningen ↓ - RoPE (Rotary Positional Encoding): de volgorde van woorden wordt weergegeven met eenvoudige rotatiewaarden in plaats van complexe matrices. -> Efficiëntie bij het verwerken van lange contexten ↑ - RMSNorm, GeGLU: de regels en reacties van hoe de hersenen gedachten ordenen zijn veranderd. -> Stabiliteit en nauwkeurigheid ↑...
Origineel weergeven
4,81K
48
De inhoud op deze pagina wordt geleverd door derden. Tenzij anders vermeld, is OKX niet de auteur van het (de) geciteerde artikel(en) en claimt geen auteursrecht op de materialen. De inhoud is alleen bedoeld voor informatieve doeleinden en vertegenwoordigt niet de standpunten van OKX. Het is niet bedoeld als een goedkeuring van welke aard dan ook en mag niet worden beschouwd als beleggingsadvies of een uitnodiging tot het kopen of verkopen van digitale bezittingen. Voor zover generatieve AI wordt gebruikt om samenvattingen of andere informatie te verstrekken, kan deze door AI gegenereerde inhoud onnauwkeurig of inconsistent zijn. Lees het gelinkte artikel voor meer details en informatie. OKX is niet verantwoordelijk voor inhoud gehost op sites van een derde partij. Het bezitten van digitale activa, waaronder stablecoins en NFT's, brengt een hoge mate van risico met zich mee en de waarde van deze activa kan sterk fluctueren. Overweeg zorgvuldig of de handel in of het bezit van digitale activa geschikt voor je is in het licht van je financiële situatie.