Qui un video di @antirez che avevo salvato insieme all’articolo precedente.
Parla di un progetto sperimentale di Fabrice Bellard per un algoritmo di compressione che sfrutta la capacità degli LLM di predire il token successivo, con una codifica che associa un minor numero di bit alla probabilità più alta e viceversa.
@game@aitech@antirez continua a non tornarmi. Il predittore è statistico, perché altrimenti il gradiente ti può fare finire troppo spesso su un minimo locale…
@mau @aitech
Qui un video di @antirez che avevo salvato insieme all’articolo precedente.
Parla di un progetto sperimentale di Fabrice Bellard per un algoritmo di compressione che sfrutta la capacità degli LLM di predire il token successivo, con una codifica che associa un minor numero di bit alla probabilità più alta e viceversa.
https://www.youtube.com/watch?v=WJdjZk3z-EU
@game @aitech @antirez continua a non tornarmi. Il predittore è statistico, perché altrimenti il gradiente ti può fare finire troppo spesso su un minimo locale…