“Since 2006, an A.I. researcher named Marcus Hutter has offered a cash reward—known as the Prize for Compressing Human Knowledge, or the Hutter Prize—to anyone who can losslessly compress a specific one-gigabyte snapshot of Wikipedia smaller than the previous prize-winner did. […] Hutter believes that better text compression will be instrumental in the creation of human-level artificial intelligence, in part because the greatest degree of compression can be achieved by understanding the text.”
Qui un video di @antirez che avevo salvato insieme all’articolo precedente.
Parla di un progetto sperimentale di Fabrice Bellard per un algoritmo di compressione che sfrutta la capacità degli LLM di predire il token successivo, con una codifica che associa un minor numero di bit alla probabilità più alta e viceversa.
@game@aitech@antirez continua a non tornarmi. Il predittore è statistico, perché altrimenti il gradiente ti può fare finire troppo spesso su un minimo locale…
@mau @aitech Sul tema compressione, tempo fa avevo salvato questo articolo di Ted Chiang: https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web
Un passaggio che avevo sottolineato:
“Since 2006, an A.I. researcher named Marcus Hutter has offered a cash reward—known as the Prize for Compressing Human Knowledge, or the Hutter Prize—to anyone who can losslessly compress a specific one-gigabyte snapshot of Wikipedia smaller than the previous prize-winner did. […] Hutter believes that better text compression will be instrumental in the creation of human-level artificial intelligence, in part because the greatest degree of compression can be achieved by understanding the text.”
@game @aitech sicuramente la comprensione del testo aumenta la sua compressibilità, ma non vedo molto probabile che sia lossless…
@mau @aitech
Qui un video di @antirez che avevo salvato insieme all’articolo precedente.
Parla di un progetto sperimentale di Fabrice Bellard per un algoritmo di compressione che sfrutta la capacità degli LLM di predire il token successivo, con una codifica che associa un minor numero di bit alla probabilità più alta e viceversa.
https://www.youtube.com/watch?v=WJdjZk3z-EU
@game @aitech @antirez continua a non tornarmi. Il predittore è statistico, perché altrimenti il gradiente ti può fare finire troppo spesso su un minimo locale…