Amazon propone l’idea di thinking tokens per Nova 2

Amazon suggerisce di generare “thinking tokens” per arricchire i dataset SFT quando mancano tracce di ragionamento. L’idea arriva da un post tecnico su Nova 2 dedicato alla personalizzazione e alla “self‑distilled reasoning” [S1].

Il problema è noto: produrre chain‑of‑thought di alta qualità costa, richiede tempo e validazione. In molti flussi SFT si usano solo input e output, senza passaggi intermedi. Il post indica che le CoT “golden” — “tracce di pensiero prodotte da un teacher forte e poi ripulite” — restano il riferimento per ottenere i migliori risultati, ma spesso non sono disponibili [S1]. Qui entra l’ipotesi dei thinking tokens: inserire segnali di ragionamento anche quando non si dispone di CoT validate, così da non rinunciare a questo segnale durante il fine‑tuning [S1].

La proposta si colloca nel perimetro di due strade di personalizzazione: Supervised Fine‑Tuning e Reinforcement Fine‑Tuning. Con Nova 2, il post parla dell’uso di “thinking models” su domini specifici tramite queste tecniche. Il ragionamento esplicito, afferma il testo, può migliorare in modo significativo le prestazioni predittive dei modelli, con effetti visibili su compiti difficili come programmazione e matematica [S1]. In assenza di CoT “golden”, la “self‑distilled reasoning” prova a colmare il vuoto generando tracce o segnali che avvicinano il modello a una forma di pensiero esplicito durante l’addestramento supervisionato [S1].

Non c’è una ricetta. Il post non fornisce una procedura definita, ma una direzione di lavoro: “self‑distilled reasoning” come strumento per introdurre ragionamento nei dati SFT quando le CoT validate mancano o risultano impraticabili da ottenere. Il punto operativo è netto: senza tracce di qualità, molti rinunciano al ragionamento nel fine‑tuning; con i thinking tokens, si esplora un compromesso che conserva il segnale cognitivo senza i costi delle CoT “golden” [S1].

Se l’ipotesi regge nei test, chi personalizza modelli potrà valutare il ragionamento esplicito anche in dataset poveri, misurandone l’impatto su compiti complessi prima di investire nella produzione di CoT validate [S1].