Da quello che so è consigliato comunque aggiornare i pacchetti kernel-headers e kernel-source, presumo perché la compilazione di software di terze parti potrebbe risentirne, però ho notato che ci sono comunque problemi (probabilmente superabili) con l'aggiornamento dei moduli del drive nvidia. Credo sia dovuto a qualche conflitto tra le due versioni rilevate, quella del kernel e quella dei sorgenti. Tolti questi casi particolari si può restare con il kernel non patchato e aggiornare solo kernel-source e kernel-headers.
Il mio suggerimento, comunque, è di testare gli aggiornamenti per verificare se vanno, si tratta sempre di patch di sicurezza o di implementazione. Se poi ci sono problemi che escludono il kernel panic verificare come risolverli. Alla fine un sistema aggiornato con le patch è sempre preferibile. Se invece non si riesce a venirne a capo si possono sempre reinstallare i vecchi kernel, che puoi trovare qui:
https://slackware.uk/cumulative/
Io installo gli aggiornamenti dei pacchetti kernel-huge kernel-modules e kernel-generic a mano, fuori dal gestore slackpkg. Per questi tre pacchetti mi sono fatto uno script che scarica i tre pacchetti, li aggiorna, crea il nuovo initrd, aggiorna i link simbolici (in modo da non dover mettere mano alla configurazione di grub), in una current e in tre stable. In alcuni di questi sistemi c'è una coda nello script che compila e aggiorna anche i moduli kernel per il driver nvidia e per virtualbox.
Ci vuole un po' di tempo, all'inizio, per testare il sistema, ma una volta messo a punto gli aggiornamenti dei kernel sono una mera routine. L'unico problema che ogni tanto si propone è quello di applicare all'occorrenza delle patch quando si devono ricompilare i moduli di virtualbox e nvidia, ma capita raramente.