Silverberg 1959-ben „visszavonul” a sci-fitől. Ennek ellenére a könyvek nem tűntek el az életéből: főleg antológiákba írt rövidebb novellákat, ill. utószókat regényekhez, távol maradt a sci-fi világától. Egyre több prózát írt, mint a Treasures Beneath the Sea –t 1960-ban, majd a Lost Cities and Vanished Civilizations-t 1962-ben. Silverberg nyereségesebb vizek felé evezett (ahogy ő emlegette): 1960 és ’70 között közel 70 könyve jelent meg, főleg kedvelt szakterületeiben alkotott, őstörténet, régészet, feltárások. Időközben nagy számban írt Don Elliot vagy Eliot néven „lightosabb” erotikus, pornográf témájú regényeket is.
Frederik Pohl, a Galaxy szerkesztője, győzte meg Silverberget, hogy térjen vissza a science-fictionhoz. Újabb történeteiben sokkal kidolgozottabbak a karakterek: a cselekmény mélyebb, a szereplők élethűbbek. Ihletet nem csak napjaink legsikeresebb SF íróitól kapott, hanem az ógörögöktől a modern művészekig, mindent saját személyiségéhez formált.

A hatvanas évek végére az író személyiségének sötét oldala mutatkozott meg, a történetekben a magány és az elszigeteltség érzése uralkodott. Megszabadult a heroikusság és boldog végkifejlet, a happy end szükségszerűségétől (ehhez hozzá járult a szerkesztők és olvasók ízlése is). Történeteinek „sötét íze” van, gyakran kétértelmű a végkifejlet. Témáival felszínre került a legtöbb történetben a transzcendencia: az ember földi élete tele van nyomorúsággal, ezért kell lennie egy alternatív, másik, jobb világnak is valahol.
Ekkor született az Éjszárnyak, Dying Inside, Üvegtorony, Downward to the Earth, The Book of Skulls, Shadrach in the Furnace. S ennek az időszaknak a termései hozták meg számára a díjakat is, például az Üvegtoronnyal vagy a Shadrach in the Furnace-val Nebula, Hugo és Locus SF díjakra jelölték, A Time of Changes pedig meghozta számára az első Nebula-díjat.
Azonban 1973 az ún. „kiégés” éve, kényszernek érezte az írást, hiábavaló erőfeszítésnek. Abbahagyta rövidebb történeteit, csupán néhány regényéhez fordult oda. A szerkesztők, rajongók kérései ellenére is visszavonultsága egészen 1978-ig tartott, amikor írás közben találta magát, s megszületett a Lord Valentine kastélya, a Majipoor történetek első része.
A ’80-’90-es évek munkáiról elmondható, hogy sokáig írta őket, de jóval kidolgozottabbak. Van azonban egy érdekes (és talán idegesítő) jellegzetesség is bennük: a szerelem egy szereplőjét sem kerüli el… Írásaiban nem a „legigazságosabb” a karakterekhez, hiszen bemutatja minden gondolataikat, életüket, motivációikat. Ez nem azt jelenti, hogy a történetek unalmasak lennének, sőt, sok konfliktus szerepel bennük, ami így válik többoldalúvá, s szereplői sem klisékből alkotott figurák, bábok.
Az 1980-as évek a személyes életében hoztak változásokat: elvált első feleségétől, majd feleségül vette az író Karen Habert. Néhány esetben dolgoztak is együtt, mint a The Mutant Season-ben, s néhány antológiát is szerkesztettek.
Ma San Franciscóban él feleségével. Legújabb publikációi novelláit tartalmazza (The Alien Years és The Longest Way Home), ill. a végleges Majipoor könyvek is megjelentek. Két nagy szerkesztése is volt az utóbbi időkben: Legends (fantasy) és a Far Horizons (SF). A legtöbb munkáját (a ’70-es évekből) most újra kiadják.

Így új kiadásban megvásárolható a Lord Valentine kastélya is a Galaktika boltban.