Débauche de mélodies, de parfums et de costumes, Caresser le velours ressuscite les dernières années de l'Angleterre victorienne. C'est le récit, tout à la fois érotique et historique, des aventures de Nancy, une jeune provinciale vendeuse d'huîtres dans un petit port sur la côte du Kent, dont le sort bascule lorsqu'elle tombe amoureuse d'une chanteuse de music-hall aux allures de dandy. Quand cette dernière, la troublante Kitty Butler, décroche un rôle à Londres, Nancy la suit comme habilleuse et amante secrète. Bientôt la petite écaillère enfile aussi un pantalon et le duo de faux hommes devient célèbre sur les sènes du West End. Mais Kitty finit par trahir sa compagne qui, le coeur brisé, balade seule par les rues son existence androgyne, non sans poursuivre son éducation sentimentale. Elle hante alors le demi-monde de Soho et, de garçons de passe, devient fille entretenue.