Schœlcher est issu d'une famille de bourgeois catholiques. Son père, Alsacien, dirige une grande manufacture de porcelaine. Victor fait ses études au lycée parisien Condorcet, où il se lie avec des intellectuels.
Envoyé par son père en mission de représentation en Amérique du Sud, il sera choqué par l'esclavage, qui deviendra sa grande lutte.
