Scheffel entstammte einer wohlhabenden Familie. Sein Vater war badischer Oberbaurat. Der Sohn konnte es sich leisten, ein unabhängiges Leben zu führen und den für ihn geeigneten Beruf frei zu wählen. Er studierte Jura in München, Heidelberg und Berlin, belegte zusätzlich Vorlesungen in Philologie und Literatur. 1849 promovierte er in Heidelberg zum Dr. jur.. Im Jahr 1848 hatte er ohne Gehalt bei dem Paulskirchen-Abgeordneten Carl Theodor Welcker assistiert und Hoffnungen in ein bürgerlich-demokratisches Deutschland gesetzt. Dass die Paulskirchenbewegung scheiterte und das Deutsche Reich eine konservativ-autoritäre und zugleich industriebestimmte Entwicklung nahm, gehörte zu den großen Enttäuschungen seines Lebens. Dies hinderte ihn jedoch nicht daran, in die Dienste des Großherzogs von Baden zu treten. Er arbeitete als Rechtspraktikant in Säckingen und im Sekretariat des Hofgerichts in Bruchsal. 1876 wurde er vom badischen Großherzog sogar geadelt. Der Adelstitel hatte allerdings nur regionale Bedeutung und war nicht erblich. Einen vollen Adelstitel konnte nach damaligem Recht nur der Kaiser verleihen. 1852 war Scheffel nach Rom gezogen, um seine Talente als Maler zu testen. Bald stellte er jedoch fest, dass seine Hauptbegabung im Schriftstellerischen lag. Er kehrte zurück und ließ sich 1859 wieder in Karlsruhe nieder.

Im Jahr 1864 heiratete er die bayrische Diplomatentochter Caroline Freiin von Malsen. Die Ehe war nicht glücklich. Als 1867 der Sohn Victor zur Welt kam, lebte das Paar schon wieder getrennt. 1869 entführte Scheffel seinen Sohn von einem Spielplatz in München und behielt ihn von da an in seiner Obhut. Die letzten Jahre seines Lebens litt er an einer Gehirnerkrankung und verbrachte die meiste Zeit auf seinem Landgut bei Radolfzell. Auf seinem Sterbelager kam es zur Versöhnung mit seiner Ehefrau.
 
Scheffel gilt heute als Exponent des deutschen Nationalgefühls in der wilhelminischen Zeit. Wie die meisten damaligen Autoren war er national gesinnt und diese Gesinnung grenzte gelegentlich auch an Überheblichkeit. Dies wird unter anderem in seinen Gedichten „Als die Römer frech geworden" sowie in „Römisch Recht, gedenk ich deiner" deutlich. Ertragen lässt sich dies aber heute noch durch die mit viel Humor und Hintersinn ausgezeichnete eingängige und frische Sprache des Autors.
Gestorben ist Scheffel am 09. April 1886 in Karlsruhe, wo er auf dem dortigen Hauptfriedhof beerdigt wurde.