Книга Герцена начинается с рассказов его няньки о мытарствах семьи Герцена в Москве 1812 г., занятой французами (сам А. И. тогда — маленький ребенок); кончается европейскими впечатлениями 1865 — 1868 гг. Собственно, воспоминаниями в точном смысле слова «Былое и думы» назвать нельзя: последовательное повествование находим, кажется, только в первых пяти частях из восьми (до переезда в Лондон в 1852 г.); дальше — ряд очерков, публицистических статей, расположенных, правда, в хронологическом порядке. Некоторые главы «Былого и дум» первоначально печатались как самостоятельные вещи («Западные арабески», «Роберт Оуэн»). Сам Герцен сравнивал «Былое и думы» с домом, который постоянно достраивается: с «совокупностью пристроек, надстроек, флигелей».
Часть первая — «Детская и университет (1812 — 1834)» — описывает по преимуществу жизнь в доме отца — умного ипохондрика, который кажется сыну (как и дядя, как и друзья молодости отца — напр., О. А. Жеребцова) типичным порождением XVIII в. События 14 декабря 1825 г. оказали чрезвычайное воздействие на воображение мальчика. В 1827 г. Герцен знакомится со своим дальним родственником Н. Огаревым — будущим поэтом, очень любимым русскими читателями в 1840 — 1860-х; с ним вместе Герцен будет потом вести русскую типографию в Лондоне. Оба мальчика очень любят Шиллера; помимо прочего, их быстро сближает и это; мальчики смотрят на свою дружбу как на союз политических заговорщиков, и однажды вечером на Воробьевых горах, «обнявшись, присягнули, в виду всей Москвы, пожертвовать […] жизнью на избранную […] борьбу». Свои радикальные политические взгляды Герцен продолжает проповедовать и повзрослев — студентом физико-математического отделения Московского университета.
Часть вторая — «Тюрьма и ссылка» (1834 — 1838)»: по сфабрикованному делу об оскорблении его величества Герцен, Огарев и другие из их университетского кружка арестованы и сосланы; Герцен в Вятке служит в канцелярии губернского правления, отвечая за статистический отдел; в соответствующих главах «Былого и дум» собрана целая коллекция печально-анекдотических случаев из истории управления губернией. Здесь же очень выразительно описывается А. Л. Витберг, с которым Герцен познакомился в ссылке, и его талантливый и фантастический проект храма в память о 1812 г. на Воробьевых горах. В 1838 г. Герцена переводят во Владимир.
Часть третья — «Владимир-на-Клязьме» (1838 — 1839)»- романтическая история любви Герцена и Натальи Александровны Захарьиной, незаконной дочери дяди Герцена, воспитывавшейся у полубезумной и злобной тетки. Родственники не дают согласия на их брак; в 1838 г. Герцен приезжает в Москву, куда ему запрещен въезд, увозит невесту и венчается тайно.
В части четвертой — «Москва, Петербург и Новгород» (1840 — 1847)«описывается московская интеллектуальная атмосфера эпохи. Вернувшиеся из ссылки Герцен и Огарев сблизились с молодыми гегельянцами — кружком Станкевича (прежде всего — с Белинским и Бакуниным). В главе «Не наши» (о Хомякове, Киреевских, К. Аксакове, Чаадаеве) Герцен говорит прежде всего о том, что сближало западников и славянофилов в 40-е гг. (далее следуют объяснения, почему славянофильство нельзя смешивать с официальным национализмом, и рассуждения о русской общине и социализме). В 1846 г. по идеологическим причинам происходит отдаление Огарева и Герцена от многих, в первую очередь от Грановского (личная ссора между Грановским и Герценом из-за того, что один верил, а другой не верил в бессмертие души, — очень характерная черта эпохи); после этого Герцен и решает уехать из России.
Часть пятая («Париж — Италия — Париж (1847 — 1852)): Перед революцией и после нее») рассказывает о первых годах, проведенных Герценом в Европе: о первом дне русского, наконец очутившегося в Париже, городе, где создавалось многое из того, что он на родине читал с такой жадностью: «Итак, я действительно в Париже, не во сне, а наяву: ведь это Вандомская колонна и rue de la Paix»; о национально-освободительном движении в Риме, о «Молодой Италии», о февральской революции 1848 г. во Франции (все это описано достаточно кратко: Герцен отсылает читателя к своим «Письмам из Франции и Италии»), об эмиграции в Париже — преимущественно польской, с ее мистическим мессианским, католическим пафосом (между прочим, о Мицкевиче), об Июньских днях, о своем бегстве в Швейцарию и проч. Завершает пятую часть драматическая история семьи Герцена в последние годы жизни Натальи Александровны: эта часть «Былого и дум» была опубликована через много лет после смерти описанных в ней лиц. Пятая часть заканчивается разделом «Русские тени» — очерками о русских эмигрантах, с которыми Герцен тогда много общался.
Часть шестая. После смерти жены Герцен переезжает в Англию: после того как Гервег сделал семейную драму Герцена достоянием молвы, Герцену нужно было, чтобы третейский суд европейской демократии разобрался в его отношениях с Гервегом и признал правоту Герцена. Но успокоение Герцен нашел не в таком «суде» (его и не было), а в работе: он «принялся […] за „Былое и думы“ и за устройство русской типографии». Автор пишет о благотворном одиночестве в его тогдашней лондонской жизни («одиноко бродя по Лондону, по его каменным просекам, […] не видя иной раз ни на шаг вперед от сплошного опалового тумана и толкаясь с какими-то бегущими тенями, я много прожил») ; это было одиночество среди толпы: Англия, гордящаяся своим «правом убежища», была тогда наполнена эмигрантами; о них преимущественно и рассказывает часть шестая («Англия (1852 — 1864)»).
Часть седьмая посвящена собственно русской эмиграции (см., напр., отдельные очерки о М. Бакунине и В. Печерине), истории вольной русской типографии и «Колокола» (1858 — 1862). Автор начинает с того, что описывает неожиданный визит к нему какого-то полковника, человека, судя по всему, невежественного и вовсе нелиберального, но считающего обязанностью явиться к Герцену как к начальству: «я тотчас почувствовал себя генералом». Первая гл. — «Апогей и перигей»: огромная популярность и влияние «Колокола» в России проходят после известных московских пожаров и в особенности после того, как Герцен осмелился печатно поддержать поляков во время их восстания 1862 г.
Часть восьмая (1865 — 1868) не имеет названия и общей темы (недаром первая ее глава — «Без связи»); здесь описываются впечатления, которые произвели на автора в конце 60-х гг. разные страны Европы, причем Европа по-прежнему видится Герцену как царство мертвых (см. главу о Венеции и о «пророках» — «Даниилах», обличающих императорскую Францию, между прочим, о П. Леру); недаром целая глава — «С того света» — посвящена старикам, некогда удачливым и известным людям. Единственным местом в Европе, где можно еще жить, Герцену кажется Швейцария.
Завершают «Былое и думы» «Старые письма» (тексты писем к Герцену от Н. Полевого, Белинского, Грановского, Чаадаева, Прудона, Карлейля). В предисловии к ним Герцен противопоставляет письма — «книге»: в письмах прошлое «не давит всей силой, как давит в книге. Случайное содержание писем, их легкая непринужденность, их будничные заботы сближают нас с писавшим». Так понятые письма похожи и на всю книгу воспоминаний Герцена, где он рядом с суждениями о европейской цивилизации попытался сберечь и то самое «случайное» и «будничное». Как сказано в XXIV гл. пятой части, «что же, вообще, письма, как не записки о коротком времени?».