В школьные годы Эйнштейн не часто радовал родителей своими успехами. В 1895 году ему было отказано в поступлении в престижную Политехническую академию в Цюрихе. Он все же поступил туда через год. В 1900 году Эйнштейн окончил академию. Ему было отказано в просьбе остаться работать в ней. Он стал работать в Бернс в патентном бюро. В 1905 году университет Цюриха присудил ему докторскую степень за работу "Новый подход к определению молекулярных размеров". В том же году он опубликовал научные труды о специальной теории относительности и начал карьеру университетского преподавателя. Через несколько лет после публикации в 1916 году его научного труда об общей теории относительности Эйнштейн стал знаменитым. Университеты упрашивали его работать у них в качестве преподавателя, ученые из различных стран мира обращались к нему за советом, а политические партии и всевозможные благотворительные организации и фонды сражались между собой за его поддержку и помощь. Но Эйнштейн, верный представлению о нем как о гениальном ученом, постоянно погруженном в раздумья, вне науки отдавался только двум идеям, которые были дороги ему всю жизнь: пацифизму и сионизму.
Интимная жизнь Эйнштейна, а известно о ней не так уж и много, началась в 1903 году, когда он женился на Милеве Марич, студентке математического факультета университета в Цюрихе, где они оба учились. Их семейная жизнь сложилась неудачно. Для Эйнштейна физика всегда была на первом месте. Оно же было практически и единственным. Второе место было где-то очень далеко, и вот оно-то и было отдано жене. В семье скоро родилось два сына - Ганс Альберт и Эдвард. Эйнштейн и Милева были, конечно, совершенно различными людьми, и рождение детей не сделало семью более крепкой. В 1914 году Эйнштейн согласился на должность, предложенную ему Прусской Академией наук в Берлине. Милева с детьми переехала с Эйнштейном в Берлин, но на лето решила съездить с детьми в Швейцарию. Разразившаяся вскоре первая мировая война не позволила им вернуться в Берлин, и они остались в Цюрихе. Эйнштейн жил и работал в Берлине и за годы войны только несколько раз навещал свою семью в Швейцарии. После последнего визита в 1916 году Эйнштейн признался другу, что он твердо решил не возвращаться к Милеве. По его признанию, она не давала ему возможности сконцентрировать все свои усилия на физике. В 1919 году они развелись. Эйнштейн пообещал Милеве, что в случае, если он получит Нобелевскую премию, он обязательно выделит часть денег ей с детьми. Он действительно получил Нобелевскую премию в 1921 году и сдержал свое слово.
В Берлине Эйнштейн все больше времени стал проводить с Эльзой Ловенталь, дочерью двоюродного брата своего отца, вдовой, воспитывавшей двух дочерей. Они были знакомы друг с другом с детства. В 1917 году, когда Эйнштейн тяжело заболел, он уже жил с Эльзой. Именно она ухаживала за ним во время болезни и была его нянькой и сиделкой. После выздоровления Эйнштейн остался жить у Эльзы и через несколько месяцев после развода с Милевой женился на своей бывшей "няньке". К детям Эльзы Эйнштейн всегда относился как к своим родным. Брак с Эльзой был удобен для Эйнштейна. Она поддерживала подлинный порядок во всем, что касалось материальных аспектов его жизни, готовя для него еду, покупая ему одежду и следя за порядком в доме. Однажды у Эйнштейна спросили, что же он дает ей взамен. Он загадочно ответил: "Понимание". Эльза умерла в 1936 году. Эйнштейн оставался вдовцом до конца жизни. В последние годы жизни он сблизился со своим старшим сыном Гансом Альбертом. Его младший сын Эдвард страдал от нервных заболеваний, и Эйнштейн часто устраивал его в различные лечебные заведения, в которых Эдвард и провел практически большую часть свой жизни.