Родился в г. Чернигове 14 января 1911 года. Детские и юношеские годы прошли в Сновске (теперь – Щорс Черниговской обл.). Отец – инженер-технолог, мать любила и хорошо знала музыку. После Октябрьской революции семья переехала в Москву и поселилась на Арбате. В 1928 году после окончания школы Анатолий Наумович вступает во взрослую жизнь: работает чернорабочим, грузчиком на Дорогомиловском заводе.
В 1930 году поступает в Транспортный институт на автодорожный факультет. После окончания института жизнь бросает его из одного конца страны в другой, что было связано с профессией. Перед началом Великой Отечественной войны работал главным инженером на автобазе в Рязани.
На фронте с первого и до последнего дня. Победа застала его начальником автослужбы гвардейского стрелкового корпуса, который входил в легендарную 8-ю гвардейскую армию Чуйкова. В немецком городе Райхенбахе, сидя за рабочим столом, Анатолий Наумович думал о будущей мирной профессии. Перед глазами – детские воспоминания, а рука на бумаге «Кортик». Повесть была издана в 1948 году и сразу выдвинула А.Н. Рыбакова в ряд известных писателей. Через 8 лет было издано продолжение «Кортика» - «Бронзовая птица» (1956 г.), а еще через 9 лет появляется третья заключительная часть трилогии – «Выстрел» (1975). 
В 1949-50 гг. писатель работал над романом «Екатерина Воронина», в котором – романтика работы волгарей, азарт соревнования, рабочая тема переплетаются с изображением человеческих качеств.
На протяжении 1958-64 гг. работал над романом «Лето в Сосняках», о жизни химического завода в 30-е годы. 
   С 1975 по 1977 год – работа над романом «Тяжелый песок» (издан в 1979 г.), в котором показал свою родословную и те испытания, которые пережили его родные, близкие и знакомые. 29 мая 1976 года Анатолий Наумович приезжал в Чернигов и Щорс для уточнения фактов.
На протяжении 10 лет (с 1960г.) пишет и публикует трилогию о Кроше – «Приключения Кроша», «Каникулы Кроша», «Неизвестный солдат». Трилогия о молодежи, которая взрослела в 60-е. Кинофильм «Минута молчания», поставленный по повести «Неизвестный солдат», был показан в Париже. Французские критики писали, что он по-новому открыл Франции современного советского писателя. Над романом «Дети Арбата» писатель работал в 1966-1983 гг., но к читателю роман пришел только в 1987 году. У А. Рыбакова хватило смелости, веры, упрямства, чтобы описать те времена. Потом были «Тридцать пятый и другие годы» (1989 г.), «Страх» (1990 г.)
Не стало писателя в 1998 году, умер он в Нью-Йорке.