В конце 1950-х — начале 1960-х годов Яковлев обратился к прозе: повлияли работа в прессе, накопленные за время поездок по стране впечатления и уроки старших товарищей — Р. И. Фраермана, Л. А. Кассиля, Я. М. Тайца. Из первого небольшого сборника рассказов под названием «Пост номер один» (1958) юный читатель мог узнать, как постигают военное дело и преодолевают трудности солдаты-новобранцы. В предисловии автор противопоставил отвлеченные мечты о подвиге и упорство мальчика, сумевшего преодолеть свой страх перед упражнением на гимнастическом снаряде. Вторая книга рассказов — «Созвездие паровоза» — вышла в «Детгизе» в 1959 году.
Однако переломным моментом стала публикация в журнале «Огонек» (1960) небольшой повести «Станция «Мальчики» — о побеге из дома восьмилетнего Алеши. Произведение вошло в одноименный сборник (1961).
Во многих произведениях нашла выражение любовь писателя к животным. У Ю. Я. Яковлева за жизнь сменилось несколько собак — овчарки Динго, Эгри, Зной, Гвидон и другие. Как вспоминает Ксения Викторовна Драгунская, он заботился и о бездомных псах. Доброму отношению к «братьям меньшим», чувству ответственности за судьбу животных посвящены произведения «Я иду за носорогом» (1965), «У человека должна быть собака» (1967), «В гостях у собаки» (1967), «Хромой лев» (1967), «Урс и Кэт» (1968). Широкую известность получила сказка о белом медвежонке — «Умка» (1969). Юрий Яковлев поддерживал семью Берберовых, растивших в своей квартире львов — сначала Кинга I, а потом Кинга II. Помимо очерков на этот сюжет, писатель создал сказку-повесть «Лев ушел из дома» и сценарии для дилогии фильмов «У меня есть лев» и «Лев ушел из дома».
Став известным писателем, Ю. Я. Яковлев побывал в Югославии, Англии, Италии, Франции, Турции и США. Некоторые произведения («Учитель истории», «Воспоминания о корове») были основаны на полученных во время зарубежных поездок впечатлениях. В середине 1970-х годов сын Андрей, решивший стать ортодоксальным иудеем и репатриироваться в Израиль, порвал отношения с отцом. В 1987 году А. Ю. Яковлев эмигрировал, окончил педагогическое училище им. Давида Елина, преподавал историю и Тору (Библию). Ныне известен как автор книг по истории российских евреев и хасидизму, пишущий под псевдонимом Эзра Ховкин.
