В 2003 году состоялся дебют Кястуса Каспаравичюса в качестве детского писателя. Тайваньское издательство «Grimm Press» решило выпустить книгу в поддержку детей, пострадавших от землетрясения. Многие художники со всего мира получили приглашение принять участие в её создании: нарисовать иллюстрации и написать рассказ. Каспаравичюс согласился. Он вспоминает: «Когда эта книга вышла в свет, руководитель издательства сказал: “Bаш рассказ был довольно забавным — есть ли еще?” У меня, конечно, ничего не было, но я соврал и сказал, что есть! Я понятия не имел, сколько им понадобится. Оказывается, им нужно было 36. В общем, мы договорились о месяце <…> Я написал все рассказы за две недели. <…> Первая книга рассказов, я считаю, довольно беспорядочная. Но, похоже, всем понравилось, поэтому я написал вторую, третью <...> Затем в Литве появилось издательство “Nieko rimto”, и мои книги стали издаваться на литовском языке».

Этой первой книгой были «Глупые истории», изданные в 2003 году на китайском и английском («Silly stories») языках в Тайбэе (Тайвань). А литовские издательства сначала отказались её печатать.

С середины 2000-х годов Кястутис Каспаравичюс прекращает иллюстрировать книги других авторов («Нет, больше не хочу — это неинтересно»). Последней такой книгой стала «Дюймовочка» Х. К. Андерсена, изданная в 2005 году. Несколько раз художник возвращался к прежним своим работам, готовя переиздания, но в целом он сосредоточился на создании авторских книг.