两岁就离开了在兰德波特的住宅，但他对那所住宅前的小花园记得很清楚。福斯特回忆道：“在他写《尼古拉·尼克尔贝》一书时，我曾和他一起去了那里。我清楚地记得他在同一地点认出他三十五年前所看到的练兵队列的确切形式。”可见他自小就观察力敏锐、感受力很强。
他父亲由于工作调动到了伦敦，住在米德尔塞克斯医院区的诺福克街。不久，他们一家又因狄更斯父亲工作再度变动而迁至查塔姆。在这里，查尔斯一直住到九岁。他对于童年的许多清晰印象都是在这里刻下的。
由于查尔斯从小瘦弱多病，所以他无法参加许多男孩的游戏，但他喜欢趴在自己房间的窗口看父亲同僚的孩子们玩，或者边看书，边听他们玩时的嬉笑，喧闹声。他一直相信，幼年多病给他带来的一个极大好处就是使他养成了爱读书的习惯。他常对人们说启发他对知识的渴求和书本的酷爱之人是他母亲。他母亲伊莉莎白有很长一段时间按时天天教他英文，还有一点拉丁文。他回忆起母亲教他认字时的情景几乎和他在《大卫·科波菲尔》中借大卫之口讲的一样——“我还隐隐约约记得她教我认字时的情景，现在，每当我翻开识字课本，看到胖乎乎的黑体字母时，它们那有趣的形体、O和S的好性情，仍和当年那样跃然于纸上。”
狄更斯的父亲约翰·狄更斯有一间图书室，收藏了不少好书，也有不少当时的通俗读物。这间书房和查尔斯的房间相连，故他能自由出入。这在《大卫·科波菲尔》中也可从主人公回忆中读到，作者删去的只有那些当时流行的一些廉价读物的书名。在查塔姆的生活是他童年中最美好的一段日子，以至他对这段生活常常回忆，在他的短篇小说中可以读到对这段生活的生动叙述。他九岁时，约翰·狄更斯又调回伦敦，家人也随之迁去，对查尔斯说，这是他不幸的开始。
由于约翰·狄更斯和妻子不善理财，一家生活陷入困窘，只好紧缩开支，搬到伦敦最穷困的街之一——贝赫姆街。在这里，他没有可以勉强与之为伍的男孩，家人这时也很疏忽他，他不再上学，而是擦一家人的鞋，去当铺卖东西，他一下陷入了孤独境地。他后来很辛酸地对友人说：“当我在贝赫姆街狭小黑暗的后阁楼里，想到我离开查塔姆所失去的一切，我真想牺牲一切——如果我还有什么可以牺牲的话——只要能进入任何一所学校……”
实际上，他也是在一所学校学习——这里的生活正在向他教授生活的知识。他开始对穷困、饥饿有所了解，这使他后来的作品中对于社会下层的生活描写异常生动。可是他的家长为什么忽视了他呢？查尔斯有次回忆起父亲时这么说道：“我知道我父亲是世界上最善良最宽厚的人。他对妻子、孩子或朋友在生病时的所为都令人赞美不已……任何事务、工作、职责，只要他承担下来，他总满怀热忱地去做，准时完成得让人夸。他勤奋、耐心、精力充沛。他以我为骄傲，……可是，由于他生性不拘小节，加上当时拮据，他好像忘了我应该受教育，也完全没想到他在这方面应对我负任何责任。”
尽管如此，他仍受着生活这位最严格的教师的教诲。他的父亲终于到了山穷水尽的地步，于是只好靠他母亲来挽救残局。他母亲找了所房子，在门上钉了块大铜牌，上书“狄更斯夫人学校”。小查尔斯也做了帮手，他挨家挨户送了建校通知书，可是没人来上学，而他的父母也没真正做过准备，打算接受什么人上学。终于，父亲被逮捕了。父亲被押解到马夏西监狱前对他说的最后一句话是：“我这辈子再也不能重见天日了。”“我当时信以为真，”查尔斯对福斯特说：“我的心都碎了。”后来，他把这一节事实和他探监向船长“借餐具后和父母共进午餐的事都详详细细写进了《大卫·科波菲尔》，不过把他父母打扮成米考伯夫妇了。
小小年纪，查尔斯便要分忧了。先是把家里东西一点点卖掉，早在写《大卫·科波菲尔》前，他就把这些细节向福斯特讲叙过，在书中，他又把它们再现了。收购旧书的商人入当铺的老板和店员，都是和他幼年生活不可分割的人物。
但是，最令他伤心，也极少被他提到的是他做童工的经历。他只对福斯特讲起这段旧事，而且每次讲到都伤心万分，讲完后要很久才能恢复正常。下面是狄更斯在自传中的一节有关此经历的介绍：
“也是我命中不幸，我自己常常痛苦地这样想。那个曾在我家住过的亲戚詹姆斯·拉默特当了黑鞋油店的总管……，他建议把我送到黑鞋油店作工……在某个星期一的早晨，我去了，开始做学徒。使我感到惊讶的是我在那样的年龄就那
