他的祖上是在清雍正年间从湘乡贩茶路过乌石峰，看到这里山清水秀，林木葱郁，人家稀少，是个可以定居的好地方，于是就在山下买了一片坡地，修了几间茅屋，从此落了户。因人得名，这里后来便被人们称为彭家园子。
乌石寨也好，彭家园子也好，山清水秀也好，在腐败的清王朝统治下，穷人是只能越来越穷。彭德怀一生下来，便受到一个又一个的打击和不幸。
在他8岁时，母亲死了，父亲也患病躺在床上，伯祖父80开外，祖母年过70、三个弟弟无人照管，只有半岁的四弟在母亲死后不到一个月便饿死了。生活的担子从此便沉重地压在他瘦小的肩上。这样可怜的生活，在彭德怀幼时的心灵上刻下了很多、很深的印痕，也极大地刺激并给了他终生难忘的影响。在《彭德怀自述》中他写了这样一件事：彭德怀10岁时，一切生计全断。正月初一，富人家喜炮连天，他家却无一粒米下锅，无奈，彭德怀只好领了二弟去当叫化子，沿门乞讨。走到一个地主家门前时，地主高兴地问他们：“你们是招财童子吗？”彭德怀答：“不是，我们是叫化子。”地主一听脸唰地一下便拉沉了，二弟连忙说：“是的，我们是招财童子，恭喜老爷发财。”地主一听又笑了，即给了他二弟一碗米饭。到了黄昏，彭德怀快要饿昏了，却没有讨到两升米。二弟问他为什么不说是招财童子时，彭德怀回答：“我不想说好听的让他们高兴。”
第二天，祖母又要他们去讨饭，彭德怀说什么也不愿去了，说：“我不去，讨饭受人欺侮。”祖母说：“不去怎么办？
一家人就活活饿死吗？“彭德怀答道：”我再也不拿打狗棍了，我要去砂柴。“祖母拿他没办法，带了两个弟弟又出门乞讨去了。望着祖母远去的背影，彭德怀伤心极了，他在书中写道：”寒风凛冽，雪花横飘，她，年过70的老太婆，白发苍苍，一双小脚，带着两个孙孙，拄着棒子，一步一扭的走出去。我看了，真如利刀刺心那样难过。“”我不愿说好听的让他们高兴“、”我再也不拿打狗棍了，我要去砍柴“。这是彭德怀发自幼小心灵之中对地主阶级的憎恶和对受压迫、受欺侮生活的反抗。也许正是从这时候起，他性格中的倔犟和执拗便埋下了种子，开始发芽并日益膨胀起来。
彭德怀的这一性格发展到后来，当他受到莫须有的攻击和诬陷之后，便更加强烈，并进一步和骂娘、发怒、大发雷霆结合起来。当有人说他发动“百团大战”是搞“独立王国”时，彭德怀发火了：“对百团大战的恶意攻击者，你们站到日本帝国主义和蒋介石集团的队伍里去了……你们不是站在讲演台上，用劲地叫喊打倒彭德怀吗？还喊打倒这，打倒那。你们想一下吧！你们自己呢？”即使在被林彪、江青一伙囚禁之后，彭德怀依旧对攻击他的红卫兵大发其火：“我有罪！
我的罪在于消灭了几百万日本兵。“当庐山会议上有人说他搞”军事俱乐部“时，彭德怀当时就大发雷霆：”开除我的党籍，拿我去枪毙了罢！你们哪一个是‘军事俱乐部’的成员，就自己来报名罢！“即使对不带恶意而自己一时又难以接受的意见和批评，彭德怀也时有抵触，庐山会议期间不少人都指出了这一点。对毛泽东本人，彭德怀也敢于当面顶撞、变颜犯上。在上一节所引的对话片断中，这一点亦表现得相当明显。
但是，彭德怀的这种倔强和执拗，并没有发展到顽固不化的地步，相反，他虽然对不同意见有抵触，对莫须有的攻击爱骂娘，但当个人名义和全局利益“国家命运相矛盾的时候，他也能作出牺牲和让步，即使内心非常痛苦。庐山会议前期，彭德怀对各种各样的批评，采取据理以争的态度，有时也非常强硬，但当7月30日上午，聂荣臻、叶剑英两位元帅劝他”着重反省自己，即使有些批评不完全合乎事实，只要于党于人民总的方面有利，就不要管那些细节“、”你不是常讲一个共产党员要能任劳任怨、任劳易任怨难吗？今天当着自己作检讨时，就要表现任劳任怨精神“之后，彭德怀的心里便开始活动起来。他在后来的笔记中写到了自己当时沉重的心情：”我非常感谢他们对我的帮助，决心从严检查自己。
但他们走后，我内心还是痛苦的。今天的事情，不是任劳任怨的问题，而是如何处理才会有利于人民和党。我给主席的信，不仅没有停止‘左’倾，反而加深了‘左’倾危险，起了反作用，这将是我的罪恶。“
痛苦归痛苦，但自这之后，彭德怀的态度已开始有了转变：开始时说“40天会，既感激，又不感激”，后来则认为“一个月来会上的批判，对我有极深刻的教育意
