两天后，他终于找到了自己的梦想。房子在新生南路三段六十巷一号的陋巷小屋，小屋月租二百二十元，只四个榻榻米大，矮得双手不能向上举，李敖名之曰“四席小屋”。隔壁住着李善培，两人合买了一台收音机，又弄来唱机，把木板隔间挖一个洞，置收音机与唱机于洞口，两人谁都可以使用它。
房不在大，有之则行，斯是陋室，唯吾德馨。“江水皆东我独西”，李敖不以逆境和困厄为苦，反而十有“俯仰之乐”。天将降大任于人，必先苦其心志、劳其筋骨、饿其皮肤、空乏其身，李敖这些都得到了。他就是要在困境中独养一种大人物的苍茫心境，浩然之气。
他翻开《大藏经》，摊开《宋会要》，找出《东方学报》，他要在书城文海中掩埋他内心的波澜与寂寞。
1961年2月17日对李敖来说是一个伟大的纪念日：他于这一天住进了四席小屋，虽然第一月的房租是借别人的。第二天即有日记记载：
入夜在小屋中边整理边读写，伏大桌上，点一百支灯，听外面小雨声，想到多年奔波，今夜起聊得小休，兴奋得连撒三尿。
“四席小屋”开门就是陋巷，出巷即是台大。陋巷左右门对门共有小屋十多间，进入巷口第一间住着一个胖侨生，每次打他门前经过李敖都心生暗羡：他房里有一台小电扇，而李敖则买不起。
一分钱难倒英雄汉，吃饭问题此时仍是“伟人”李敖最大的问题。李敖北上的时候，妈妈送给他二百元、三妹送他一张火车票，而助理薪水又迟迟发不下来，李敖全靠借钱维生，窘迫不堪。
一次在外遇雨，迫不得已，李敖坐计程车回来，这是李敖第一次坐计程车，想不到表一跳又一跳，李敖的心也随之一跳又一跳，车费跳到十元，李敖再也沉不住气了，连呼：“下车，下车！”穷困至此，连计程车都坐不安稳。
施珂在中学教语文，见李敖贫困，代为设法。他说语文老师们懒得改作文，愿以一本一元的代价，由外面承包。由他搭桥，李敖接了第一批活：五十本作文，他一口气改了二十本，赚了二十元。
李敖虽穷仍不改侠义情怀。一天，他只有一张吃一顿的饭票了，而李善培一张也没有，李敖就把饭票送给了李善培，谎称自己吃过了，害得自己饿了一顿。人穷到这种程度，只好赶写文章发表，靠稿费救急。于是，从三月到四月，李敖陆续写出《充员官》、《独身者的独白》、《爱情的刽子手》、《中国小姐论》等文章，分别发表在《中华日报》、《联合报》、《人间世》杂志等，聊辟财源。但李敖人穷气长，决不为钱而丧失自己的立场。当时有份杂志《幼狮学报》，是蒋经国救国团的刊物，稿费甚优，有人介绍李敖去投稿，但被他拒绝了。
李敖不但努力写作，也努力进修，有一段时间他忽然发神经，要把法文、德文同时学出个名堂，于是加入补习班，每周一、三、五学法文，二、四、六学德文，过了一阵子，有人问知情者：“李敖到底是法文好还是德文好？”知情者回答：“那要看你是星期几问他。”
穷则穷矣，但李敖不改其乐。在四席小屋读书、作文、请客、会友、拜师学艺或师友周旋、昼出夜伏或昼伏夜出，倒也紧张有趣。
李敖留有完整的“四席小屋”日记（1961年2月16日到6月19日），不妨拜读几节，与其同乐、同苦，体会他那新鲜活跃的生活景象。
二月十七日——夜与姚先生谈……随我自由研究，在一块大园地里随便种什么。胡先生说的也不一定对。姚的看法也不一定对，可能现在对将来就不对了……胡适之初有揽我之意，询我地址，姚知我写东西给胡之事，姚以我在军中，接胡信殊不便。目前四五月内姚只想给晋生工作，似不想给我工作。为不领干薪，姚拒绝了去年八月起给我薪水，结果六千元失掉了，姚老此作风甚令人佩服……胡问我老子名字，姚答不出。
二月二十一日——启庆早来，同赴校，借五百金，姚老头竟要我开借单，真是可恼可笑，思将珂手中之一百美金转借，乃去第九宿舍……
二月二十五日——去姚家还钱，老头儿吃喜酒去了。
二月二十七日——午与善培合宴启庆于寿尔康，归与启庆品茗谈，再赴校找姚老头，还钱他不受，他言对我之信任与能力之期许与赞扬，又写名片介绍蒋复璁，翻看东方杂志后归。
电子书 分享网站
2．委蜕大难求净土（2）
三月一日——午前与晋生同骂老头儿，老头儿们惟恐青年人有钱。
