1965年，羅瑞卿擔任5個方面的13個重要職務：中央委員、書記處書記、副總理、軍委常委、軍委秘書長、總參謀長、國防副部長、國防委員會副主席、人民防空委員會主任、國防工業辦公室主任、十五人專門委員會兼職中央專委成員兼辦公室主任。

他要參加的會太多，每一個都很重要；他要接觸的人更多，每個都是能影響全國的人物。可以說，他是當時毛主席、周總理、朱老總等領導間，交流和工作的重要中樞。

1965年12月，羅瑞卿因爲做不到睜一只眼閉一只眼，無法“水清不至清”而倒台。他與1959年落幕的彭德懷，有許多相似之處。

1938年，時任抗大副校長的羅瑞卿，在延安鳳凰山下同毛主席一起寫書。寫書過程中，毛主席送了羅瑞卿兩句話：“水至清則無魚，人至察則無徒。”這兩句話的意思，不消多解釋，大家都明白。其中的道理，也是衆所周知。

任何一個偉大的人物，要達成一項偉大的成就，都要有堅定不移的信念，然後踐行。“至清”、“至察”，正是羅瑞卿的信念。

他與彭德懷一樣，體察實情、剛正直率、敢講真話、生活簡樸。請客送禮絕對不行，特殊待遇更是不可能。毛主席送給羅瑞卿的這兩句話，黃克誠也送給過彭德懷。偶爾的實事求是很簡單，一生的實事求是卻很難。

羅瑞卿自認爲，自己跟彭德懷還是有很大的區別的；彭做過的事情，羅沒做過。

1973年11月，“九·一三”的2年3個月後，對于羅瑞卿的監禁終于解除，家人可以探望了。當時他住在301醫院的病房裏。恢複了點自由的羅瑞卿，終于可以不在陌生人的監視下睡覺，終于可以關上門、關上燈睡覺了。

解除監禁的第一個晚上，羅瑞卿是跟女兒共同度過的。他們父女倆興奮得一晚上沒睡著，聊到後面，講了幾次“睡覺，明天再講”，但還是停不下來。最後無語時，房間裏靜悄悄的，父女倆躺在各自的床上睜著眼睛。

羅瑞卿害怕打擾到女兒，甚至翻身的動作都不敢做；最後難受得不行，才在“通知”一聲後，動了起來。

有一天，羅瑞卿指著走廊另一端的隔壁，坐著一個衛兵的病房，悄悄問女兒：“那裏面關著的是誰啊？”女兒小聲回答：“我也不確定，聽說是彭德懷。”

羅瑞卿聽後恍然大悟，那個病房他注意了很久，沒想到是彭德懷做了自己鄰居，還以爲是誰呢。女兒不解地向羅瑞卿提出疑問：“他房間的窗子、門上，爲什麽都糊上了一層嚴嚴實實的報紙？”

羅瑞卿講，被專案組管的人都這樣，我原來的房子也有，放出來那天才撕的，你沒看到而已。

幾天後，羅瑞卿又提起這事，略帶傷感和不滿地對女兒講：“上面不應該把我跟彭德懷關在一起，他還是做過幾件反對毛主席的事，我拿什麽和他比呀？”他是親身經曆過1959年的廬山會議的，所以對一些情況十分了解。

即便經曆了這麽多，羅瑞卿對毛主席依舊萬分崇敬，對他的種種牢記于心，從未有忘。1965年12月被撤職前，毛主席托周總理，給羅瑞卿帶來過一句話：“羅瑞卿反對過別人，還沒有反對我。”