胡乔木在美国避见记者，除了考虑安全问题——不愿行踪见报，也由于考虑到海外对他颇有微词。

    海外的评论属“参考消息”，主要是认为胡乔木“左”。

    平心而论，胡乔木自庐山会议起，曾对“左”有所批判。也正因为这样，他在“文革”中才会遭到那些“左”派们的批判。也正因为这样，他在1975年复出，与邓小平一起大力整顿、纠“左”。此后，他起草中共十一届三中全会公报，起草《关于建国以来党的若干历史问题的决议》，对于彻底否定“文革”、批判“两个凡是”，起了很大的作用。从这个意义上讲，他并非“左”派，他下了大力克服毛泽东晚年严重的“左”的迷误。

    然而，他毕竟长期在毛泽东身边工作，毛泽东自1957年以来日益严重的“左”的思想也曾深刻地影响了他。即便在毛泽东去世之后，“左”的影子也不时困扰着他。

    另外，如胡耀邦1985年5月10日跟香港《百姓》杂志社社长陆铿谈及胡乔木时，这么说及：“人谁也不是完美无缺的。如果胡乔木同志算他缺点的话，那就是由于长期工作在毛主席的身边，到基层的时间少了些，在经济问题的研究方面还不太充分。我自己也不行！”

    胡乔木自己也有所感。1982年2月，他在一首诗中写道：

    1992年8月，在他离世前不久，他在病榻上写了一生中最后一首诗《赠谷羽》。在这首诗中，他向妻子道出了晚年的心声：

    白头翁念白头婆，一日不见如三秋。

    五十馀年共风雨，小别数日费消磨。

    此生回顾半虚度，未得如君多建树。

    两弹一星心血沥，正负对撞声名着。

    晚年遭遇颇离奇，浮云岂损日月辉。

    自古功成身合退，沙鸥比翼两忘机。

    伏枥亦作并驾图，缠身衰病心有馀。

    抚躬一事堪自慰，唱随偕老相护扶。

    人言五十是金婚，黄金纵贵难比伦。

    夕阳更胜朝阳好，傍君不觉已黄昏。

    胡乔木诗中的“晚年遭遇颇离奇”，可以从前中共中央组织部副部长、原中顾委委员李锐的《耀邦去世前的谈话》一文中得到铨释。李锐在文章中回忆中共十三大选举的情景：

    1987年的中共十三大选举，大会选举中央委员，耀邦得票一千八百多，只少几十票。随后一中全会选举政治局委员，中央委员一百七十三人，耀邦得一百六十六票，后来知道未投他的七票中，有他自己一票。

    在中央委员的选举中，邓力群落选了，据说为了照顾，违反程序，临时将他放到中顾委候选名单中（无差额），以最少票入选。在中顾委选举常委时，又想让他进常委，气氛很是紧张（我是亲临其境的）。一共有一百八十七投票，邓力群只得八十五票，连零头都不够，又落选了。

    胡乔木只得了一百三十五票，是票最少的二人之一。选举完后照相，临时撤去邓力群的前排座（事先为当选常委准备的）。胡乔木最后走过来，一脸死色，无人同他打招呼。

    人眼是秤。不言而喻，胡乔木晚年在“清污运动”中的“左”的表现以及与周扬的论战，使他在中共中央委员的选举中的得票数剧降，同时也使他的“副手”邓力群落选。正因为这样，胡乔木在衰病缠身的人生黄昏之际，感叹“晚年遭遇颇离奇”……

    不过，诚如胡绳所言：

    胡乔木同志也有他的缺点和弱点。他自己说过，他的思考所得有些并不周到。但是把他一生的思想活动和工作总起来看，是值得后人景仰和学习的。

    即便是“晚年遭遇颇离奇”，胡乔木在他生命的最后时刻，仍然埋头于工作。他的夫人谷羽深情地回忆：