葛罗米柯等元老也认为戈尔巴乔夫在政治上过于年轻，缺乏掌控大局的能力。 权衡之下，中央政治局委员们决定重拾“老人政治”的老路，推选了73岁的契尔年科为总书记。

对一贯强调稳健的葛罗米柯而言，这无疑是沉重打击。 1988年10月，葛罗米柯正式宣布退休，却并未能安享晚年。 随着戈尔巴乔夫改革深入，苏联局势更趋动荡，他对此感到极度失望和无力。 政治压力和精神负担加重了他的健康问题。 1989年7月，葛罗米柯去世。