形容看着很暖和实际很冷的成语主要有以下两个：

不寒而栗

本义指不冷而发抖，形容非常恐惧。但也可引申为看到温暖的外表或场景，但内心却感到寒冷或不安。例如：

> 看着壁炉火光温暖，他却因思念远方的家人而不寒而栗。

寒心

形容因失望、痛心等情绪而感到心寒，也指实际天气寒冷。例如：

> 虽然屋内暖气充足，但看到同事被批评后，他感到一阵寒心。 > 这座城市冬天本不严寒，但雾霾天气让城市显得格外寒心。

这两个成语都能表达“看着温暖但实际寒冷”的矛盾感受，可根据具体语境选择使用。