Uszczelnianie okien

Mam w domu okna plastikowe, ale mają one już dobre 20 lat, więc jak można się spodziewać, nie są w idealnym stanie... Co roku dopłacamy do ogrzewania chociaż ciągle zimno. Zaczęły się już pierwsze mrozy i jak przyłoży się dłoń pod ramę to wyraźnie ciągnie zimnem, a w przypadku najgorszego okna (najczęściej przez lata otwieranego) potrafią się pojawić kawałki lodu (!) w środku mieszkania. Drzwi od balkonu też są koszmarem. Na wymianę całych okien mnie nie stać, stąd pytanie czy da się to jakoś uszczelnić? Ogólne wrażenie mam takie, jakby okna się nie domykały na 100% (gumka przez lata sparciała?).