Działanie pompy ciepła jest oparte na prostym mechanizmie. Pompy ciepła pobierają ciepłą energię z pewnego źródła, którego temperatura jest niższa niż w pomieszczeniu, które zamierzamy ogrzać i przetwarza to ciepło tak, aby miało wyższą temperaturę niż na początku. Ten sposób działania porównuje się często do pracy lodówki, która pobiera ciepło z zawartych w niej produktów i oddaje to ciepło otoczeniu. Pompa ciepła ma bardzo podobną zasadę działania. Odpowiednia instalacja pompy ciepła (np. układ rurek wypełnionych glikolem z wodą) pobiera ciepło z gleby, powietrza czy wody gruntowej, następnie kondensuje to ciepło za pomocą sprężarki i oddaje swojemu otoczeniu.
