Działanie pompy ciepła oparte jest na zasadzie działania lodówki. Gdy lodówka usuwa ciepło z wnętrza i przekazuje je na zewnątrz, pompa ciepła usuwa ciepło z przestrzeni zewnętrznej i przekazuje energię do domu.

Powietrzne pompy ciepła zasysają powietrze zewnętrzne przez wentylator, który dostarcza ciepło z otoczenia bezpośrednio do pompy ciepła.
Pompy ciepła mają również obieg, w którym krąży gazowy czynnik chłodniczy. W wymienniku ciepła, tzw. parowniku, następuje przekazanie energii środowiska z pierwszego obiegu do czynnika chłodniczego. Efektem jest odparowanie czynnika chłodniczego. W przypadku powietrznych pomp ciepła to powietrze zewnętrzne ogrzewa czynnik chłodniczy.
Para czynnika chłodniczego jest pobierana przez sprężarkę. Podnosi ona poziom temperatury czynnika chłodniczego, więc robi się on cieplejszy. W innym wymienniku ciepła, tzw. skraplaczu, gorący czynnik chłodniczy w postaci gazu pod wysokim ciśnieniem jest skraplany i oddaje ciepło. Następnie skroplony czynnik chłodniczy trafia do zaworu rozprężnego. Tam ponownie zmniejsza się jego ciśnienie, a czynnik zmienia stan skupienia na ciekły.
W ogrzewanym budynku znajduje się instalacja grzewcza i zasobniki magazynujące ciepło. Zwykle krąży w niej woda jako czynnik grzewczy. Woda przejmuje ciepło, które czynnik chłodniczy oddał w skraplaczu w trakcie skraplania i kieruje go do systemu dystrybucji, takiego jak ogrzewanie płaszczyznowe lub grzejniki, do zbiornika wody grzewczej  lub ciepłej wody użytkowej.