Kaltenbach se nachází ve střední části údolí Zillertal, na naplaveninách stejnojmenného potoka, v nadmořské výšce 558 m. Obec, ke které náleží i menší osada Ernberg, byla poprvé písemně zmíněna roku 1150 pod názvem "Chaltenbach". Vzhledem k tomu, že byla městečka Riedbach, Angerbach a Kaltenbach, stejně jako třeba Ziller, znovu a znovu ohrožována povodněmi, byl rozvoj zemědělství téměř nemožný. Od roku 1685 se ale v Zillertalu začal rozvíjet obchod s léčivy a s léčivými oleji, který se velmi brzy rozšířil až do Švýcarska a do Německa.