Kuala Lipis terletak di pertemuan Sungai Lipis dan Sungai Jelai. Ia merupakan bandar tertua di Pahang dan pernah memainkan peranan sebagai ibu negeri Pahang sejak tahun 1898 menggantikan Pekan dipindahkan ke situ. Rekabentuk bandar ini adalah unik kerana lokasinya yang disempadani oleh Sungai Jelai di sebelah timur, landasan keretapi di sebelah barat dan kawasan berbukit di bahagian Utara dan Selatan. Secara tidak langsung, faktor semulajadi ini menjadi faktor kekangan kekal kepada perkembangan bandar ini. Oleh itu, fabrik bandar ini kekal dari dahulu hingga ke hari ini .Nama “Lipis" adalah dipercayai diambil bersempena dengan sejenis tumbuhan yang dikenali sebagai Serau Lipis ( Pavetta indica). Memandangkan lokasi bandar ini terletak di kuala Sungai Lipis, maka ia dinamakan Kuala Lipis. Penduduk awal di Kuala Lipis terdiri daripada golongan petani Melayu yang mengusahakan tanaman padi dan jagung. Elemen perhubungan utama pada waktu itu ialah Sungai Jelai yang turut menjadi faktor kepada perkembangan Kuala Lipis. Di samping itu, ia juga merupakan pusat perdagangan emas dan hasil-hasil hutan setelah penemuan emas di Raub.
Semasa pemerintahan British, landasan keretapi ke Pantai Timur Semenanjung dari Gemas telah dibina merentasi bandar ini ke Gua Musang, Kelantan. Menjelang tahun 1920-an , rumah-rumah kedai yang ada sekarang mula dibina di Jalan Besar dan Jalan Jelai dan sebahagiannya masih kekal hingga ke hari ini.
