Het eerste paleis stamt uit 637 en werd door Songtsen Gampo gebouwd in de richting van de hoofdstad van China, omdat zijn echtgenote Prinses Wencheng (文成公主) een dochter was van de Han-Chinese Tangkeizer en heimwee had naar China. In de zeventiende eeuw werd het gebouw vergroot. Door de vijfde dalai lama werd het zogenaamde ‘Potrang Karpo’ of ‘witte paleis’ gebouwd in 1648. Na diens dood werd in 1694 ook het ‘Potrang Marpo’ of ‘rode paleis’ afgebouwd. De laatste verandering vond plaats in 1922 toen de dertiende dalai lama veel renovaties doorvoerde en twee verdiepingen bij bouwde.