松赞干布631年修的宫殿已经在朗达玛
松赞干布修建的那个宫殿，在西藏连300年都没扛住，更准确来说是刚修建完成后的100年，在7世纪后期就遭到了大规模劫掠，当时由信奉原始宗教的贵族大臣发起的第一次禁佛运动，大量的珍贵珠宝被搬离布达拉宫
在8世纪后吐蕃王朝解体，于869年发生了“平民和奴隶大暴动”，布达拉宫遭受了严重破坏，各种僧侣们集体出逃，一共遭到了4次大的洗劫，长期被弃于一隅，规模日益缩小
在9世纪时，布达拉宫已经缩小到只剩几座房子了，所以被合并大昭寺，作为其分支机构进行管理。
9世纪中期，由朗达玛发起的第二次禁佛运动，使大昭寺或沦为屠宰场，释迦牟尼像两次被埋于地下，而布达拉宫仅剩的几间房子的石砖瓦块全部被搬走建了养猪场
只有法王修行洞无法被搬走，一直留在了原地
宋，元、明时期，吐蕃分裂成了十几个小政权，政权的政治中心根本不在拉萨，各大割据的政治中心在萨迦、帕竹、仁蚌等地方，拉萨就这样抛弃了，拉萨城的布达拉宫更是彻底被荒废了
一直到明正德十三年(1518年)，支持格鲁派的和硕特部首领固始汗击败西藏各个地方势力，建立了蒙藏联合的甘丹颇章政权，重新再一次统一西藏
1520年帕竹政权的第悉阿旺扎西扎巴坚赞投降，二世达赖喇嘛根敦嘉措重新进入拉萨城，时隔500年，拉萨才重新变成西藏的政治核心，修建宫殿甘丹颇章，此后二世、三世、四世、五世达赖喇嘛都以此为住宅
1645年，第五世达赖喇嘛罗桑嘉措在会见了他的灵友由贡却杰布后，决定开始选址修建布达拉宫，而选址地就位于哲蚌寺、色拉寺和拉萨旧城之间，这是一个政权建设的理想地，并把政权机构从甘丹颇章迁来。
同期，蒙古的固始汗曾派出蒙古兵丁帮助运送建筑材料并维护建设工程的安全
1648年基本建成大概的框架
这个时候的布达拉宫基本由藏族人独立建造，受到了部分蒙古人的帮助，
一个白色的石头主体建筑，两层再带一个阁楼，上面铺点木板作为屋顶
1690年，第司桑杰嘉措为五世达赖喇嘛修建灵塔，扩建了在白色部分之上的红色部分，作为顶级宗教祭祀场所，也就是这么说的。“红宫”
于是开始求助于清朝朝廷
