704工程，是林彪为发动“571”武装政变而在杭州设立的一个军事基地，以“571”工程命名，易暴露其阴谋，所以就以当时建造年月为代号，因是1970年4月竣工的，故称“704”工程，后来人们将它叫作林彪的“704〞行宫。

据介绍，当时为建设这座行宫动用了大量的工程兵部队和79个单位的7000多名民工日夜苦战，用了一年零2个月，花费人民币3100多万元。

1969年5月18日，当时作为国家副主席的林彪就曾表露出其篡党夺权的野心，为了完成篡党夺权的阴谋，林彪决定在杭州设立一个军事基地。于是壹号楼下面，建了一个作为紧急情况下动用的大型地下军事指挥中心。

地下指挥中心总面积为4000多平方米，是一个独立的坑道式建筑，设有指挥室、通讯发报室以及为此而附设的发电、供水系统和食物储备区。

704行宫机关重重，安全防范措施十分严密。在重要设施地下室里，一些通道与出口的门，都是重达500公斤的各型根据需要而制造的防弹、防毒、防水钢门，地下室还设有一部专用电梯，直通林彪卧室。为防范有人进入地下室，地下室通往林彪卧室的通道建设了一段特殊的回音通道，一旦有人进入这一通道，监听者可通过强大的脚步回音马上发现来人。

1号楼是当时占地面积最大的一座建筑，内有接见大厅、影剧院、会议中心、餐厅、厨房和大套间等。

在林彪卧室里有一盏看起来并不起眼的灯，像一顶农家草帽，俗称莲花灯，是用藤条绕制成一个草帽形状，外面包着一层乔其纱。这样一来，即使因意外，灯从上脱落，特制的这个草帽形灯托就会像降落伞一样轻轻落下，而不会砸伤人。

林彪怕水，自然对下雨的水滴声不感兴趣。设计者为此也颇费了一番心思，于是整个房屋的房顶用8~12层材料组成一个特殊的暗水流沟系统，可以让雨水自行消失在瓦缝里不会下滴，再通过暗沟排出去，从而使雨中的别墅群没有水滴声，显得很安静。

各房间的门窗玻璃，也是特别设计安装的，它由防弹玻璃、防紫外线玻璃及普通玻璃组成的三层玻璃门窗，这样一安置，不仅具有保温、防紫外线辐射和防弹功能，而且从室内向室外看，外面的事物一览无余，而从室外却看不到室内任何东西。林彪有时到阳台上晒太阳，为了保证安全，封闭的阳台还设有监控装置，可以监控。

林彪的事情败露后，杭州的七零四行宫也随后被发现。随着时间的推移，这座行宫已经成为浙江宾馆。随着旅游热的兴起，历经改造后的七零四行宫开始成为西子湖畔一个新的景点。游过风光旖旎的西湖，再进入七零四行宫，人们为一段历史而沉思，也从这段历史中受到教育。也许这正是七零四行宫面向游人开放的真正意义所在。