绮园园主充缵斋系清代诗人、剧作家黄燮清之次婿，黄家先后拥有拙宜园和砚园。清咸丰年间（1851-1861），两园均遭兵火毁坏，同治六年，冯缵斋集两园山石精粹，并添置一些太湖石，修筑此园，同治十年初具规模。后又续建了亭台楼阁等，增设景点，并将其命名为绮园。解放后冯氏将园林献给了国家，1960年10日至1961年10月辟为嘉兴专署工人疗养院。1967年重修，更名为海盐人民公园。1980年被列为县级重点文物保护单位，1985年6月复名绮园，1990年列为省重点文保单位。