美術館建設計画は昭和48（1973）年３月に制定された「渋谷区長期基本計画」の策定の中で、教育文化の向上の一つとしてとり上げられました。
実際に美術館が建設された場所は松濤の元土木事務所跡地ですが、この地域は高級住宅街という土地柄もあることから、この地にふさわしい施設を検討する中で、図書館や公会堂、総合体育館などの他の文化施設を退け美術館の建設を決定したものです。
昭和52（1977）年度当初予算の中に、23区では初めての美術館建設構想をうたい※、13,035千円の地質調査、設計委託料等を計上するとともに、神奈川県立近代美術館館長の土方定一氏ら8名の美術関係者の協力を得て、建設準備懇談会をひらき、基本構想固めを行いました。その後、正式に設計を白井晟一研究所へ依頼することが決められたのです。

※実際の開館は1981年となり、東京都では板橋区立美術館（1979年）につぐ２番目の区立美術館となりました。

昭和53（1978）年度には基本設計及び実施設計が出来上がり、建築模型と共に渋谷区へ提出されました。外壁には白レンガのような恵那錆石を使い、ちょっとした欧州のシャトー風で建物自体が美術品ともいわれるほどのものです。建物の中央は地下2階から屋上まで大きな吹抜けとなっていて、魚鱗の形をした窓枠がはめこまれ、地下2階部分は噴水のある池となっており、どのフロアもその吹抜けから採光できる仕組みになっていました。区の関係者はこれらを見て感嘆の声を上げましたが、当初予算の建設費では白井の設計意図どおり施工することは到底できず、区は白井側と折衝を重ね、結果的には区の標準単価の倍ぐらいの予算はやむをえないという結論に至り、白井もこれを了承し、建設費も区議会の承認を得て工事に着手しました。

大規模工事であればあるほど工事施工中の設計変更はつきものですが、松濤美術館の建設工事も例外ではありませんでした。もちろん設計変更は建設準備懇談会を構成している美術専門家などによって検討された運営管理面上からの改善意見に基づいて設計を変更するものであって、これにより限られた展示室内部の機能を拡大するとともに、来館者の動線や運営上の問題点について改善しようとするものです。したがって内部的には若干の間取りの変更を伴いますが美術館の基本的な形態や機能には何ら変わりはありません。
例えば、展示スペースを増加させるため、原設計では中央吹抜け部分より「ブリッジ」を渡り地下１階の展示室に直接出入りできるように階段を設けていましたが、設計変更ではこの階段をとりやめて「ブリッジ」から入った踊場の部分を「ロビー」から廊下へと一周できる「ギャラリー」を設けたり、配管スペースを確保するため、原設計では２階展示室のサロン・ミューゼを挟んだ左側に特別陳列室、右側に厨房が配置されていましたが、設計変更ではこれの左右を入替えたりしました。

設計変更の中でも一番大きな変更は外壁に使われる石材の変更でした。原設計では恵那錆石を使用する予定でしたが、地味で錆色が濃く暗い感じがすることから、もう少し明るい感じを出したいという白井の発想により、韓国ソウル郊外の石切場から採れる強いピンク色の花崗岩を使用することになりました。外壁の石材の変更は完成させる美術館を少しでも良くしたいという強い想いが迸発しているもので、より条件が良く、より美しく、そして建物に都合の良い材料がみつかればどんどん使っていくべきであるという彼の信条から、この花崗岩に目を付けた白井は「自然の発見」と自負し、名前がなく日本では誰も知らないような石であったため、自ら紅雲石と命名して日本へ持ってきました。このような経緯から紅雲石を外壁に使用することになったのです。

昭和53（1978）年度から始まった工事は昭和55（1980）年の夏に竣工を迎えました。そして壁紙や建材の糊・接着剤から発生する化学物質の影響をなくすため、空気中の酸・アルカリを除去する約１年３か月間の枯らし期間の間に、松濤美術館条例の制定・施行、美術館事業の管理委託のための財団法人渋谷区美術振興財団の設立を経て、昭和56（1981）年10月1日、開館の日を迎えました。