Šis pastatas – baronų Firksų XVI amžiuje statytas dvaras. Paprasto pastato architektoninė apdaila stebina daugybe įvairių detalių. Pirmasis dvaro savininkas buvo riterių palikuonis Jurgenas fon Firksas, 1494 metais iš Livonijos ordino Kuldygos komtūrijos gavęs valdyti žemės ir čia pastatęs pirmąjį namą, stovėjusį pusantro kilometro į šiaurės vakarus nuo dabartinio senojo Ventos tilto, kairiajame upės krante. 1620 metais Nurmuižos savininkas Kristoferis Firksas buvo įrašytas į į Kuržemės riterių matrikulą. Rusijos imperijos sprendimu visai fon Firksų giminei buvo suteiktas paveldimas baronų titulas. Firksų giminė pardavė žemę hercogui Peteriui Bironui, o pastarasis – fon der Brinkenui iš Kurmalės, šis – Verneriui fon Berui iš Ugalės, kol dvaro žemę nusipirko vienas iš garsiųjų fon Sakenų. Turtas iš toliau ėjo iš rankų į rankas, todėl net tiksliai nežinomi dabartinio dvaro pastato statybos metai. Virkos dvaro ponų namas iš pradžių buvo statytas kaip vasaros dvaras, o vėliau buvo pateko į Kuldygos miesto sudėtį. Senosiose fotografijose matyti, kad anksčiau dvaras neturėjo jugendo stiliaus mūrinių sienų, pastato gale buvusi veranda. XX amžiuje pastatas buvo paplatintas. Kadangi Virkos dvaro ponų namas yra vienintelis medinis dvaras Kuldygoje, nuo 2014 metų jam suteiktas vietinės reikšmės architektūros paminklo statusas. Pailgo vienaukščio namo dvišlaitis stogas dengtas čerpėmis. Pastato fasadas išsiskiria plačiu priebučiu, virš kurio įrengta dengta terasa. Langų apvadai dekoruoti mediniais drožiniais, terasos stogo galą puošė iki šių dienų neišlikęs siluetinis pjaustinys. Erkerius anksčiau vainikavo ir skulptūrinės vazos, kurios dabar naudojamos kaip gėlių vazonai. Anksčiau ir Latvijos (kaip ir iki šiol didžiosiomis Europos) upėmis plaukiojo keleiviniai laiveliai ir baržos. XIX–XX amžių sandūroje ir vėliau Ventos žemupyje susisiekti padėdavo nedidelės gramzdos garlaiviukai. Tuo metu iš Kuldygos į Ventspilį ir atgal kursuodavo garlaivis „Sarja“, kiek vėliau – motorinis laivas „Piltene“. Laivų prieplauka buvo įrengta prie Virkos dvaro vandens malūno, tai buvo vienintelė krovinių perkrovimui pritaikyta vieta, iš kurios vedė kelias į miestą. Šioje vietoje srovė nestipri, o upės gylio ir pločio pakako, kad laivas galėtų apsisukti. Kuldygai ir jos gyventojai išgyveno ir karo neramumų. Dvarui šis laikotarpis – itin nerimastingas. Antrojo pasaulinio karo pradžioje čia buvo įrengta rusų karo ligoninė. 1942 metais Vilio Plūduonio [Vilis Plūdonis] gimnazijos moksleiviai per Miško dienas netoli Virkos dvaro maždaug trečdalį žemės ūkiui nenaudojamos žemės hektaro apsodino tuopomis ir pušelėmis. Be to, buvo pasodintas 31 ąžuolas į Sibirą išvežtiems kuldygiečiams atminti. Baigiantis karui Virkos dvare buvo įrengta Kuldygos mašinų ir traktorių stotis, arba MTS. Žinoma, tai prisidėjo prie dvaro sodybos niokojimo. XIX amžiuje prie ponų namo buvo pasodintas nedidelis parkas, kuriame kurį laiką stovėjo betoninis fontanas, kurį 1952 metais sukūrė viena Kuldygos vidurinės taikomosios dailės mokyklos paskutinės laidos auklėtinių Ramona Zuomerfeldė [Ramona Zomerfelde]. Deja, aštuntajame dešimtmetyje fontanas buvo demontuotas, o jo dalys panaudotos gėlėms sodinti. Virkos dvarui, kurį žmonės vadino ir Althof, arba Senuoju dvaru (latv. Vecmuiža), priklausė 372 ha žemės, du palivarkai – Naujasis dvaras (latv. Jaunmuiža, vok. Neuhof) ir Dzilnos, be to, Brigio namai ir šešios žemdirbių sodybos.