Hoone on parun Fircksi poolt 16. sajandil ehitatud mõisahoone. Lihtsa hoone arhitektuurses viimistluses leidub üllatavalt palju erinevaid detaile. Mõisa esimene omanik oli rüütlite järeltulija Jürgen von Fircks, kes 1494. aastal sai Liivi ordu Kuldiga komtuurilt oma haldusesse maa ja ehitas siia esimese maja – poolteise kilomeetri kaugusele praegusest vanast Venta sillast loode poole, jõe vasakule kaldale. 1620. aastal võeti Nurmõisa omanik Christopher Fircks vastu Kuramaa rüütelkonna maatriksisse. Vene impeeriumi otsuse alusel anti kogu vonFircksi suguvõsale päritavate parunite tiitel.Fircksi suguvõsa müüs maa hertsog Peter vonBironile, kes müüs selle edasi Kurmalast pärit vonderBrinckenile, kuid tema omakorda – Werner vonBehrileUgalest kuni mõisamaa ostis üks kuulsatest vonSakenidest. Kinnistu käis jätkuvalt käest kätte, mille tõttu pole tänapäeval nähtava mõisahoone tegelik ehitusaasta isegi teada. Virka mõisa (Virkas muiža) härrastemaja ehitati alguses suvemõisaks, kuid hiljem sai see Kuldiga linnapiirkonna osaks. Vanadelt fotodelt on näha, et algselt ei olnud mõisal juugendstiilis ehitatud müüre ja hoone otsaosas asus veranda. 20. sajandi alguses hoonet laiendati. Kuna Virka mõisa härrastemaja on ainus puitmõis Kuldigas, omistati sellele alates 2014. aastast kohaliku tähtsusega arhitektuurimälestise staatus. Pika ühekorruselise maja viilkatus on kaetud katusekividega. Fassaadil paistab omakorda silma avar veranda, mille kohale on ehitatud katusega terrass. Akende servad on kaunistatud puunikerdustega, terrassi katuseharja otsas asus puidust ornament, mis ei ole kahjuks säilinud. Ammustel aegadel kroonisid ärkleid skulptuur-vaasid, mida kasutatakse nüüd lillepottidena.
Varem kurseerisid reisilaevad ja praamid ka Läti jõgedes, nagu need praegugi kurseerivad Euroopa suuremates jõgedes. 19. ja 20. sajandi vahetusel ning ka hilisematel aastatel sõitsid Venta alamjooksul väikese süvisega aurikud. Tol ajal kurseeris Kuldiga ja Ventspilsi vahel aurulaev „Sarja“, hilisematel aastatel – mootorlaev „Piltene“. Kai asus Virka mõisa vesiveski juures, mis oli ainus sobiv koht veoste ümberlaadimiseks ja kust viis tee ka linna. Selles kohas pole tugevat veevoolu ning jõe sügavus ja laius olid laeva ümberpööramiseks piisavad. Ka Kuldiga linnast ja selle elanikest ei läinud sõjategevused mööda. Mõisas oli see väga ärev aeg. Teise maailmasõja alguses asus mõisas vene sõdurite hospidal. 1942. aastal istutasid VilisPlūdonsi gümnaasiumi õpilased metsapäevade raames Virka mõisa ümbruskonnas asuvale 0,365 ha suurusele mittekasutatavale põllumajandusmaale suure hulga papleid ja mände. Samuti istutati Siberisse küüditatud Kuldiga elanike mälestuseks 31 tamme. Sõja lõppedes paigutati Virka mõisasse Kuldiga Masina-traktorijaam ehk MTJ. Loomulikult avaldas see mõisale laastavat mõju.
Mõisahoone juurde rajati 19. sajandil väike park, kus mõnda aega asus ka betoonist purskkaev, mille kujundas 1952. aastal Kuldiga Kunsti- ja käsitöökeskkooli üks viimastest lõpetajatest – Ramona Zomerfelde. Kahjuks demonteeriti purskkaev 1970ndatel aastatel ja selle osi on kasutatud lillepottidena. Virka mõisale, rahvasuus tuntud ka kui „Althof“ või Vecmuiža (Vanamõis), kuulus 372 hektarit maad, kaks poolmõisa – Jaunmuiža (Uusmõis ehk Neuhof) ja Dzilnas – ning Brigise maja ja kuus talumajapidamist.