Rodzina Radziwiłłów nabyła Nieśwież w 1533 r. Pierwszymi właścicielami byli Mikołaj Radziwiłł i jego brat Jan. Wcześniej ów zamek, wybudowany w średniowieczu, należał do rodziny Kiszków. W 1551 r. tutaj zostały sprowadzone radziwiłłowskie archiwa, a w 1586 r. cały majątek został zamieniony w ordynację.
W 1582 r. marszałek wielki litewski Mikołaj Krzysztof Radziwiłł (Sierotka) na ruinach dawnych fortyfikacji rozpoczął budowę monumentalnego renesansowo - barokowego zamku na planie kwadratu, projektu Jana Marii Bernardoniego. Budowla została ukończona w 1604 r., z wyjątkiem galerii, które dobudowano pół wieku później. Na jej 4 narożnikach zostały stworzone ośmiokątne wieże.
Zespół pałacowy był przebudowywany i odbudowywany wiele razy na przestrzeni wieków - w duchu klasycyzmu, neogotyku, modernizmu.
Po raz pierwszy pałac został obrabowany przez Rosjan w 1657 roku.
W 1706 r. podczas III wojny północnej, armia króla szwedzkiego Karola XII zajęła posiadłość i zniszczyła fortyfikacje. Kilka lat później Radziwiłłowie sprowadzili niemieckich i włoskich architektów, którzy znacznie odnowili i powiększyli zamek.
Ciekawą postacią zamieszkująca dobra nieświeskie był Karol Stanisław Radziwiłł (Panie Kochanku), przeciwnik Stanisława Augusta Poniatowskiego, znany z przepychu i rozpustnego życia. Antoni Zaleski udekorował żółte fasady budynku barokowymi stiukami. W XVI wieku zrekonstruowano bramy zamkowe, a dwupoziomowe wieże uwieńczono hełmami. W ten sposób trzy oddzielne budowle otaczające centralny dziedziniec zostały połączone w jedną całość.
Kolejne rabunki rękami rosyjskich najeźdźców miały miejsce podczas konfederacji barskiej. W 1770 r. zamek został zajęty przez Rosjan, a Radziwiłłowie zostali wygnani. Nieco później ich archiwa zostały przewiezione do Sankt Petersburga (gdzie znajdują się do dziś), a większość zebranych w pałacu dzieł sztuki została podzielona między rosyjskich szlachciców.
Opuszczone przez rodzimych właścicieli i okupantów dobra nieświeskie zaczęły popadać w ruinę. Pomiędzy 1881 a 1886 r. posiadłość powróciła w ręce Radziwiłłów i nastąpiła gruntowna renowacja dokonywana przez księcia Antoniego Radziwiłła i jego francuską żonę Marię de Castellane. Oni także zaprojektowali park o charakterze krajobrazowym w stylu angielskim. Posiada on powierzchnię ponad 1 km².
Rosjanie po raz kolejny wyciągnęli ręce po polskie skarby narodowe po 1812 roku, w odwecie za udział ówczesnego ordynata Dominika Hieronima Radziwiłła w wyprawie na Moskwę (stał na czele własnego pułku jazdy).
Kolejny wielki cios dla obrazów, mebli, wyposażenia wojennego i innych bogatych eksponatów przyniosła I wojna światowa.
W dwudziestoleciu międzywojennym nieświeski zamek zasłynął ze spotkania marszałka Józefa Piłsudskiego z polskimi arystokratami, manifestując chęć współpracy z kołami ziemiańskimi. Do tego spotkania doprowadził m.in. Stanisław Mackiewicz, który tak opisywał wnętrza zamku w Nieświeżu: "Olbrzymie zamczysko składało się z sal ozdobionych setkami radziwiłłowskich portretów, setkami zbroi i rozwieszonymi pasami słuckimi (...) jedynym oświetleniem były świece. Światła tych świec, niespokojne i nastrojowe, kładły się na kolorach odwiecznych portretów. odbijały się blaskami w zbrojach". W tym czasie na zamku znajdowało się około 2.000 kompletów zbroi, setki bezcennych obrazów, kolekcji przeróżnych eksponatów, pamiątki rodzinne Radziwiłłów. Po zakończeniu II wojny światowej Radziwiłłowie i inni Polacy z Kresów Wschodnich zostali wygnani z ziemi ojczystej. Nieśwież został wcielony do Białorusi, władze białoruskie przekształciły wspaniałą rezydencję Radziwiłłów w sanatorium. Zamek był sukcesywnie ograbiany i niszczony (podobnie poczyniono z wielowiekowym parkiem), z dawnych wspaniałości sztuki europejskiej i bogatego wystroju wewnętrznego zostało zaledwie kilka pieców i kominków, oraz gdzieniegdzie "strzępy" przedwojennego parkietu.
Mimo, że w 1994 r. zespół zamkowy został uznany za narodowy pomnik historii i kultury przez władze białoruskie, a w 2005 r. dzięki wielkim wysiłkom i inicjatywie m.in.Polaków, architektoniczny, rezydencjalny i kulturalny zespół rodu Radziwiłłów został zapisany na liście światowego dziedzictwa UNESCO, jego profanacja nie ustała. Rekonstrukcja zamku pociągnęła za sobą wiele ostrych krytyk ze względu na nieuzasadnione prace i dopuszczenie do zniszczeń. W 2002 r. z powodu karygodnych zaniedbań najwyższe piętro budynku zostało zniszczone przez pożar. Władze Białorusi przebudowały także zwieńczenie wieży w stylu rosyjskoprawosławnym niszcząc pierwotny wygląd zamku. W marcu 2008 r. podczas prac renowacyjnych Białorusini wyburzyli część zamku - zniszczona została jedna z galerii łączących główny korpus pałacowy ze skrzydłem bocznym zamku.
Bardzo ważną budowlą Nieświeża jest połączony z zamkiem kościół jezuitów pw. Bożego Ciała, zbudowany w latach 1587 - 1603. Stanowi on mauzoleum 102 członków rodziny Radziwiłłów. Każda wykonana z brzozy trumna jest oznaczona rodowym herbem Trąby. Kościół został zaprojektowany przez polskiego architekta włoskiego pochodzenia Jana Marii Bernardoniego na wzór Il Gesù w Rzymie jako pierwsza na świecie bazylika z kopułą i barokową fasadą, rozpoczynając epokę baroku zarówno w Polsce jak i Europie Wschodniej. Oprócz kunsztownych nagrobków we wnętrzu można zobaczyć późnobarokowe freski wykonane około 1760 r. oraz wyrzeźbiony w 1583 r. przez weneckich rzeźbiarzy ołtarz przedstawiający Jezusa ukrzyżowanego.