Przyszedł na świat 15 lutego 1792 roku w Toruniu, w rodzinie o arystokratycznych korzeniach, herbu Abdank, jako syn Ludwiki oraz Kacpra, rotmistrza kawalerii narodowej. Znakomity ród opiewał w swojej Kronice już Jan Długosz. Ponadto znana jest również opowieść o powstaniu herbu, wiążąca początki tegoż ze Smokiem Wawelskim i szewcem Skubą.
Pierwsze sześć lat życia Fryderyk spędził w domu swego dziadka w Toruniu, po czym przeniósł się na Kujawy do majątku ojca. Jednakże bankructwo, spowodowane hulaszczym trybem życia ojca w Warszawie, zmusiło Skarbków do zamieszkania w Żelazowej Woli, gdzie ich losy zetknęły się z rodziną Chopinów. Tamże przez szereg lat silny wpływ na osobowość młodzieńca wywierał Mikołaj Chopin, jego nauczyciel i wychowawca. Zaintrygowany sylwetką guwernera, Fryderyk po latach przedstawił jej odbicie w Pamiętnikach Seglasa (1845), ukazujących Warszawę końca XVIII wieku widzianą oczyma Francuza.
Zdolny, żądny wiedzy, ukończywszy Liceum Warszawskie w 1809 wyruszył po nauki do Paryża. Spragniony wszechstronnego, solidnego rozwoju podjął studia nie tylko w Collége de France, ale i prywatnie u Saint Aut (nauki administracyjne i ekonomię polityczną). Nie próżnując i nie szczędząc sił, resztki czasu wypełniał wykładami z literatury starożytnej i francuskiej, chemii, prawa karnego i mineralogii. Został wówczas poproszony przez państwa Chopinów o podawanie ich syna, przyszłego geniusza muzyki, do chrztu. Niestety, Skarbek nie mógł przyjechać do Polski. Mimo to, niezmiennie traktowany był przez zaprzyjaźnioną rodzinę z wyjątkową serdecznością. Zarówno w odczuciu Fryderyka Chopina, jak i jego rodziców, na zawsze pozostał ojcem chrzestnym pianisty.
Stworzony do nieustannego działania, natychmiast po powrocie do kraju podjął pracę w Ministerstwie Skarbu, po czym przeniósł się do biura tłumaczy przy Radzie Konfederacji Generalnej. Następnie, kierowany sentymentem, wrócił do majątku Orły, nieopodal Żelazowej Woli. Wówczas, notabene jako radca powiatowy sochaczewski, powitał na granicy tego powiatu orszak żałobny wojska polskiego, wiozący zwłoki księcia Józefa Poniatowskiego. Jednak nie tylko charakter i ducha Skarbek wzbogacał. Podobnie bowiem rzecz się miała z jego sakwą, po tym, jak w roku 1818 ożenił się z niezwykle bogatą, bo wnoszącą mu w posagu kolosalną jak na owe czasy sumę 100 000 zł, Praksedą Gzowską. Kolejnym darem od losu było objęcie Katedry Ekonomii Politycznej Wydziału Prawa i Administracji w Uniwersytecie Warszawskim w 1831 r. Okres ten zaowocował publikacją czterotomowego Gospodarstwa narodowego, służącego później jako podręcznik ekonomii dla studentów.
Upadek powstania, zamknięcie uniwersytetu, Towarzystwa Przyjaciół Nauk, którego członkami, obok Skarbka, były wówczas takie znakomitości, jak: Chateaubriand, Goethe, Mickiewicz, sprawiły, iż porzuciwszy aspiracje naukowe objął w Kongresówce różne wysokie urzędy. Założył przytułek dla żebraków warszawskich, a także instytut dla dzieci moralnie zaniedbanych. Swą działalność filantropijną rozciągnął na obszary więziennictwa i zakłady dobroczynne. Po powrocie z Zachodu, gdzie z ramienia Ministerstwa Spraw Wewnętrznych zapoznawał się z tamtejszą organizacją ośrodków karnych i dobroczynnych, przeniósł na grunt polski swe obserwacje i doświadczenia. Na podstawie zdobytej wiedzy wykreował własną wizję kary więziennej z uwzględnieniem idei humanitaryzmu. Jako szef więziennictwa Królestwa Polskiego zniósł zakaz milczenia, wprowadził nauczanie, system kar i nagród, system kwalifikacji więźniów według stopnia demoralizacji, jak również oddzielenie skazanych od tymczasowo aresztowanych. To dzięki jego staraniom wybudowano w Polsce pięć nowych obiektów więziennych opartych na systemie celkowym (podział na cele). W tej dziedzinie sporządził między innymi referat O poprawie moralnej winowajców w więzieniach.
Kolejną jego zasługą było stworzenie systemu opieki społecznej, opartego na stałych zasadach. W jego ramach podzielił ludzi na cztery kategorie. Pierwsza obejmowała niezdolnych do pracy z powodu wieku, kalectwa czy choroby, następna - pozbawionych zatrudnienia, kolejna - uchylających się od pracy, ostatnia zaś - pracujących, lecz niebędących w stanie utrzymać swych rodzin. Pragnął ponadto, by rząd zagwarantował im darmową opiekę medyczną.
Obok problematyki społecznej Skarbek z lubością oddawał się tworzeniu literatury. Zafascynowany sentymentalizmem, inspirowany angielskimi dziełami, zwłaszcza Sterne`a czy Fieldinga, dał się poznać nie tylko jako powieściopisarz, ale też poeta, dramaturg, a nawet malarz. Uczony przez takie sławy, jak Baciarelli, Grassi Lampi, był organizatorem wielu wystaw w stolicy. Jako historyk zaś był autorem Dziejów Księstwa Warszawskiego oraz rozprawy Królestwo Polskie po rewolucji listopadowej.
Ponadsiedemdziesięcioletni, nadzwyczaj aktywny żywot, obfitujący w liczne doświadczenia i działania, zakończył Skarbek w swoim majątku Wyczółki 26 listopada 1866. Pochowany zaś został na Cmentarzu Powązkowskim.