Ojcem Cezarego Baryki był Seweryn Baryka, matką Jadwiga z Dąbrowskich, pochodząca z podlaskich Siedlec. Mimo że prawie całe życie spędziła w różnych guberniach Rosji, nie nauczyła się nigdy dobrze mówić po rosyjsku. Całe życie „duchem pomieszkiwała nie gdzieś tam na Uralu czy w Baku, w Sybirsku czy zgoła w Tule, lecz wciąż w Siedlcach”. Nieustannie tęskniła za rodzinnymi stronami i kawalerem, którego tam kochała. Seweryn był wyższej rangi urzędnikiem, dobrze zarabiał i choć zamierzał wrócić na ziemie polskie wciąż zwlekał, bo dobrze mu się wiodło w Baku. Tym bardziej, że nie otrzymał w młodości specjalnego wykształcenia czy określonego zawodu.
