古墳を築造する場合、埴輪以外にも石室の構築や墳丘外表面の保護・装飾のために多量の石材が必要となる。一般的にこれらの石材は付近の丘陵や河川から調達することが多いが、古墳によっては、特定の産地の石材を使用することがある。
葺石(ふきいし)では、神戸市五色塚(ごしきづか)古墳の場合黒色の礫が使用されているが、これは英雲閃緑岩で淡路島の東海岸で産するものである。また、奈良県天理市櫛山古墳の白色の小円礫も、淡路島南東部の吹上浜で産する。
竪穴式石室の側壁には扁平(へんぺい)な割石が使われるが、摂津では石英粗面岩、河内・大和では安山岩、山城では粘板岩と、それぞれ地元の石材が使われる。しかし、紀伊や阿波産の緑色片岩や紅簾(こうれん)片岩などの美しい結晶片岩は、広く畿内全域で使用されている。
石棺はしばしば軟らかい凝灰岩で製作される。播磨の竜山石は長持形石棺・刳抜(くりぬ)き式石棺などに加工され、約一〇〇キロメートル離れた京都府城陽市久津川車塚古墳などでも使用されている。また、北部九州の古墳からは石人・石馬と呼ばれる石製品が発見されるが、これらは阿蘇溶結凝灰岩を素材としている。