Die Gemeinde liegt am Nordwestrand des Naturpark Dümmer nordwestlich von Damme und den Dammer Bergen.
Neben der Ortschaft Holdorf selbst gehören die kleineren Orte und Dörfer Amtern, Diekhausen, Fladder, Fladderlohausen, Gramke, Grandorf, Handorf, Holdorf-Bahnhof, Ihorst, Langenberg, Scheelenhorst und Wahlde zur Gemeinde.