Die hierarchische Datenbank bildet Datenstrukturen in einer hierarchischen Ordnerstruktur ab. Jeder Datensatz hat genau einen Vorgänger, mit Ausnahme des Datensatzes des initialen Ausgangsdatensatzes der Wurzel (Root) selbst. Die bekannteste Anwendung und zugleich ein optimales grafisches Abbild für eine hierarchische Datenbank ist das Dateisystem mit dem Dateiverzeichnis eines Computers. In der hierarchischen Datenbank werden alle Daten in einer Reihe von geordneten Datensätzen gespeichert, mit denen verschiedene Felder verknüpft sind. Instanzen zu einem Datensatz werden in der hierarchischen Datenbank zu einem Datensatzbild zusammengefasst, vergleichbar zu Tabellen einer relationalen Datenbank. Eltern-Kind-Relationen bilden als Verknüpfung die Beziehung der Datensätze innerhalb einer hierarchischen Datenbank.
Dadurch bedingt ergibt sich zugleich der größte Nachteil einer hierarchischen Datenbank: Verknüpfungen von Datensätzen über mehrere Ebenen sind nicht möglich, zudem lassen sich nur 1:1 und 1:n Beziehungen darstellen. Bedeutung hat das das hierarchische Datenbankmodell für die XML-Entwicklung, da Websites ebenfalls einen hierarchischen Aufbau haben. Datenbanken von Webservern organisieren ihre Daten jedoch in einer relationalen Datenbank.