PCIe, USB und Gerätehierarchien unter Linux

Hardware erscheint unter Linux nicht als ungeordnete Sammlung einzelner Geräte. Sie ist über Controller, Ports, Bridges und Hubs miteinander verbunden. Diese Beziehungen bilden eine Hierarchie: Ein Gerät hängt an einem bestimmten Anschluss, dieser gehört zu einem Controller, und der Controller ist wiederum in das übergeordnete System eingebunden.

Mit lspci, lsusb und dem virtuellen Dateisystem /sys lassen sich diese Strukturen untersuchen. Das hilft nicht nur bei der Bestandsaufnahme, sondern auch bei der Frage, warum Geräte Bandbreite teilen, gemeinsam ausfallen oder über unterschiedliche Treiber angesprochen werden.

Warum die Gerätehierarchie wichtig ist

Eine einfache Geräteliste beantwortet vor allem die Frage: „Was wird erkannt?“

Eine Hierarchie beantwortet zusätzlich:

  • Über welchen Controller ist das Gerät erreichbar?
  • Welche Zwischenstationen liegen auf dem Weg?
  • Welche Geräte haben einen gemeinsamen übergeordneten Anschluss?
  • An welcher Stelle könnte eine gemeinsame Abhängigkeit liegen?

Bei USB ist diese Baumstruktur besonders anschaulich: Ein Hostcontroller stellt USB-Busse bereit, an denen Geräte direkt oder über Hubs angeschlossen sind. Bei PCIe bilden unter anderem Root Ports und Switches die Verbindungen zu den Endgeräten.

Für die Fehlersuche ist der Weg zum Gerät daher häufig genauso wichtig wie dessen Modellname.

PCIe: Verbindungen zu leistungsfähigen Komponenten

PCIe steht für Peripheral Component Interconnect Express. Darüber werden beispielsweise Grafikadapter, Netzwerkadapter, Speichercontroller und NVMe-Controller in ein System eingebunden.

Linux verwendet für die Auflistung weiterhin die Bezeichnung „PCI“. Deshalb zeigt lspci auch moderne PCIe-Geräte an. Das Werkzeug bildet die vom PCI-Subsystem verwalteten Busse, Bridges und Geräte ab.

Eine vereinfachte PCIe-Struktur kann so aussehen:

Hostanbindung / Root Complex
│
├── Root Port
│   └── Grafikadapter
│
├── Root Port
│   └── NVMe-Controller
│
└── Root Port
    └── PCIe-Switch
        ├── Netzwerkadapter
        └── weiterer Speichercontroller

Das Beispiel ist schematisch. Die tatsächliche Anordnung hängt von Prozessor, Mainboard, Firmware und angeschlossenen Komponenten ab. Root Ports und Switch-Ports erscheinen dabei im PCI-Modell als vermittelnde Elemente zwischen Bussen.

Ein Switch ist nicht bloß eine weitere Gerätefunktion

Ein Endgerät stellt eine nutzbare Funktion bereit, etwa Netzwerk- oder Speicherzugriff. Ein PCIe-Switch verbindet dagegen mehrere nachgelagerte Verbindungen mit einer übergeordneten Anbindung.

Daraus entsteht eine wichtige Unterscheidung: Mehrere Endgeräte können jeweils eigene Verbindungen zum Switch besitzen und dennoch auf ihrem weiteren Weg eine gemeinsame Anbindung verwenden.

Die Baumansicht hilft, solche gemeinsamen Pfade zu erkennen.

PCI-Adressen: Domain, Bus, Device und Function

Ein PCI-Gerät beziehungsweise eine PCI-Funktion besitzt eine Adresse wie:

0000:03:00.0

Die Bestandteile bedeuten:

BestandteilBeispielBedeutung
Domain0000PCI-Domain beziehungsweise Segment
Bus03Busnummer innerhalb der Domain
Device00Gerätenummer auf diesem Bus
Function0Funktion des Geräts

Die Schreibweise lautet also Domain:Bus:Device.Function. Die Werte werden hexadezimal dargestellt.

Eine Karte kann mehrere Funktionen besitzen

Eine physische Karte muss nicht genau einem Eintrag entsprechen. Sie kann mehrere PCI-Funktionen bereitstellen, die Linux getrennt verwaltet.

Deshalb darf die Anzahl der lspci-Zeilen nicht mit der Anzahl eingebauter Erweiterungskarten gleichgesetzt werden. Außerdem beschreibt die Adresse die Einordnung im PCI-System, nicht automatisch eine auf dem Mainboard aufgedruckte Steckplatznummer. Eine physische Slotangabe kann gegebenenfalls als zusätzliche Information vorhanden sein.

PCI-Geräte und ihre Beziehungen anzeigen

Eine erste Übersicht liefert:

lspci

Für Gerätekennungen und Treiberinformationen:

lspci -nnk

Dabei zeigt:

  • -nn Namen und numerische Hersteller-/Gerätekennungen.
  • -k den verwendeten Kernel-Treiber und gegebenenfalls infrage kommende Kernelmodule.

Diese Unterscheidung ist wichtig: Ein Modul, das ein Gerät grundsätzlich unterstützen könnte, ist nicht automatisch der tatsächlich gebundene Treiber.

Die PCI-Hierarchie darstellen

lspci -t

Die Baumdarstellung zeigt Busse, Bridges und die Beziehungen zwischen den Geräten.

Mit zusätzlichen Gerätebezeichnungen:

lspci -tv

Ein bestimmtes Gerät untersuchen

lspci -s 0000:03:00.0 -vv

Die Adresse ist ein Beispiel und muss durch die tatsächliche Geräteadresse ersetzt werden.

USB: Hostcontroller, Root Hub, Hub und Gerät

USB steht für Universal Serial Bus. Seine Geräte sind aus Sicht des Hosts baumförmig angeordnet:

USB-Hostcontroller
└── Root Hub
    ├── Tastatur
    ├── USB-Speicher
    └── externer Hub
        ├── Webcam
        └── Audiointerface

Der Hostcontroller steuert die Kommunikation. Hubs erweitern die Anschlussstruktur; die eigentlichen Peripheriegeräte befinden sich an den Enden beziehungsweise weiteren Verzweigungen des Baums.

Der Root Hub ist dabei die vom USB-Subsystem dargestellte Wurzel der jeweiligen USB-Busstruktur. Er ist nicht mit einem zusätzlich angeschlossenen externen Hub gleichzusetzen.

Ein Rechner kann mehrere USB-Bäume bereitstellen. Die sichtbare Anzahl der Busse entspricht deshalb nicht einfach der Anzahl äußerer USB-Buchsen.

USB-Geräte auflisten und die Baumstruktur lesen

Die einfache Übersicht lautet:

lsusb

Eine Zeile kann beispielsweise so aussehen:

Bus 001 Device 005: ID 1234:5678 Beispielgerät

Hier werden unterschiedliche Kennungen kombiniert:

AngabeBedeutung
Bus 001Zugeordneter USB-Bus
Device 005Aktuelle Geräteadresse auf diesem Bus
1234:5678Herstellerkennung und Produktkennung

Hersteller- und Produktkennung beschreiben den Gerätetyp, nicht zwingend ein einzelnes Exemplar. Mehrere baugleiche Geräte können dieselben Kennungen besitzen.

Die USB-Hierarchie anzeigen

lsusb -t

Die Ausgabe zeigt die physische USB-Gerätehierarchie als Baum. Damit lassen sich Geräte unter einem gemeinsamen Hub oder Root Hub einordnen.

Eine schematische Ausgabe könnte so aussehen:

Root Hub
└── Port 2: Hub
    ├── Port 1: Mass Storage
    └── Port 3: Video

Anders als eine flache Liste zeigt diese Sicht unmittelbar, dass Speichergerät und Kamera über denselben vorgeschalteten Hub erreichbar sind.

Details eines Gerätetyps untersuchen

lsusb -d 1234:5678 -v

Der Aufruf filtert anhand der Hersteller- und Produktkennung und zeigt ausführliche Deskriptorinformationen. Dazu gehören beispielsweise Konfigurationen, Interfaces und Endpunkte.

USB-Gerät und USB-Interface sind nicht dasselbe

Ein einzelnes USB-Gerät kann mehrere Interfaces bereitstellen.

Das Gerätemodell unterscheidet unter anderem:

EbeneAufgabe
GerätDas am USB-Bus adressierte Gesamtgerät
KonfigurationEine mögliche Zusammenstellung seiner Funktionen
InterfaceZusammengehörige Funktion innerhalb einer Konfiguration
EndpunktAdressierter Ein- oder Ausgabekanal für Datenübertragungen

Bei einem Gerät ist jeweils eine Konfiguration aktiv. Innerhalb dieser Konfiguration können mehrere Interfaces vorhanden sein, die unterschiedliche Funktionen bereitstellen.

Das erklärt, warum ein physisches Gerät in ausführlichen Ansichten mehrfach auftauchen kann: Die Ausgabe beschreibt möglicherweise einzelne Interfaces statt mehrerer eigenständiger Geräte.

Für die Treiberanalyse ist diese Ebene wichtig, weil Funktionen eines zusammengesetzten USB-Geräts getrennt behandelt werden können. Eine reine Zählung von Ausgabezeilen führt daher auch bei USB leicht zu falschen Schlussfolgerungen.

PCIe und USB bilden häufig eine gemeinsame Kette

PCIe und USB sind nicht bloß zwei voneinander unabhängige Listen.

Ein USB-Hostcontroller kann selbst als PCI-Gerät in das System eingebunden sein. Unterhalb dieses Controllers beginnt dann die USB-Hierarchie. Eine mögliche Gesamtsicht lautet:

PCIe-Hierarchie
└── USB-Hostcontroller
    └── USB-Root-Hub
        └── USB-Hub
            └── USB-Speichergerät
                └── bereitgestelltes Blockgerät

Der Controller erscheint dann in lspci, das angeschlossene USB-Gerät in lsusb und die Speicherfunktion in einer Blockgeräteübersicht. Diese Ansichten widersprechen sich nicht; sie betrachten unterschiedliche Ebenen derselben Verbindungskette.

Nicht jeder USB-Controller muss allerdings über PCIe angebunden sein. Die konkrete Plattform bestimmt, wie der Controller in das übergeordnete Gerätemodell eingebunden ist.

Gemeinsame Verbindungen und Bandbreite

Aus der Hierarchie ergeben sich gemeinsame Übertragungswege.

Bei USB müssen die Daten angeschlossener Geräte über die jeweilige Verbindung zum Host transportiert werden. Hängen mehrere aktive Geräte hinter demselben Hub, ist dessen übergeordnete Anbindung eine gemeinsame Ressource. Die USB-Kommunikation unterscheidet außerdem verschiedene Übertragungsarten mit unterschiedlichem Verhalten bei der Bandbreitenzuteilung.

Deshalb lässt sich aus der Gerätebezeichnung allein nicht ableiten, welcher Datendurchsatz gleichzeitig mit anderen Geräten erreichbar ist.

Verbindungsgeschwindigkeit ist nicht Dateikopierrate

Die von USB bereitgestellte Geschwindigkeitsangabe beschreibt die Verbindung zum Host in Mbit/s. Sie ist nicht mit der tatsächlich erreichten Nutzdatenrate einer Anwendung gleichzusetzen. Protokollübertragung und die Fähigkeiten der beteiligten Geräte beeinflussen das Ergebnis zusätzlich.

Bei Leistungsproblemen sollten deshalb mehrere Fragen getrennt werden:

  • Mit welcher Geschwindigkeit ist das Gerät verbunden?
  • Über welche Hubs und Controller läuft die Verbindung?
  • Welche anderen Geräte verwenden gemeinsame Pfade?
  • Welche Datenrate erreicht die konkrete Anwendung?

Eine schnell klingende Produktbezeichnung beantwortet diese Fragen nicht.

sysfs: Das Gerätemodell hinter den Werkzeugen

Linux bildet Geräte und ihre Eigenschaften im virtuellen Dateisystem /sys ab.

Für PCI und USB sind besonders diese Einstiegspunkte interessant:

/sys/bus/pci/devices/
/sys/bus/usb/devices/
/sys/devices/

Unter /sys/devices/ befindet sich die übergeordnete Gerätehierarchie. Die busbezogenen Verzeichnisse ermöglichen den Zugriff aus Sicht des jeweiligen Bussystems.

Beispiel: Die übergeordnete PCI-Verbindung nachvollziehen

readlink -f /sys/bus/pci/devices/0000:03:00.0

Der aufgelöste Pfad kann zeigen, unter welchen übergeordneten Geräten beziehungsweise Bridges die PCI-Funktion eingeordnet ist. Die genaue Pfadstruktur ist systemspezifisch.

Unter einem PCI-Gerät finden sich unter anderem Attribute wie:

$ ls /sys/bus/pci/devices/0000:03:00.0/

class device irq resource vendor

Sie beschreiben beispielsweise Herstellerkennung, Gerätekennung, Geräteklasse und zugewiesene Ressourcen und können mit cat ausgelesen werden.

sysfs ist nicht nur eine Informationssammlung

Einige sysfs-Dateien sind beschreibbar und lösen Aktionen aus. Das PCI-Gerätemodell enthält beispielsweise Attribute zum Entfernen eines Geräts aus der Kernelverwaltung oder zum Steuern bestimmter Eigenschaften.

Für eine reine Bestandsaufnahme sollten solche Attribute nur gelesen und nicht verändert werden. Gerade ein kurzer Schreibzugriff kann eine erhebliche Zustandsänderung auslösen.

Geräteerkennung, Treiberbindung und Nutzbarkeit trennen

Ein Gerät kann auf einer Ebene sichtbar sein, ohne auf der nächsten bereits vollständig nutzbar zu sein.

Bei der Untersuchung helfen drei getrennte Fragen:

  1. Wird das Gerät am jeweiligen Bus erkannt?
  2. Ist ein geeigneter Treiber an die benötigte Funktion gebunden?
  3. Wird die erwartete nutzbare Schnittstelle bereitgestellt?

lspci -k unterstützt besonders die zweite Frage bei PCI-Geräten. Bei USB helfen die Baumansicht und die Interfaceinformationen, die eingebundenen Funktionen zuzuordnen.

Diese Trennung verhindert vorschnelle Schlussfolgerungen. „In lsusb sichtbar“ bedeutet zunächst, dass das Gerät auf der USB-Ebene erfasst wird – nicht automatisch, dass jede seiner Funktionen einsatzbereit ist.

Eine sinnvolle Vorgehensweise bei Problemen

Für die Untersuchung eines Geräts bietet sich folgende Reihenfolge an:

  1. Mit lspci -nnk oder lsusb die erkannte Hardware identifizieren.
  2. Mit lspci -t beziehungsweise lsusb -t den übergeordneten Pfad betrachten.
  3. Die tatsächliche Treiberbindung und bei USB die betroffenen Interfaces prüfen.
  4. Bei Leistungsproblemen die Verbindungsgeschwindigkeit und gemeinsame Pfade berücksichtigen.
  5. Bei unklaren Beziehungen die sysfs-Hierarchie ergänzend untersuchen.

Die Werkzeuge beantworten dabei unterschiedliche Teilfragen. Erst ihre Kombination ergibt ein Bild aus Geräteidentität, Topologie und Treibereinbindung.

Ein Beispiel: Verschwinden mehrere USB-Geräte gleichzeitig, ist der gemeinsame Hub oder ein anderer gemeinsamer Teil des Verbindungspfads ein sinnvoller Untersuchungsansatz. Betrifft das Problem nur eine Funktion eines zusammengesetzten Geräts, sollte dagegen auch deren Interface- und Treiberebene betrachtet werden.

Fazit: Nicht nur das Gerät, sondern auch seinen Weg betrachten

PCIe und USB organisieren Hardware in nachvollziehbaren Hierarchien. Controller, Bridges, Switches, Hubs und einzelne Geräte übernehmen dabei unterschiedliche Rollen.

Wer diese Ebenen auseinanderhält, kann Ausgaben besser interpretieren: Eine physische Karte kann mehrere PCI-Funktionen besitzen, ein USB-Gerät mehrere Interfaces und ein gemeinsam genutzter Anschluss mehrere nachgelagerte Geräte versorgen.

Für die Linux-Administration ist deshalb nicht nur wichtig, welche Hardware vorhanden ist. Ebenso entscheidend ist, wie sie angebunden ist, welche Zwischenstationen sie verwendet und auf welcher Ebene eine nutzbare Funktion entsteht.


,
Fediverse reactions
Andreas Moor
Andreas Moor
@blog@andreas-moor.de

Hallo Fediverse, ich bin Andy!

Hier und auf meiner Website findest du mein akkumuliertes Linux-Sysadmin-Wissen, meine kleinen und größeren Projekte und die Tools, die ich nutze.

Viel Spaß beim stöbern, lesen und lernen! 🧑‍💻

64 Beiträge
40 Folgende