Frank Seitz - Developer Logbuch - Unix

Shell: stderr auf Pipe umleiten und andere dup-Operationen

nospam@example.com (Frank Seitz) — Tue, 19 Feb 2013 09:21:35 +0100

Einer der weniger einleuchtenden Shell-Operatoren ist der Operator >&. Den Klassiker, die Umlenkung von stdout und stderr in eine Datei,

$ cmd >/tmp/file 2>&1

kennt jeder, der häufiger unter Unix unterwegs ist. Es stellt sich dabei aber immer leicht die Frage: Wie war das nochmal? Muss 2>&1 vor der Umlenkung >/tmp/file stehen? Oder dahinter? Gleichgültig ist die Reihenfolge jedenfalls nicht.

Die Beschreibung auf der Bash-Manpage ist recht knapp:

The operator [n]>&word is used to duplicate output file descriptors. If word expands to one or more digits, the file descriptor denoted by n is made to be a copy of that file descriptor. If n is not specified, the standard output (file descriptor 1) is used.

Das heißt, man kann den Operator N>&M als Zuweisung verstehen: Das Ausgabeziel (Terminal, Datei oder Pipe), das seitens des schreibenden Prozesses über Deskriptor M erreicht wird, wird von der Shell (zusätzlich) mit Deskriptor N verbunden. Alles, was der schreibende Prozess auf Desktiptor N schreibt, gelangt somit an das gleiche Ziel wie das, was er auf Deskriptor M schreibt. Liegen mehrere Umlenkungsoperationen vor, werden diese von links nach rechts ausgewertet. Es folgen einige Anwendungsfälle.

Stderr und stdout gemeinsam auf eine Pipe lenken

$ cmd1 2>&1 | cmd2

Deskriptor 1 (stdout) von cmd1 wird von der Shell mit der Pipe verbunden (|).
Deskriptor 2 (stderr) wird ebenfalls mit der Pipe verbunden (2>&1).

Ergebnis: stdout und stderr gehen auf die Pipe.

Stderr statt stdout auf eine Pipe lenken

$ cmd1 2>&1 >/dev/null | cmd2

Deskriptor 1 (stdout) von cmd1 wird von der Shell mit der Pipe verbunden (|).
Deskriptor 2 (stderr) wird ebenfalls mit der Pipe verbunden (2>&1).
Deskriptor 1 (stdout) wird mit /dev/null verbunden (>/dev/null).

Ergebnis: stderr geht auf die Pipe, stdout geht nach /dev/null.

Stdout und stderr vertauschen

$ cmd 3>&1 1>&2 2>&3 3>&-

Deskriptor 3 geht auf das gleiche Ziel wie Deskriptor 1 (3>&1).
Deskriptor 1 geht auf das gleiche Ziel wie Deskriptor 2 (1>&2).
Deskriptor 2 geht auf das gleiche Ziel wie Deskriptor 3 (2>&3).
Gib Deskriptor 3 frei (3>&-).

Ergebnis: stdout und stderr sind vertauscht.

meld: Unterschiede zwischen Dateien anzeigen und bearbeiten

nospam@example.com (Frank Seitz) — Mon, 26 Nov 2012 11:17:14 +0100

Ein ausgezeichnetes Programm zur Visualisierung und interaktiven Bearbeitung von Unterschieden zwischen Dateien ist meld. Es unterstützt

den Vergleich von 2 oder 3 Dateien
den Vergleich von Verzeichnisbäumen
den Vergleich gegen den Stand im Versionskontrollsystem (SVN, Git, u.a.)
Übertragung von Änderungen per Mausklick
Undo und Redo

Vergleich zweier Dateien:

$ meld FILE1 FILE2

Die Unterschiede werden grafisch dargestellt. Innerhalb differierender Zeilen werden die Unterschiede bis auf Zeichenebene markiert. Die Dateien können mithilfe des eingebauten Editors bearbeitet werden. Dabei entstehende Differenzen werden just-in-time neu berechnet und angezeigt. Mittels Klick auf einen der eingeblendeten Pfeile (s. Sceenshot) wird eine Änderung insgesamt in die gegenüberliegende Datei übertragen, die Differenz also eleminiert.

Links:

Meld Hompage

Wechseldatenträger mit Ext[234]-Dateisystem ein Label geben

nospam@example.com (Frank Seitz) — Sun, 24 Jun 2012 18:48:56 +0200

Wechseldatenträger (USB Festplatten, Memory Sticks) werden unter Linux automatisch nach /media/<name> gemountet. Hat der Datenträger ein Label, wird dieses als (sprechender) <name> verwendet.

Label setzen:

# tune2fs -L <name> <device>

Liste der geöffneten TCP-Ports

nospam@example.com (Frank Seitz) — Sun, 10 Jun 2012 19:07:03 +0200

Zeige die Liste der geöffneten TCP-Ports und welche Programme sie nutzen:

# netstat -pant

-p : Zeige PID und Programmnamen
-a : Zeige sowohl Listening- als auch Non-Listening-Sockets
-n : Zeige numerische Werte statt symbolischer Host-, Port- und Benutzernamen
-t : Zeige TCP-Ports (-u UDP-Ports)

Debian GNU/Linux von USB-Stick booten

nospam@example.com (Frank Seitz) — Thu, 19 Jan 2012 23:12:55 +0100

Rescue System

Hat man die Kontrolle über ein Linux-System verloren (es bootet nicht mehr, Anmelden als root ist nicht möglich, o.ä.) ist es nützlich ein Rescue-System zu haben, von dem aus man das defekte System untersuchen und ggf. reparieren kann.

Ein solches Rescue-System lässt sich leicht auf einem USB-Stick installieren. Hierzu holt man sich das Image eines Live-Systems von einem Debian-Mirror und kopiert es 1:1 auf den USB-Stick.

Die Live-Systeme von Debian finden sich unter http://www.debian.org/CD/live/. Sie basieren auf dem aktuellen Stable-Release für die Architekturen i386 und amd64 und unterscheiden sich in der Desktop-Umgebung (Gnome, KDE, LXDE, Xfce oder Terminal):

debian-live-<version>-<arch>-gnome-desktop.<ext>
debian-live-<version>-<arch>-kde-desktop.<ext>
debian-live-<version>-<arch>-lxde-desktop.<ext>
debian-live-<version>-<arch>-xfce-desktop.<ext>
debian-live-<version>-<arch>-rescue.<ext>
debian-live-<version>-<arch>-standard.<ext>

Hierbei ist:

<version> die Versionsnummer des Stable-Release (aktuell 6.0.3)
<arch> die Prozessor-Architektur (amd64 oder i386)
<ext> die Dateiendung .iso oder .img

Da jedes Live-System aus nur einer Datei besteht und bootfähig ist, gestaltet sich das Herunterladen und Installieren sehr einfach:

# wget <file>
# dd if=<file> of=/dev/sd<x> bs=1M
# sync

Hierbei ist:

<file> eine der obigen Dateien
<x> der Device-Buchstabe des USB-Stick

Fertig.

Vorsicht! Ein falscher Device-Name kann Daten auf anderen Geräten als dem USB-Stick oder gar das System komplett zerstören. Er sollte daher akribisch geprüft werden. Er lässt sich z.B. mit fdisk -l ermitteln. Sollte der Stick beim Einstecken automatisch gemountet worden sein, was wahrscheinlich ist, muss er vor Ausführung des dd-Kommandos erst mit umount ausgehängt werden.

Zum Booten vom Stick stellt man die Bootreihenfolge im BIOS-Setup entweder dauerhaft um oder ändert sie "on the fly" beim Bootvorgang, durch Drücken der Taste, die eine Auswahl des Boot-Device erlaubt (z.B. ESC). Beim Eee PC Asus 1001PX lässt sich der Stick nur mit der letzterer Methode booten. Ein automatisches Booten vom Stick funktioniert nicht, es wird immer von der Festplatte gebootet.

Installer für Debian Testing

Die Images für das Erzeugen eines Debian-Installers für Testing auf einem USB-Stick (oder einer CD) befinden sich hier: http://www.debian.org/devel/debian-installer/

Businesscard-ISO-Image

Das Businesscard-Image lässt sich vereinfacht auf den USB-Stick bringen, da es in die boot.img-Partition passt. Das NetInst-Image von Testing ist dafür zu groß (siehe NetInst-ISO-Image).

# wget -N http://d-i.debian.org/daily-images/<arch>/daily/\
    hd-media/boot.img.gz
# wget -N http://cdimage.debian.org/cdimage/daily-builds/daily/\
    arch-latest/<arch>/iso-cd//debian-testing-<arch>-businesscard.iso
# zcat boot.img.gz >/dev/sd<x>
# mount /dev/sd<x> /mnt
# cp debian-testing-<arch>-businesscard.iso /mnt
# umount /dev/sd<x>

Hierbei ist:

<arch> die Prozessor-Architektur (i386, amd64, ...)
<x> der Device-Buchstabe des USB-Stick

NetInst-ISO-Image

Das NetInst-Image muss wegen seiner Größe mittels Syslinux auf den USB-Stick gebracht werden. Syslinux benötigt eine Partitionierung mit einer FAT16-Partition à la

Device    Boot      Start         End      Blocks   Id  System
/dev/sdc1   *        2048     7829503     3913728    6  FAT16

Wie diese erstellt wird, siehe http://wiki.debian.org/BootUsb#Partitioning_the_USB_key.

Ferner werden folgende Pakete benötigt: mbr, mtools, syslinux.

# wget http://d-i.debian.org/daily-images/<arch>/daily/hd-media/vmlinuz
# wget http://d-i.debian.org/daily-images/<arch>/daily/hd-media/initrd.gz
# http://cdimage.debian.org/cdimage/daily-builds/daily/arch-latest/\
    <arch>/iso-cd/debian-testing-<arch>-netinst.iso
# install-mbr /dev/sd<x>
# mkdosfs /dev/sd<x>1
mkdosfs 3.0.12 (29 Oct 2011)
# syslinux -i /dev/sd<x>1
# mount /dev/sd<x>1 /mnt
# cp vmlinuz initrd.gz debian-testing-i386-netinst.iso /mnt
# cat >/mnt/syslinux.cfg
default vmlinuz
append initrd=initrd.gz
^D
# umount /dev/sd<x>1

Hierbei ist:

<arch> die Prozessor-Architektur (i386, amd64, ...)
<x> der Device-Buchstabe des USB-Stick

Programm

NAME
    debian-to-usb - Erzeuge bootbaren USB-Stick mit Debian Image

USAGE
    debian-to-usb [OPTIONS] IMAGE DEVICE

    debian-to-usb --get net-inst

    debian-to-usb --get businesscard-inst

OPTIONS
    --verbose=BOOL (Default: 1)
        Gib die ausführenden Kommandos aus.

    --help
        Diese Hilfe.

    IMAGE
        Der Dateiname eines Debian Live-Image mit der Endung .iso oder .img
        oder einer der beiden Bezeichner

        businesscard-inst
            Erzeuge Installer aus Businesscard-Image.

        net-inst
            Erzeuge Installer aus NetInst-Image.

    DEVICE
        Der Device-Name, unter dem der USB-Stick angesprochen wird. Z.B.
        "/dev/sdb". Das Device darf nicht gemountet sein.

        Vorsicht! Ein falscher Device-Name kann Daten auf anderen Geräten
        oder gar das System zerstören. Er sollte daher akribisch geprüft
        werden. Er lässt sich z.B. mit "fdisk -l" ermitteln.

AUTHOR
    Frank Seitz, http://www.fseitz.de/

COPYRIGHT
    Copyright (C) Frank Seitz, 2012

Syntax-Highlighting mit highlight

nospam@example.com (Frank Seitz) — Mon, 08 Feb 2010 16:01:36 +0100

Highlight stellt die Syntax von zahlreichen Programmiersprachen farbig und mit Fontattributen wie kursiv und fett dar:

$ highlight --syntax=LANG --fragment <CODE >CODE.html

Die Option --syntax=LANG stellt die Programmiersprache ein, --fragment sorgt dafür, dass keine vollständige HTML-Seite, sondern einbettbarer HTML-Code generiert wird.

Die zugehörigen CSS-Klassen liefert folgendes Kommando nach stdout:

$ highlight --print-style --style-outfile=stdout | grep '^\.' >CODE.css

Das nachgeschaltete grep sorgt dafür, dass der Output auf die relevanten Klassen für eine Einbettung eingeschränkt wird.