Administrator Startseite

Apple

iOS, iTunes, Mac OS X

Entwicklung

Assembler, BASIC, Batch & Shell, Bibliotheken & Toolkits, CSS, C und C++, Datenbanken, HTML, IDE & Editoren, Installation, Java, JavaScript, KiXtart, Lizenzierung, Pascal & Delphi, Perl, PHP, Python, VB for Applications, Visual Studio, Webentwicklung, XML

Hardware

Benchmarks, Cluster, CPU, RAM, Mainboards, Drucker und Scanner, Festplatten, Raid, Grafikkarten & Monitore, LAN, WAN, Wireless, Multimedia & Zubehör, Notebook & Zubehör, Router & Routing, SAN, NAS, DAS, Server-Hardware, Sonstige Peripheriegeräte, Speicherkarten, Switche und Hubs

Internet

Blogs, CMS, Domain Registrierung, E-Books, E-Business, E-Mail, Flatrates, Hosting & Housing, Informationsdienste, Instant Messaging, Onlinedienste, SEO, Server, Soziale Netzwerke, Utilities, Webbrowser

Linux

Apache Server, Debian, Desktop, Netzwerk, OpenOffice, LibreOffice, RedHat, CentOS, Fedora, Samba, Suse, Tools & Utilities, Ubuntu, Userverwaltung

Microsoft

Exchange Server, Hyper-V, Installationsprobleme, Netzwerk, Office, Outlook & Mail, Systemdateien, Tools & Utilities, Userverwaltung, Visual Studio, Windows 7, Windows 8, Windows 10, Windows Phone, Windows Server, Windows Vista, Windows XP

Multimedia

Audio, Digitiales Fernsehen, Grafik, Icons, Schriftarten, Video

Netzwerke

Cluster, DNS, DSL, VDSL, Groupware, Grundlagen, ISDN & Analoganschlüsse, LAN, WAN, Wireless, Monitoring, Netzwerkmanagement, Netzwerkprotokolle, Router & Routing, TK-Netze & Geräte, UMTS, EDGE & GPRS, Voice over IP

Off Topic

Humor (lol), Administrator.de Feedback, Papierkorb

Sicherheit

Backup, Erkennung und -Abwehr, Firewall, Informationsdienste, Sicherheits-Tools, Tipps & Tricks, Verschlüsselung & Zertifikate, Viren und Trojaner

Sonstige Systeme

Google Android, MikroTik RouterOS, Novell Netware, Sun Solaris

Virtualisierung

Hyper-V, KVM, Vmware, Xenserver

Weiterbildung

Aus- und Weiterbildung, Ausland, Schulung & Training, Studentenjobs & Praktikum

Zusammenarbeit

Suche Projektpartner

Nächster Wissensbeitrag

Fernverwaltung
Weniger Werbung?
Cover IT-Administrator
Die Datenmenge in Unternehmen wächst unaufhaltsam und auch deren notwendige Verfügbarkeit steht längst außer Frage. Deshalb befasst sich das IT-Administrator Magazin im November mit dem Schwerpunkt 'Storage & Datenmanagement'. So zeigen wir unter anderem, wie die Speichervirtualisierung mit Open vStorage funktioniert. Außerdem lesen Sie, auf welchem Weg Sie iSCSI optimal mit Windows Server 2012 R2 und Hyper-V nutzen und wie Sie Amazon S3 dank S3QL ... mehr
Mitglied: jeb-the-batcher
15.09.2010, aktualisiert 21.01.2011, 12995 Aufrufe, 9 Kommentare, 8

Die Geheimnisse des Batch Zeilen Interpreters

Ich habe zu vielen Fragen viele Antworten gelesen, z.B. Wie Zeige ich ein Prozent/Ausrufezeichen/Pipe an?
z.B.
01.
echo %% 
02.
echo ^^! 
03.
echo ^> 
04.
 

Aber da es nie eine befriedigende Antwort gab, WARUM das ganze so und nicht anders ist, habe ich halt selbst geforscht und viele Sachen probiert.

Daraus habe ich diese Theorie entwickelt, die das Verhalten recht gut vorhersagen kann.
Daher scheint das Modell schon recht nah an der Realität zu sein(Was wiederum bedeutet, dass der Entwickler unter Drogen gestanden hat als er cmd.exe programmierte)

Es gibt mehrere Bereiche die ich untersucht habe:
BatchLineParser - Der Parser der einzelne Kommandos oder Blöcke in einer Batchdatei auswertet und ausführt
CmdLineParser - Wie der BatchLineParser aber direkt auf der Kommandozeile (ja die sind unterschiedlich)
LabelParser - Wie ein Sprung Label gesucht wird
CommandBlockCaching - Wie Kommandos oder ganze Blöcke im Speicher gehalten werden
Tokenizer - Wie und wann aus einer Zeile und deren Zeichen einzelne Gruppen von Token gebildet werden.

BatchLine-Parser

Eine Zeile in einer Batchdatei wird in mehreren Phasen interpretiert (Auf der Kommandozeilen ist das Verhalten anders!)

Der Prozess startet immer mit Phase1
Caret = ^ = Zirkumflex = Auslassungszeichen
Klammern = () = Runde Klammern = paranthesis
Anführungszeichen = " = double quote

Phase0(Caret Verdoppelung): Nur wenn die Zeile wiederholt interpretiert wird (mit einem "call")
- Alle Carets werden verdoppelt, auch in Anführungszeichen
Dabei scheinen nur die in Anführungszeichen betroffen zu sein, das liegt aber daran, das die "normalen" Carets in Phase2 wieder verschwinden

Phase1(Prozent): Zeile bis zum Ende einlesen
- Ersetzen aller Prozentausdrücke %var% aber auch %1 mit dem Variabelinhalt, wenn die Variabel nicht existiert ist das Ergebnis leer
- Ein doppeltes %% wird durch ein einfaches % ersetzt
- Bei erweiterten Ausdrücken, und nicht definierter Variabel ersetzt der Teil nach dem Doppelpunkt den Variabelnausdruck "%undef:x=y%" ergibt "x=y"
- <CR> Zeichen werden ersatzlos entfernt, aber erst nach der Expansion der Variablen (Sprich %A<CR>B% sucht die Variabel A<CR>B, nicht AB), kann auch als eigene Phase1.1 betrachtet werden

Phase2(Spezialzeichen ^()"&<>|,;=<space>): Einzelzeichenbetrachtung
- Bei Anführungszeichen wird das String-Flag getoggelt, solange das String-Flag auf 1 steht, werden die anderen Spezialzeichen als normale Zeichen behandelt
- Bei Caret wird das nächste Zeichen immer als normales Zeichen behandelt, das Caret selbst wird entfernt
- Bei Caret am Zeilenende (Multiline) wird die nächste Zeile angehängt, diese durchläuft wieder Phase 1 und 2, das erste Zeichen wird unbedingt als normales Zeichen behandelt (auch <LF>)
- Bei <LF> wird das Parsen sofort abgebrochen
- Bei Klammern wird der Klammerlevel erhöht oder verringert, die Klammer selbst wird dabei entfernt, Ausnahme ein schließende Klammer bei Klammerlevel=0 bleibt bestehen
Öffnende Klammern werden nur an Stellen als Spezialzeichen erkannt, an denen nach Token1 gesucht wird.
- Bei Zeilenende und der Klammerlevel größer als eins ist, wird die nächste Zeile angehängt, diese durchläuft wieder Phase 1 und 2
- Bei Pipe "|" wird für beide Seiten der Pipe ein Phasenrestart(mit cmdLine-Parser) durchgeführt (genaueres dazu später)
- In dieser Phase wird das Kommando-Token und die Standard-Token-Liste gebildet, Token Trennzeichen sind dabei "<space>,;=&|<>(," und bei Klammerlevel größer 0 auch ")"
- Wenn das Kommando-Token (erstes) "REM", "IF", oder "FOR" ist wird direkt eine Sonderbehandlung aktiviert
- Wenn das erste Token als REM erkannt wird, wird nur bis zum zweiten Token ausgewertet, wichtig für Multiline Caret, Spezialzeichen werden jedoch nicht weiter expandiert für Phase 3

Phase3(echo): Wenn "echo on" aktiv ist, wird das Ergebnis der vorhergehenden Phasen angezeigt
- Bei call wird nur beim ersten mal ein echo ausgelöst, nicht mehr nach Phasen Neustarts
- For-Loop-Blöcke werden mehrfach angezeigt, erstmals der komplette Ausdruck mit nicht expandierten for-loop-vars, dann jeweils pro Schleifendurchlauf mit expandierten for-loop-vars
- Bei Blöcken wird nur einmal der expandierte Ausdruck angezeigt

Phase 4(for-loop-vars expansion): Expansion von %%a und so weiter

Phase5(Ausrufezeichen): Nur wenn "DelayedExpansion" aktiviert ist (durch Registry, setlocal EnableDelayedExpansion oder cmd /V:ON)
- Bei einem Ausrufezeichen wird die Variabel durch den Inhalt ersetzt, ist die Variabel undefiniert, verschwindet der Ausdruck
- Bei einem Caret wird das nächste Zeichen escaped (nur bei ! oder ^ wichtig), das Caret selbst wird entfernt, ACHTUNG hier spielen Anführungszeichen keine Rolle mehr
- Dadurch ergibt sich: echo ! zeigt "^ !" an, echo aber " ^"
- Diese Phase wird unabhängig für das Kommando-Token und den Rest der Zeile ausgeführt! Zu sehen bei echo:
""! "^^"

Phase6(call): Nur wenn das erste Token "call" ist, bei mehreren "call"'s wird diese Phase mehrfach durchlaufen
- Es wird ein Neustart der Phasen durchgeführt, beginnend bei Phase 0 und endet mit Phase2
- DelayedExpansion scheint generell deaktiviert zu sein, unabhängig von setlocal, cmd /V:on oder Registry Einstellungen

Phase7(Execute): Das Kommando wird ausgeführt
- Abhängig vom Kommando können weitere andere Expansionen/Escaping Funktionalitäten stattfinden
- z.B. Im Fall set "name=content" werden nicht die Standard-Token beachtet sondern als Content wird alles vom ersten Gleichzeichen bis zum letzten Anführungszeichen verwendet (bis zum Ende wenn kein Anführungszeichen vorhanden)

CmdLine-Parser

Arbeitet wie der BatchLine-Parser, außer
- Goto/call zu einem Label ist nicht erlaubt

Phase1(Prozent):
- %var% wird durch Inhalt von var ersetzt, wenn var nicht definiert ist bleibt der Ausdruck unverändert stehen
- Keine Spezialbehandlung von %%, auch das zweite Prozent dient als Anfang für eine Variabel z.B. var=Content, dann führt "%%var%%" zu "%Content%"

Phase5(Ausrufezeichen): Nur wenn "DelayedExpansion" aktiviert ist (durch Registry, setlocal EnableDelayedExpansion oder cmd /V:ON)
- Bei einem Ausrufezeichen wird die Variabel durch den Inhalt ersetzt, ist die Variabel undefiniert, bleibt der Ausdruck komplett stehen

for-loop-command-block

z.B. for /F "usebackq" %%a IN (`command block`) DO echo %%a
Der Command-Block wird zweimal geparst, der erste Lauf ist der Standard BatchLine-Parser, der zweite wird mit dem CmdLine-Parser durchgeführt
Dabei ist für DelayedExpansion nur der Registry Eintrag entscheidend, ob diese im zweiten Lauf aktiv ist
Der Aufruf entspricht cmd /c
Ein setzen von Variablen ist daher an dieser Stelle nicht beständig

PIPE

Beide Seiten einer Pipe werden zweimal geparst, der erste Lauf ist der Standard BatchLine-Parser, der zweite wird mit dem CmdLine-Parser durchgeführt
Dabei ist für DelayedExpansion nur der Registry Eintrag entscheidend, ob diese im zweiten Lauf aktiv ist
Die Aufrufe entsprechen jeweils cmd /S /D /c
Ein setzen von Variablen ist daher nicht beständig, z.B. set abc=123 | more setzt die Variable in dem cmdLine-context der nach dem Commando verschwindet

LabelParser

Bei einem goto oder call zu einem Label (Bei call die Doppelpunkt-Syntax bei goto geht es auch ohne) wird der Label gesucht (ach was?)
Es wird von der Stelle in der Datei gesucht an der sich der Sprungbefehl befindet in richtung Ende der Datei, wenn kein passender
Label gefunden wurde, beginnt die Suche am Anfang der Datei bis zum Sprungbefehl
Bei dieser Suche werden keinerlei Ersetzungen durchgeführt also keine %var% oder !var! auch kein Caret
Ein Label muss folgende Form haben:
Trennzeichen eins aus "<space>;,="
<Zeilenanfang><Ein beliebiges Zeichen><beliebig viele Trennzeichen><Doppelpunkt><beliebig viele Trennzeichen><Label><beliebiges Zeichen aus ":CR&|+<>" >
z.B.
goto :MeinLabel
";,= ,=;:;=, ,=MeinLabel| ist ein gültiger Label, der auch gefunden wird!

Aber
z.B.
set var=Eins
goto :%%var%% - Es wird nach dem Label %var% gesucht, hier läuft der normale BatchLine-Parser drüber
:%var% - Der Label heisst "%var%" nicht "eins"


TOKENIZER

Dieser Punkt ist noch in Bearbeitung und in vielen Teilen noch nicht vollständig oder korrekt.
Der Standard-Tokenizer zerlegt eine Zeile in einzelne Teile für die weitere Verarbeitung.
Er läuft normalerweise/teilweise in Phase2,4 und 5 ab (@todo vollkommen ungenau).
Einfache Trenner für Token sind <space>,;=
Automatische Trenner (durch die Funktionalität gegeben) sind <>|&
Anführungszeichen können die Trenner abschalten, so gilt "Dies ist,;=nur ein & Token"


Und demnächst in diesem Forum .... Die Erklärungen und Beispiele wie ich für den ganzen Mist überzeugende Hinweise gefunden habe.

Ich hoffe, dass ich zumindest ein kleines Licht erzeugen konnte und das ganze nicht zu langweilig war
Jan Erik
Mitglied: rubberman
16.09.2010 um 00:04 Uhr
Hallo jeb,

vielen Dank dass du meiner Bitte gefolgt bist. Umso interessanter, dass du deiner mir bereits bekannten englischen Abhandlung noch einige neue Aspekte hinzugefügt hast. Bin gespannt auf mehr ...

Grüße
rubberman

PS: Die Platzierung des Beitrags in der Rubrik "Frage" is allerdings denkbar ungünstig.
Bitte warten ..
Mitglied: jeb-the-batcher
16.09.2010 um 00:31 Uhr
Danke rubbermann,

die Platzierung habe ich einfach nach dem System vorgenommen, "was Oben steht wird gelesen - der Rest niemals".

Und um mal anschauliche Effekte zu zeigen wozu das Ganze jetzt gut war ...

01.
@echo off 
02.
setlocal DisableDelayedExpansion 
03.
set var1=!var2! 
04.
set var2=%%var3%% 
05.
set var3=Content 
06.
set "^=one" 
07.
set "^^=two" 
08.
set "SingleCaret=^" 
09.
setlocal EnableDelayedExpansion 
10.
echo %var1% 
11.
call echo %var1% 
12.
call echo Caret test, this are %%!SingleCaret!%% carets, but you only see !SingleCaret! 
13.
call call call call call echo ^^ "^^"
Ergebnis
01.
%var3% 
02.
Content 
03.
Caret test, this are two carets, but you only see ^ 
04.
^ "^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^"

jeb
Bitte warten ..
Mitglied: miniversum
16.09.2010 um 13:13 Uhr
1. Der letzte Satz unter TOKENIZER stimmt so nicht ganz. Auch klammern können "Trenner" abschalten
01.
dir "test" | (echo a & goto:sprungmarke)

2. Es gibt noch folgende Kombination:
01.
set a=1 
02.
if %a% equ %a% ( 
03.
echo %a% 
04.
set a=2 
05.
echo %a% 
06.
call set a=3 
07.
echo %a% 
08.
)
Bitte warten ..
Mitglied: jeb-the-batcher
16.09.2010 um 15:12 Uhr
Hallo miniversum,

entweder ich verstehe dein Beispiel nicht oder ich habe den Tokenizer schlecht beschrieben.

Bei beiden Beispielen wirken die Klammern sich doch gar nicht auf die Token aus.

Mit Token meine ich die einzelnen "Blöcke" einer Zeile oder Kommandoblocks.
Bsp.
01.
call :meineFunc one "Two & 22" Three=,,Four
Wird in sechs Token zerlegt
<call> <:meineFunc> <one> <"Two & 22"> <Three> <Four>

Sicherlich kann eine schliessende Klammer sich auf Token auswirken, bei Klammerlevel größer 0

z.B.
01.
echo hallo)du da 
02.
(echo hallo)du da

Bei der zweiten Variante werden die Token wie folgt erzeugt
<echo> <hallo> <du> <da>
Spielt aber bis jetzt keine Rolle, weil ich keine Kombination finden kann, bei der man ein gültiges Token nach der Klammer erzeugen kann, welches nicht selbst ein Token-Trenner ist.
Bitte warten ..
Mitglied: miniversum
16.09.2010 um 15:26 Uhr
dir "test" || (echo a & goto:sprungmarke)
Das bedeutet, wenn der dir Befehl einen Fehler ergibt wird die klammer ausgeführt. Hier eben echo a UND das goto.
Würde eine Klammer das Trennzeichen nicht aufheben, sondern nur ein ", würde das goto in jeden Fall ausgeführt werden, so allerdings nur wenn der dir Befehl schief geht. Die logische Trennung ist also eine andere.
Bitte warten ..
Mitglied: Biber
16.09.2010 um 18:06 Uhr
Moin jeb-the-batcher,

danke für deinen Beitrag, aber...
Zitat von jeb-the-batcher:
die Platzierung habe ich einfach nach dem System vorgenommen, "was Oben steht wird gelesen - der Rest niemals".
... nö. das kann ich so nicht akzeptieren.

Ich stufe es mal um von "Frage" auf "Anleitung" und bewerte es entsprechend.

Grüße
Biber
Bitte warten ..
Mitglied: jeb-the-batcher
16.09.2010 um 19:04 Uhr
Tja,

nicht so ganz, denn ...

Der Tokenizer zerlegt eine Zeile in einzelne Teilausdrücke,
damit hat das Verhalten der Klammern zum zusammenfassen logischer Kommandoblöcke nichts zu tun,
das sind zwei unterschiedliche Dinge.

Wenn man versuchen würde das in einer Therorie zusammen zu erklären wird daraus eine Spagetticode Erklärung

Daher gehören die Klammerblöcke allgemein in den Bereich Code/Anweisungsblöcke und bei Batch auch noch in den Bereich Caching.
Bitte warten ..
Mitglied: Florian.Sauber
17.09.2010 um 01:54 Uhr
Echt schöner Beitrag! Hat Spass gemacht zu lesen.
Bitte warten ..
Mitglied: Snowman25
08.10.2010 um 12:13 Uhr
Zitat von Biber:
Zitat von jeb-the-batcher:
die Platzierung habe ich einfach nach dem System vorgenommen, "was Oben steht wird gelesen - der Rest niemals".
... nö. das kann ich so nicht akzeptieren.

Ich stufe es mal um von "Frage" auf "Anleitung" und bewerte es entsprechend.

Für solche Dreistigkeit hätte ich den Beitrag gelöscht...

-Snow
Bitte warten ..
Neuester Wissensbeitrag
Administrator.de Feedback
Erfahrungsbericht: Tja, ich mag humorlos sein, oder spätestens dann werden, wenn mein Rechner zickt, unabhängig davon, ob es nun an mir lag, am Rechner oder an Microsoft oder an ... von Kiel-oben, in Administrator.de Feedback
Diese Inhalte könnten dich auch interessieren
Batch & Shell
Frage: Halli Hallo, leider komme ich gerade nicht weiter mit meiner Batch-File. Bin auch nicht so der Profi (eher gar nicht ;-) ) aber ich versuche mit daran. Es ... von Snickaaz, in Batch & Shell
Batch & Shell
Frage: Hallo Ich versuche nun schon seit einiger Zeit das "kleine" Script (unter Windows 8) zum laufen zu bringen - erfolglos. Mit und ohne Hochkommas (braucht es diese beim ... von GeoSem, in Batch & Shell
Batch & Shell
Frage: Einen wunderschönen guten Morgen wünsche ich, ich habe ein marginales Problem beim strukturieren einer völlig desaströs formatierten .csv-Datei. Leider ergab aber auch ein Durchsuchen etwaiger verwandter Themen für ... von Florian-PE, in Batch & Shell
Batch & Shell
Frage: Servus, ich bastle nun schon länger an einer Möglichkeit rum, die Delims in einer CSV- Datei (Wetterdaten) vom englischen Standard (Delims="," Dezimaltrennung=".") auf deutsch (Delims=";" Dezimaltrennung=",") umzubauen. Leider ... von leknilk0815, in Batch & Shell
Batch & Shell
Frage: Hallo, ich habe folgende Problemstellung. Es gibt auf einem Windows-Server einen Ordner mit einer Unterordnerstruktur. In dieser Struktur befinden sich sehr viele Dokumente (16000). Die Dokumente liegen mit ... von xwittx, in Batch & Shell
Heiß diskutierte Inhalte
Viren und Trojaner
Frage: Wie komme ich bei dem Acer Travelmate P253 Win8 ins BIOS? Habe einen Troyaner (durch 1 und 1 mail) die vom AVIRA oder AVG Vierenscanner nicht gefunden wurde. ... von SpiderXXX, in Viren und Trojaner
Linux
Frage: Schönen guten Tag allerseits, zuhause habe ich 5 Computer die von der ganzen Familie immer genutzt werden. Nun wollte ich mir aber einen kleinen Datenserver zusammenbauen, damit man ... von DasJulian, in Linux
Netzwerk
Frage: Hallo, ich habe bei mir beim Raspberry Pi vor langer Zeit einmal einen Proxy eingetragen mit folgenden Befehl: http_proxy=" Ich finde aber nicht wo der Pi das abspeichert. ... von K-ist-K, in Netzwerk
PHP
Frage: Hallo Zusammen, ich brauche eine Website auf der man sich mit seinen LDAP Account anmelden kann und dann eine Nachricht eingeben kann die dann in einer .txt abgelegt ... von schneerunzel, in PHP
Netzwerk
Frage: Hallo zusammen, mein Intranet besteht aus einer FritzBox 7170 (stellt Internet bereit) und eine FritzBox 7240 (im IP-Client-Modus) für WLan und DECT (die kommt aber leider nicht mit ... von ChristianKnorr, in Netzwerk