Administrator Startseite

Apple

iOS, iTunes, Mac OS X

Entwicklung

BASIC, C und C++, Assembler, Batch & Shell, Bibliotheken & Toolkits, CSS, Datenbanken, HTML, IDE & Editoren, Installation, Java, JavaScript, KiXtart, Lizenzierung, Pascal & Delphi, Perl, PHP, Python, VB for Applications, Visual Studio, Webentwicklung, XML

Hardware

Benchmarks, Cluster, CPU, RAM, Mainboards, Drucker und Scanner, Festplatten, Raid, Grafikkarten & Monitore, LAN, WAN, Wireless, Multimedia & Zubehör, Notebook & Zubehör, Router & Routing, SAN, NAS, DAS, Server-Hardware, Sonstige Peripheriegeräte, Speicherkarten, Switche und Hubs

Internet

Blogs, CMS, Domain Registrierung, E-Books, E-Business, E-Mail, Flatrates, Hosting & Housing, Informationsdienste, Instant Messaging, Onlinedienste, SEO, Server, Soziale Netzwerke, Utilities, Webbrowser

Linux

Apache Server, Debian, Desktop, Netzwerk, OpenOffice, LibreOffice, RedHat, CentOS, Fedora, Samba, Suse, Tools & Utilities, Ubuntu, Userverwaltung

Microsoft

Exchange Server, Hyper-V, Installationsprobleme, Netzwerk, Office, Outlook & Mail, Systemdateien, Tools & Utilities, Userverwaltung, Visual Studio, Windows 7, Windows 8, Windows 10, Windows Phone, Windows Server, Windows Vista, Windows XP

Multimedia

Audio, Digitiales Fernsehen, Grafik, Icons, Schriftarten, Video

Netzwerke

Cluster, DNS, DSL, VDSL, Groupware, Grundlagen, ISDN & Analoganschlüsse, LAN, WAN, Wireless, Monitoring, Netzwerkmanagement, Netzwerkprotokolle, Router & Routing, TK-Netze & Geräte, UMTS, EDGE & GPRS, Voice over IP

Off Topic

Administrator.de Feedback, Humor (lol), Papierkorb

Sicherheit

Backup, Erkennung und -Abwehr, Firewall, Grundlagen, Informationsdienste, Rechtliche Fragen, Sicherheits-Tools, Tipps & Tricks, Verschlüsselung & Zertifikate, Viren und Trojaner

Sonstige Systeme

Google Android, MikroTik RouterOS, Novell Netware, Sun Solaris

Virtualisierung

Hyper-V, KVM, Vmware, Xenserver

Weiterbildung

Aus- und Weiterbildung, Ausland, Schulung & Training, Studentenjobs & Praktikum

Zusammenarbeit

Suche Projektpartner

Nächster Wissensbeitrag

Fernverwaltung
Weniger Werbung?
Cover IT-Administrator
Sie ist aufwendig, kostet Geld und bringt in der Regel keinen unmittelbar sichtbaren Nutzen: Die Client-Security. Dabei ist das richtige Absichern von Rechnern für Unternehmen wichtiger denn je, nehmen doch zielgerichtete Angriffe auf Firmen immer weiter zu. Im Oktober dreht sich im IT-Administrator alles rund um den Schwerpunkt 'Client-Sicherheit & Management'. Darin erfahren Sie unter anderem, wie Sie dank Dateisystemverschlüsselung vertrauliche Daten schützen und mit ... mehr
Mitglied: jeb-the-batcher
15.09.2010, aktualisiert 21.01.2011, 12750 Aufrufe, 9 Kommentare, 8

Die Geheimnisse des Batch Zeilen Interpreters

Ich habe zu vielen Fragen viele Antworten gelesen, z.B. Wie Zeige ich ein Prozent/Ausrufezeichen/Pipe an?
z.B.
01.
echo %% 
02.
echo ^^! 
03.
echo ^> 
04.
 

Aber da es nie eine befriedigende Antwort gab, WARUM das ganze so und nicht anders ist, habe ich halt selbst geforscht und viele Sachen probiert.

Daraus habe ich diese Theorie entwickelt, die das Verhalten recht gut vorhersagen kann.
Daher scheint das Modell schon recht nah an der Realität zu sein(Was wiederum bedeutet, dass der Entwickler unter Drogen gestanden hat als er cmd.exe programmierte)

Es gibt mehrere Bereiche die ich untersucht habe:
BatchLineParser - Der Parser der einzelne Kommandos oder Blöcke in einer Batchdatei auswertet und ausführt
CmdLineParser - Wie der BatchLineParser aber direkt auf der Kommandozeile (ja die sind unterschiedlich)
LabelParser - Wie ein Sprung Label gesucht wird
CommandBlockCaching - Wie Kommandos oder ganze Blöcke im Speicher gehalten werden
Tokenizer - Wie und wann aus einer Zeile und deren Zeichen einzelne Gruppen von Token gebildet werden.

BatchLine-Parser

Eine Zeile in einer Batchdatei wird in mehreren Phasen interpretiert (Auf der Kommandozeilen ist das Verhalten anders!)

Der Prozess startet immer mit Phase1
Caret = ^ = Zirkumflex = Auslassungszeichen
Klammern = () = Runde Klammern = paranthesis
Anführungszeichen = " = double quote

Phase0(Caret Verdoppelung): Nur wenn die Zeile wiederholt interpretiert wird (mit einem "call")
- Alle Carets werden verdoppelt, auch in Anführungszeichen
Dabei scheinen nur die in Anführungszeichen betroffen zu sein, das liegt aber daran, das die "normalen" Carets in Phase2 wieder verschwinden

Phase1(Prozent): Zeile bis zum Ende einlesen
- Ersetzen aller Prozentausdrücke %var% aber auch %1 mit dem Variabelinhalt, wenn die Variabel nicht existiert ist das Ergebnis leer
- Ein doppeltes %% wird durch ein einfaches % ersetzt
- Bei erweiterten Ausdrücken, und nicht definierter Variabel ersetzt der Teil nach dem Doppelpunkt den Variabelnausdruck "%undef:x=y%" ergibt "x=y"
- <CR> Zeichen werden ersatzlos entfernt, aber erst nach der Expansion der Variablen (Sprich %A<CR>B% sucht die Variabel A<CR>B, nicht AB), kann auch als eigene Phase1.1 betrachtet werden

Phase2(Spezialzeichen ^()"&<>|,;=<space>): Einzelzeichenbetrachtung
- Bei Anführungszeichen wird das String-Flag getoggelt, solange das String-Flag auf 1 steht, werden die anderen Spezialzeichen als normale Zeichen behandelt
- Bei Caret wird das nächste Zeichen immer als normales Zeichen behandelt, das Caret selbst wird entfernt
- Bei Caret am Zeilenende (Multiline) wird die nächste Zeile angehängt, diese durchläuft wieder Phase 1 und 2, das erste Zeichen wird unbedingt als normales Zeichen behandelt (auch <LF>)
- Bei <LF> wird das Parsen sofort abgebrochen
- Bei Klammern wird der Klammerlevel erhöht oder verringert, die Klammer selbst wird dabei entfernt, Ausnahme ein schließende Klammer bei Klammerlevel=0 bleibt bestehen
Öffnende Klammern werden nur an Stellen als Spezialzeichen erkannt, an denen nach Token1 gesucht wird.
- Bei Zeilenende und der Klammerlevel größer als eins ist, wird die nächste Zeile angehängt, diese durchläuft wieder Phase 1 und 2
- Bei Pipe "|" wird für beide Seiten der Pipe ein Phasenrestart(mit cmdLine-Parser) durchgeführt (genaueres dazu später)
- In dieser Phase wird das Kommando-Token und die Standard-Token-Liste gebildet, Token Trennzeichen sind dabei "<space>,;=&|<>(," und bei Klammerlevel größer 0 auch ")"
- Wenn das Kommando-Token (erstes) "REM", "IF", oder "FOR" ist wird direkt eine Sonderbehandlung aktiviert
- Wenn das erste Token als REM erkannt wird, wird nur bis zum zweiten Token ausgewertet, wichtig für Multiline Caret, Spezialzeichen werden jedoch nicht weiter expandiert für Phase 3

Phase3(echo): Wenn "echo on" aktiv ist, wird das Ergebnis der vorhergehenden Phasen angezeigt
- Bei call wird nur beim ersten mal ein echo ausgelöst, nicht mehr nach Phasen Neustarts
- For-Loop-Blöcke werden mehrfach angezeigt, erstmals der komplette Ausdruck mit nicht expandierten for-loop-vars, dann jeweils pro Schleifendurchlauf mit expandierten for-loop-vars
- Bei Blöcken wird nur einmal der expandierte Ausdruck angezeigt

Phase 4(for-loop-vars expansion): Expansion von %%a und so weiter

Phase5(Ausrufezeichen): Nur wenn "DelayedExpansion" aktiviert ist (durch Registry, setlocal EnableDelayedExpansion oder cmd /V:ON)
- Bei einem Ausrufezeichen wird die Variabel durch den Inhalt ersetzt, ist die Variabel undefiniert, verschwindet der Ausdruck
- Bei einem Caret wird das nächste Zeichen escaped (nur bei ! oder ^ wichtig), das Caret selbst wird entfernt, ACHTUNG hier spielen Anführungszeichen keine Rolle mehr
- Dadurch ergibt sich: echo ! zeigt "^ !" an, echo aber " ^"
- Diese Phase wird unabhängig für das Kommando-Token und den Rest der Zeile ausgeführt! Zu sehen bei echo:
""! "^^"

Phase6(call): Nur wenn das erste Token "call" ist, bei mehreren "call"'s wird diese Phase mehrfach durchlaufen
- Es wird ein Neustart der Phasen durchgeführt, beginnend bei Phase 0 und endet mit Phase2
- DelayedExpansion scheint generell deaktiviert zu sein, unabhängig von setlocal, cmd /V:on oder Registry Einstellungen

Phase7(Execute): Das Kommando wird ausgeführt
- Abhängig vom Kommando können weitere andere Expansionen/Escaping Funktionalitäten stattfinden
- z.B. Im Fall set "name=content" werden nicht die Standard-Token beachtet sondern als Content wird alles vom ersten Gleichzeichen bis zum letzten Anführungszeichen verwendet (bis zum Ende wenn kein Anführungszeichen vorhanden)

CmdLine-Parser

Arbeitet wie der BatchLine-Parser, außer
- Goto/call zu einem Label ist nicht erlaubt

Phase1(Prozent):
- %var% wird durch Inhalt von var ersetzt, wenn var nicht definiert ist bleibt der Ausdruck unverändert stehen
- Keine Spezialbehandlung von %%, auch das zweite Prozent dient als Anfang für eine Variabel z.B. var=Content, dann führt "%%var%%" zu "%Content%"

Phase5(Ausrufezeichen): Nur wenn "DelayedExpansion" aktiviert ist (durch Registry, setlocal EnableDelayedExpansion oder cmd /V:ON)
- Bei einem Ausrufezeichen wird die Variabel durch den Inhalt ersetzt, ist die Variabel undefiniert, bleibt der Ausdruck komplett stehen

for-loop-command-block

z.B. for /F "usebackq" %%a IN (`command block`) DO echo %%a
Der Command-Block wird zweimal geparst, der erste Lauf ist der Standard BatchLine-Parser, der zweite wird mit dem CmdLine-Parser durchgeführt
Dabei ist für DelayedExpansion nur der Registry Eintrag entscheidend, ob diese im zweiten Lauf aktiv ist
Der Aufruf entspricht cmd /c
Ein setzen von Variablen ist daher an dieser Stelle nicht beständig

PIPE

Beide Seiten einer Pipe werden zweimal geparst, der erste Lauf ist der Standard BatchLine-Parser, der zweite wird mit dem CmdLine-Parser durchgeführt
Dabei ist für DelayedExpansion nur der Registry Eintrag entscheidend, ob diese im zweiten Lauf aktiv ist
Die Aufrufe entsprechen jeweils cmd /S /D /c
Ein setzen von Variablen ist daher nicht beständig, z.B. set abc=123 | more setzt die Variable in dem cmdLine-context der nach dem Commando verschwindet

LabelParser

Bei einem goto oder call zu einem Label (Bei call die Doppelpunkt-Syntax bei goto geht es auch ohne) wird der Label gesucht (ach was?)
Es wird von der Stelle in der Datei gesucht an der sich der Sprungbefehl befindet in richtung Ende der Datei, wenn kein passender
Label gefunden wurde, beginnt die Suche am Anfang der Datei bis zum Sprungbefehl
Bei dieser Suche werden keinerlei Ersetzungen durchgeführt also keine %var% oder !var! auch kein Caret
Ein Label muss folgende Form haben:
Trennzeichen eins aus "<space>;,="
<Zeilenanfang><Ein beliebiges Zeichen><beliebig viele Trennzeichen><Doppelpunkt><beliebig viele Trennzeichen><Label><beliebiges Zeichen aus ":CR&|+<>" >
z.B.
goto :MeinLabel
";,= ,=;:;=, ,=MeinLabel| ist ein gültiger Label, der auch gefunden wird!

Aber
z.B.
set var=Eins
goto :%%var%% - Es wird nach dem Label %var% gesucht, hier läuft der normale BatchLine-Parser drüber
:%var% - Der Label heisst "%var%" nicht "eins"


TOKENIZER

Dieser Punkt ist noch in Bearbeitung und in vielen Teilen noch nicht vollständig oder korrekt.
Der Standard-Tokenizer zerlegt eine Zeile in einzelne Teile für die weitere Verarbeitung.
Er läuft normalerweise/teilweise in Phase2,4 und 5 ab (@todo vollkommen ungenau).
Einfache Trenner für Token sind <space>,;=
Automatische Trenner (durch die Funktionalität gegeben) sind <>|&
Anführungszeichen können die Trenner abschalten, so gilt "Dies ist,;=nur ein & Token"


Und demnächst in diesem Forum .... Die Erklärungen und Beispiele wie ich für den ganzen Mist überzeugende Hinweise gefunden habe.

Ich hoffe, dass ich zumindest ein kleines Licht erzeugen konnte und das ganze nicht zu langweilig war
Jan Erik
Mitglied: rubberman
16.09.2010 um 00:04 Uhr
Hallo jeb,

vielen Dank dass du meiner Bitte gefolgt bist. Umso interessanter, dass du deiner mir bereits bekannten englischen Abhandlung noch einige neue Aspekte hinzugefügt hast. Bin gespannt auf mehr ...

Grüße
rubberman

PS: Die Platzierung des Beitrags in der Rubrik "Frage" is allerdings denkbar ungünstig.
Bitte warten ..
Mitglied: jeb-the-batcher
16.09.2010 um 00:31 Uhr
Danke rubbermann,

die Platzierung habe ich einfach nach dem System vorgenommen, "was Oben steht wird gelesen - der Rest niemals".

Und um mal anschauliche Effekte zu zeigen wozu das Ganze jetzt gut war ...

01.
@echo off 
02.
setlocal DisableDelayedExpansion 
03.
set var1=!var2! 
04.
set var2=%%var3%% 
05.
set var3=Content 
06.
set "^=one" 
07.
set "^^=two" 
08.
set "SingleCaret=^" 
09.
setlocal EnableDelayedExpansion 
10.
echo %var1% 
11.
call echo %var1% 
12.
call echo Caret test, this are %%!SingleCaret!%% carets, but you only see !SingleCaret! 
13.
call call call call call echo ^^ "^^"
Ergebnis
01.
%var3% 
02.
Content 
03.
Caret test, this are two carets, but you only see ^ 
04.
^ "^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^"

jeb
Bitte warten ..
Mitglied: miniversum
16.09.2010 um 13:13 Uhr
1. Der letzte Satz unter TOKENIZER stimmt so nicht ganz. Auch klammern können "Trenner" abschalten
01.
dir "test" | (echo a & goto:sprungmarke)

2. Es gibt noch folgende Kombination:
01.
set a=1 
02.
if %a% equ %a% ( 
03.
echo %a% 
04.
set a=2 
05.
echo %a% 
06.
call set a=3 
07.
echo %a% 
08.
)
Bitte warten ..
Mitglied: jeb-the-batcher
16.09.2010 um 15:12 Uhr
Hallo miniversum,

entweder ich verstehe dein Beispiel nicht oder ich habe den Tokenizer schlecht beschrieben.

Bei beiden Beispielen wirken die Klammern sich doch gar nicht auf die Token aus.

Mit Token meine ich die einzelnen "Blöcke" einer Zeile oder Kommandoblocks.
Bsp.
01.
call :meineFunc one "Two & 22" Three=,,Four
Wird in sechs Token zerlegt
<call> <:meineFunc> <one> <"Two & 22"> <Three> <Four>

Sicherlich kann eine schliessende Klammer sich auf Token auswirken, bei Klammerlevel größer 0

z.B.
01.
echo hallo)du da 
02.
(echo hallo)du da

Bei der zweiten Variante werden die Token wie folgt erzeugt
<echo> <hallo> <du> <da>
Spielt aber bis jetzt keine Rolle, weil ich keine Kombination finden kann, bei der man ein gültiges Token nach der Klammer erzeugen kann, welches nicht selbst ein Token-Trenner ist.
Bitte warten ..
Mitglied: miniversum
16.09.2010 um 15:26 Uhr
dir "test" || (echo a & goto:sprungmarke)
Das bedeutet, wenn der dir Befehl einen Fehler ergibt wird die klammer ausgeführt. Hier eben echo a UND das goto.
Würde eine Klammer das Trennzeichen nicht aufheben, sondern nur ein ", würde das goto in jeden Fall ausgeführt werden, so allerdings nur wenn der dir Befehl schief geht. Die logische Trennung ist also eine andere.
Bitte warten ..
Mitglied: Biber
16.09.2010 um 18:06 Uhr
Moin jeb-the-batcher,

danke für deinen Beitrag, aber...
Zitat von jeb-the-batcher:
die Platzierung habe ich einfach nach dem System vorgenommen, "was Oben steht wird gelesen - der Rest niemals".
... nö. das kann ich so nicht akzeptieren.

Ich stufe es mal um von "Frage" auf "Anleitung" und bewerte es entsprechend.

Grüße
Biber
Bitte warten ..
Mitglied: jeb-the-batcher
16.09.2010 um 19:04 Uhr
Tja,

nicht so ganz, denn ...

Der Tokenizer zerlegt eine Zeile in einzelne Teilausdrücke,
damit hat das Verhalten der Klammern zum zusammenfassen logischer Kommandoblöcke nichts zu tun,
das sind zwei unterschiedliche Dinge.

Wenn man versuchen würde das in einer Therorie zusammen zu erklären wird daraus eine Spagetticode Erklärung

Daher gehören die Klammerblöcke allgemein in den Bereich Code/Anweisungsblöcke und bei Batch auch noch in den Bereich Caching.
Bitte warten ..
Mitglied: Florian.Sauber
17.09.2010 um 01:54 Uhr
Echt schöner Beitrag! Hat Spass gemacht zu lesen.
Bitte warten ..
Mitglied: Snowman25
08.10.2010 um 12:13 Uhr
Zitat von Biber:
Zitat von jeb-the-batcher:
die Platzierung habe ich einfach nach dem System vorgenommen, "was Oben steht wird gelesen - der Rest niemals".
... nö. das kann ich so nicht akzeptieren.

Ich stufe es mal um von "Frage" auf "Anleitung" und bewerte es entsprechend.

Für solche Dreistigkeit hätte ich den Beitrag gelöscht...

-Snow
Bitte warten ..
Neuester Wissensbeitrag
Windows 7
Tipp: Moin, Gestern und heute hatte ich mal wieder mit einer MS-Tücke zu kämpfen. Auf einem Windows 7 Home premium 32 bit, fast aktueller Patchstand, teilte mir windows-Update fröhlich ... von Lochkartenstanzer, in Windows 7
Diese Inhalte könnten dich auch interessieren
Batch & Shell
Frage: Hallo Ich versuche nun schon seit einiger Zeit das "kleine" Script (unter Windows 8) zum laufen zu bringen - erfolglos. Mit und ohne Hochkommas (braucht es diese beim ... von GeoSem, in Batch & Shell
Batch & Shell
Frage: Einen wunderschönen guten Morgen wünsche ich, ich habe ein marginales Problem beim strukturieren einer völlig desaströs formatierten .csv-Datei. Leider ergab aber auch ein Durchsuchen etwaiger verwandter Themen für ... von Florian-PE, in Batch & Shell
Router & Routing
Frage: Hallo zusammen, ich habe folgendes Problem. Ich habe eine Batch-Datei, welche eine VPN Verbindung erstellt und danach gleich eine RDP Verbindung herstellt. Doch ich bekomme den RAS-Fehler 691 ... von JohnnyBeton, in Router & Routing
Batch & Shell
Frage: Hallo alle zusammen, ich bin langsam echt am verzweifeln. Ich finde absolut keine Lösung zu meinem Problem. Ich möchte aus einer TXT Datei ein Wort suchen und die ... von SauerJochen, in Batch & Shell
Batch & Shell
Frage: Hallo Leute Ich bin neu hier und bräuchte mal eure Hilfe. Es geht um eine automatisierte Datensicherung von USB Sticks auf ein Server Laufwerk. Nun sortiere ich bereits ... von Ohop3n, in Batch & Shell
Heiß diskutierte Inhalte
Internet
Frage: Hi Leute, ich nutze einen bis vor kurzem noch recht problemlosen 16000 er DSL-Vertrag von ehemals Alice (jetzt O²), über den ich 3 OpenVPN-Tunnel am laufen habe. Vor ... von orcape, in Internet
Sonstige Systeme
Frage: Halloo, ich bin Informatik Student im ersten Semester. Jetzt muss ich folgende Fragen beantworten: Datenschutz • Welche Mechanismen muss ein Home-Server anbieten, damit die Systemkonfiguration nicht verloren gehen ... von InfoStudent, in Sonstige Systeme
iOS
Frage: Ich habe ein exchange Email Konto auf dem iPhone angelegt.jetzt kommt immer die Meldung das die Account Infos nich überprüft werden konnten und es kommt die Meldung das ... von Karin1981, in iOS
Windows Server
Frage: Seit einem Neustart kann man sich an einem SBS 2011 Server nicht mehr als Admin anmelden, nach Eingabe von Benutzername und PW erscheint nur "Das System kann die ... von Gorgo, in Windows Server
Weiterbildung
Frage: Halli Hallo Würde gerne mal die Meinungen der Community dazu hören. Folgendes: Aktuell arbeite ich in einem großen Unternehmen als Admin und ich habe das Problem, dass ich ... von Julz21, in Weiterbildung