Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

MySQL Anfrage RAND und LIMIT

Frage Entwicklung Datenbanken

Mitglied: ManicPumpkin

ManicPumpkin (Level 1) - Jetzt verbinden

13.06.2011 um 19:46 Uhr, 2413 Aufrufe, 1 Kommentar

Randomanfrage dauert zu lange. Alternative ?

Hallo,

ich möchte aus einer Datenbank Tabelle (mit ca. 31 Millionen Einträgen) ca. 100.000 bis 500.000 Einträge zufällig auswählen. Die Einträge sollen in einer anderen Tabelle gespeichert werden.

Ich habe jedoch das Problem dass ich mittels ...
SELECT * FROM table WHERE 1 ORDER BY RAND() LIMIT 100000;
... bis morgen früh und noch viel länger sitzen müsste.

Die Anfrage mit 5.000 Einträgen dauert schon bald eine halbe Stunde und so richtig effiktiv ist das nun auch nicht, da ich nicht immer 30 Minuten für 5.000 Einträge warten kann.

Kennt jemand eine Alternative dazu ?

Beste Grüße und Danke,
SkiD.
Mitglied: dog
14.06.2011 um 02:52 Uhr
WHERE 1

Ist schonmal überflüssig.

Dann solltest du bedenken, dass ORDER und LIMIT die letzten Operationen sind, die auf eine Abfrage angewendet werden (in der Reihenfolge).

Was du machst ist als Abfrage identisch mit:

SELECT * FROM table

Nur das du noch mal richtig Overhead für RAND() hinzufügst.

Die einzige Möglichkeit da was zu optimieren ist das SELECT auf einen Index und nicht auf die ganze Tabelle zu machen.

Spaßeshalber habe ich das grade mal mit einer Tabelle mit 3,8M Rows (2GB) ausprobiert:

SELECT * FROM tbl LIMIT 100000 => 208ms
SELECT id FROM tbl LIMIT 100000 => 183ms
SELECT id FROM tbl ORDER BY RAND() LIMIT 100000 => 37,6s

Das sind natürlich die Serverzeiten. Alles andere ist Datentransfer.
Aber mal ein Tipp:

SELECT * FROM tbl WHERE id IN (...100000 zufallszahlen mit PHP erzeugt...) => 0,9s + 9,4s

Die Zeiten sind auf einem alten Pentium IV.
Bitte warten ..
Ähnliche Inhalte
Netzwerke
Anfrage zur Buchqualität
Frage von SarekHLNetzwerke26 Kommentare

Hallo zusammen, hat jemand von Euch Erfahrungen mit diesem Buch und kann beurteilen, ob das was taugt, um sich ...

PHP
Definition Script für "memory limit"
Frage von lexa-lexaPHP1 Kommentar

Hi, kann mir bitte jemand die folgende Aussage zum "memory_limit" präzisieren: memory_limit ist: "Die maximale Menge des Arbeitsspeichers (in ...

Vmware
ESXi 32GB Limit?
Frage von RalfHackmannVmware7 Kommentare

Hallo, ich habe einen Fujitsu Server incl. VMware ESXi Embedded Hypervisor erworben. Der Server hat 40GB RAM. Nachdem ich ...

Vmware
VCPU Limit vSphere
Frage von MicKinVmware6 Kommentare

Hallo zusammen, ich habe da aktuell ein Problem. VMware hat mit der Version 5.5 das vCPU Limit aufgehoben. Laut ...

Neue Wissensbeiträge
Internet

EU-DSGVO: WHOIS soll weniger Informationen liefern

Information von sabines vor 4 StundenInternet3 Kommentare

Wegen der europäische Datenschutzgrundverordnung stehen die Prozesse um die Registierunf von Domains auf dem Prüfstand. Sollte die Forderungen umgesetzt ...

Verschlüsselung & Zertifikate

19 Jahre alter Angriff auf TLS funktioniert immer noch

Information von BassFishFox vor 11 StundenVerschlüsselung & Zertifikate1 Kommentar

Interessant zu lesen. Der Bleichenbacher-Angriff gilt unter Kryptographen als Klassiker, trotzdem funktioniert er oft noch. Wie wir herausgefunden haben, ...

Windows 10

Windows 10 Fall Creators Update - Neue Funktion Hyper-V Standardswitch kann ggf. Fehler bei Proxy Configs verursachen

Erfahrungsbericht von rzlbrnft vor 22 StundenWindows 103 Kommentare

Hallo Kollegen, Da wir die Gefahr lieben, haben wir bei einigen Usern nun mittlerweile das Creators Update drauf. Einige ...

Sicherheit

TLS-Zertifikat und privater Schlüssel von Microsofts Dynamics 365 geleakt

Information von Penny.Cilin vor 1 TagSicherheit

Microsoft hat versehentlich das TLS-Zertifikat inklusive dem privaten Schlüssel seiner Business-Anwendung Dynamics 365 geleakt. TLS-Zertifikat und privater Schlüssel von ...

Heiß diskutierte Inhalte
Netzwerkmanagement
Firefox Profieles im Roaming
gelöst Frage von Hendrik2586Netzwerkmanagement17 Kommentare

Hallo liebe Leute. :) Ich hab da ein kleines Problem, welches anscheinend nicht unbekannt ist. Wir nutzen hier in ...

Netzwerkmanagement
NAS über zwei weitere Ethernet Anschlüsse verbinden
gelöst Frage von Sibelius001Netzwerkmanagement16 Kommentare

Sorry - ich bin hier wahrscheinlich als kompetter IT Trottel unterwegs. Aber eventuell kann mir jemand ganz einfach helfen: ...

LAN, WAN, Wireless
Von rj11 auf rj45
Frage von jensgebkenLAN, WAN, Wireless16 Kommentare

Hallo Gemeinschaft, könnt ihr mir vielleicht bei der anfertigung eines Kabels helfen - habe ein rj 11 stecker und ...

LAN, WAN, Wireless
Häufig Probleme beim Anmelden in WLAN
Frage von mabue88LAN, WAN, Wireless15 Kommentare

Hallo zusammen, in einem Netzwerk gibt es relativ häufig (1-2 mal pro Woche) Probleme mit der WLAN-Verbindung. Zunächst mal ...