Bokt.nl

**Geplaatst**: 12-10-06 20:14

Re: Bokt opschonen?

Geplaatst: 12-10-06 20:14

Edding3000 schreef:
Kijk eens aan. Weer wat geleerd!
Heaptabellen, nog nooit mee gewerkt dus geen idee wat het zijn. Zijn dat tabellen stored in ram?

Yep, dat zijn tabellen die je kan gebruiken voor tijdelijke zaken.

Echter op een groot forum, zoals bv Bokt, kan het een probleem vormen, want als je daar veel in gaat plaatsen vreet het je ram op totdat er niet genoeg meer is en dan gaat MySQL het op harddisk plaatsen om het verder te laten groeien.
Dit is leuk voor een klein forum of als je zeker weet dat het weinig data is.
Maar als je er dingen in gaat zetten die blijven groeien (of onverwacht blijven groeien) dan kan het een hoop ellende geven.
Bij een groot forum zoals Bokt wil je echt alles direct naar harddisk schrijven en enkel tijdelijke dingen gebruiken via de buffers en caches.

**Geplaatst**: 12-10-06 20:22

Re: Bokt opschonen?

Geplaatst: 12-10-06 20:22

Bas232 schreef:
Edding3000 schreef:
Kijk eens aan. Weer wat geleerd!
Heaptabellen, nog nooit mee gewerkt dus geen idee wat het zijn. Zijn dat tabellen stored in ram?

Yep, dat zijn tabellen die je kan gebruiken voor tijdelijke zaken.

Echter op een groot forum, zoals bv Bokt, kan het een probleem vormen, want als je daar veel in gaat plaatsen vreet het je ram op totdat er niet genoeg meer is en dan gaat MySQL het op harddisk plaatsen om het verder te laten groeien.
Dit is leuk voor een klein forum of als je zeker weet dat het weinig data is.
Maar als je er dingen in gaat zetten die blijven groeien (of onverwacht blijven groeien) dan kan het een hoop ellende geven.
Bij een groot forum zoals Bokt wil je echt alles direct naar harddisk schrijven en enkel tijdelijke dingen gebruiken via de buffers en caches.

Toch vind ik het raar dat bokt ineens niet meer bereikbaar is terwijl het 10 seconden ervoor gewoon redelijk snel is.

**Geplaatst**: 12-10-06 20:28

Re: Bokt opschonen?

Geplaatst: 12-10-06 20:28

Wat is daar raar aan?

De boel is gewoon niet goed ingesteld, da's alles.
Bart heeft me al eens laten weten dat de load van sommige servers kan oplopen tot 20....
Wel, dat houd in dat de server eigenlijk 20 CPU's nodig heeft om de boel te verwerken.

Als je iets van Linux kent, dan moet je je "top" eens bekijken, normaal moet die voor 1 CPU (1 core) een waarde hebben van ~1.
Is hij lager dan heeft de CPU tijd over, is die hoger dan moeten processen wachten tot er wel tijd is, dus vertraagd de boel enorm.

Ik ben en blijf van mening dat Bart verkeerde waardes/settings gebruikt, want zijn servers bevatten AMD64 S939 2.2GHz CPU's met 2~4GB ram elk, die moeten een forumpje zoals dit gemakkelijk kunnen draaien (PER SERVER!), kwestie van domweg goed instellen.

Kijk als er op een bepaald moment een piek optreed waardoor de load naar 20 schiet, dan moet dat process 20 tikken wachten voor het aan de beurt is.
Blijft dit duren, ja dan krijg je vanzelf een denial-of-service totdat alles verwerkt is en het gaat weer even snel tot het weer gebeurd.
Zo simpel is het.

**Geplaatst**: 12-10-06 20:35

Re: Bokt opschonen?

Geplaatst: 12-10-06 20:35

Bas232 schreef:
Wat is daar raar aan?

De boel is gewoon niet goed ingesteld, da's alles.
Bart heeft me al eens laten weten dat de load van sommige servers kan oplopen tot 20....
Wel, dat houd in dat de server eigenlijk 20 CPU's nodig heeft om de boel te verwerken.

Als je iets van Linux kent, dan moet je je "top" eens bekijken, normaal moet die voor 1 CPU (1 core) een waarde hebben van ~1.
Is hij lager dan heeft de CPU tijd over, is die hoger dan moeten processen wachten tot er wel tijd is, dus vertraagd de boel enorm.

Ik ben en blijf van mening dat Bart verkeerde waardes/settings gebruikt, want zijn servers bevatten AMD64 S939 2.2GHz CPU's met 2~4GB ram elk, die moeten een forumpje zoals dit gemakkelijk kunnen draaien (PER SERVER!), kwestie van domweg goed instellen.

Kijk als er op een bepaald moment een piek optreed waardoor de load naar 20 schiet, dan moet dat process 20 tikken wachten voor het aan de beurt is.
Blijft dit duren, ja dan krijg je vanzelf een denial-of-service totdat alles verwerkt is en het gaat weer even snel tot het weer gebeurd.
Zo simpel is het.

aha, makes sense.
Ik ben niet helemaal thuis in hardware, maar klinkt logisch ja.

**Geplaatst**: 12-10-06 20:46

Re: Bokt opschonen?

Geplaatst: 12-10-06 20:46

Het kan aan veel zaken liggen.
Een hele mooie is read-buffer en write-buffer, normaal moeten die op 1~2MB liggen, als hij die te hoog heeft staan, ja dan vreet de database geheugen per request.
Er zijn mensen die denken dat buffers hoog moeten staan, vaak waar, maar niet altijd.
Want bv de read/write-buffer is per request!, dus als die op bv 32M staan, ja dan vreet de boel geheugen dat voor andere zaken gebruikt zou kunnen worden.
Hetzelfde met persistant-connections, die zijn leuk, maar kunnen ook tegen je werken.
Immers, elke geopende connectie BLIJFT open, da's goed als je altijd hetzelfde aantal hebt, maar niet als je pieken en dalen kent, dan is het vaak beter om gewone connecties te gebruiken die ook weer sluiten, want dan komt er geheugen vrij.
Verder is het zaak om naar swapping te kijken, want swappen kost tijd....ter vergelijk:

Geheugen is 10000x (of meer) dan de harddisk!

Dus als je veel swapping hebt, dan houd dat in dat je geheugen te kort hebt en dat je traaaaaaag harddisk geheugen gaat aanspreken, en dat helpt je load weer enorm omhoog.....
Dus de boel is aan het wachten! En wachten kost tijd....tot het te lang duurt en de boel gaat plat of vreemde dingen doen.

Maar zolang Bart geen config files post hier, blijft het enkel gokken wat het kan zijn.
Van 1 ding ben ik zeker, zijn hardware kan (per server) dit forum makkelijk trekken.

**Geplaatst**: 12-10-06 21:23

Re: Bokt opschonen?

Geplaatst: 12-10-06 21:23

Database draait nu op een dual dual-core opteron met 16GB en 2 hardware raid controllers met 1GB battery backed geheugen per stuk. Instellingen van de DB server wijzigen is op dit moment gewoon niet boeiend. Dat ding is, nu we tijdelijk op deze mega back van www.caret.net zitten, echt _zwaar_ overpowered.

Heap tabellen komen nooit op de disk terecht (of je geheugen moet op zijn maar dan is het gewoon afgelopen met je database server). De sessies tabel is een HEAP tabel. Deze tabel mag best leeg door een reboot of crash. Een deel van de tabellen is op dit moment InnoDB, ander deel MyISAM. Grote verschil is dat InnoDB transacties ondersteund en aan row locking doet, MyISAM doet niets met transacties en locked een hele tabel. Als je dus een tabel hebt waarnaar veel geschreven wordt (iedere keer een lock op heel de tabel) dan is InnoDB al snel interessant. Bij (vrijwel) alleen lezen is MyISAM wat sneller.
InnoDB heeft een journal en dus vrijwel geen problemen bij crashes. MyISAM moet al snel alle indices (die niet vaak naar disk geschreven worden) gaan controleren na een crash. Dat is ook de reden dat Bokt een uur niet bruikbaar is na een crash of stroomuitval.

Instellingen wijzigen op de webserver heeft geen nut. Er zijn vrijwel geen instellingen die meer dan een paar procent winst opleveren en de processor is als het druk is gewoon redelijk wat overbelast. Dan dus wat zitten finetunen is niet voldoende. Er moet vooral geoptimaliseerd worden in de code en er moet wat meer gecached worden (in de code). Server staat al redelijk efficient ingesteld. Heel Bokt op 1 server is met de huidige phpBB gewoon niet te doen, maakt niet uit wat je allemaal instelt.

Inktomi is geen probleem op Bokt, deze doet per dag iets van 6000 pagina's en 66MB. Google trekt heel wat meer, ruim over een gigabyte per dag.

Inktomi doet trouwens maximaal 1 request per seconde:
http://support.inktomi.com/Search_Engin ... ofCrawlers
en da's niet echt een probleem voor de huidige setup.

Dat Bokt op het moment regelmatig ineens niet meer bereikbaar is heeft niets met de load te maken maar alles met een update van de software. Bokt draaide op Apache 2.0, PHP 4 en APC. Nu draait het op Apache 2.0, PHP 5 en een nieuwere versie van APC. Ergens gaat echter iets niet lekker, soms blijft Apache ineens hangen en is draait er nog slechts 1 apache proces. Volgens strace hangt hij dan op:

Code: fcntl(12, F_SETLKW, {type=F_WRLCK, whence=SEEK_SET, start=0, len=0}

Ik ben nu aan het kijken of het helpt als ik een andere Apache versie gebruik (2.0.59 ipv 2.0.54-5sarge1)

**Geplaatst**: 12-10-06 21:23

Re: Bokt opschonen?

Geplaatst: 12-10-06 21:23

Soms is het erg nuttig als je iets zoekt van een jaar geleden ofzo, maar er staat ook erg veel wat niet nuttig is en dat kan wel voor mij weg.

**Geplaatst**: 12-10-06 21:38

Re: Bokt opschonen?

Geplaatst: 12-10-06 21:38

Hoi Bart,

Ik wil je een tip geven.
Je moet deze gasten eens bekijken: http://www.dotdeb.org/

Ga naar: /etc/apt/sources.list en voeg het volgende toe:

Code: deb http://packages.dotdeb.org stable all deb-src http://packages.dotdeb.org stable all

Draai daarna een "apt-get update" en vervolgens een "apt-get upgrade"

DotDeb is enorm goed!!!! Google er maar op!!!

Wat aangaande Inktomi, ze kunnen zeggen wat ze willen, ze waren mijn server aan het overloaden!
Ik heb ze met IP en al eruit gesmeten.

Maar ik kan je zeker aanraden de dotdeb updates te gebruiken, die van Debian liggen ver achter en de Sarge en Etch zijn verre van goed.
DotDeb is domweg goed! Domweg toevoegen, velen (incl myself) zweren erbij Haha!

Graag zou ik wel je settings willen zien van de config files.

Ps. zie maar voor jezelf: http://forum.msi.com.tw/phpinfo.php
Ps. mijn eigen server: http://www.heppen.be/phpinfo.php
check ip t.o.v. plaingoodhosting.com Haha!

**Geplaatst**: 12-10-06 21:54

Re: Bokt opschonen?

Geplaatst: 12-10-06 21:54

Jongens, ik kan al deze praat niet volgen Ziek

, maar ben blij dat jullie zoveel moeite doen voor bokt. Haha!

**Geplaatst**: 12-10-06 22:01

Re: Bokt opschonen?

Geplaatst: 12-10-06 22:01

Geeft niets, we gaan verder in de krakken topic Clown

**Geplaatst**: 13-10-06 00:44

Re: Bokt opschonen?

Geplaatst: 13-10-06 00:44

Ik had PHP5 nodig en heb daar idd dotdeb voor gebruikt. Sinds ik de dotdeb packages draai hebben we problemen met een hangende webserver.

Sarge loopt misschien achter wat features/versies betreft maar het is wel stabiel Lachen

**Geplaatst**: 13-10-06 00:52

Re: Bokt opschonen?

Geplaatst: 13-10-06 00:52

Andere topic als je het niet erg vindt?

**Geplaatst door de TopicStarter** : 13-10-06 00:54

Re: Bokt opschonen?

Geplaatst door de TopicStarter : 13-10-06 00:54

Ik vind dit wel interessant hoor... Haha!

**Geplaatst**: 13-10-06 14:11

Re: Bokt opschonen?

Geplaatst: 13-10-06 14:11

Ik minder, kan het in ieder geval helemaal niet meer volgen Knipoog

**Geplaatst**: 14-10-06 10:56

Re: Bokt opschonen?

Geplaatst: 14-10-06 10:56

Ik lees t niet eens, snap het toch niet en wil het al helemaal niet snappen

ook wil ik de oude berichten niet kwijt! Zeker alle topics van Dorine weggooien... Scheve mond

**Geplaatst**: 14-10-06 11:31

Re: Bokt opschonen?

Geplaatst: 14-10-06 11:31

Ik heb er geen problemen mee als alle oude topics weggegooid worden, maar ik snap dat sommige mensen wel wat willen teruglezen. Dus het zou nooit een goed plan vormen denk ik.
@Bas kun jij niet een keer samen met Bart aan bokt gaan knutselen Haha!

**Geplaatst**: 14-10-06 14:38

Re: Bokt opschonen?

Geplaatst: 14-10-06 14:38

Je zou de info topics van het gewone forum(fokkerij, verzorging e.d.) misschien een tijdje kunnen bewaren, maar de huiskamertopics zijn over het algemeen toch alleen geklets en eenmaal andermaal lijkt me ook niet nuttig om alle oude berichten te bewaren. Ik weet niet of het technisch haalbaar is, maar van mij mag het best opgeschoond worden.

**Geplaatst**: 14-10-06 16:17

Re: Bokt opschonen?

Geplaatst: 14-10-06 16:17

Ik snap wel dat iemand wat wil teruglezen, maar de zoekfunctie doet het toch al jaren niet (er wordt al erg lang gezegd dat er aan gewerkt wordt, maar hoe lang wordt dat nu al wel gezegd...) dus wat dat betreft kunnen oudere topics net zo goed weg. Die kun je toch niet weer vinden.

**Geplaatst**: 14-10-06 19:33

Re: Bokt opschonen?

Geplaatst: 14-10-06 19:33

Paula schreef:
Ik heb er geen problemen mee als alle oude topics weggegooid worden, maar ik snap dat sommige mensen wel wat willen teruglezen. Dus het zou nooit een goed plan vormen denk ik.
@Bas kun jij niet een keer samen met Bart aan bokt gaan knutselen

Paula, daar zijn we al mee bezig, enkel krijg ik wat weinig feedback van Bart om meer tips te kunnen geven.
In elk geval heeft Bart reeds de juiste versies draaien van de software.