*
 
AfterDawn: IT-alan uutiset

AfterDawn muutti Hollantiin, palvelimet uuteen uskoon

Kirjoittaja Petteri Pyyny (Google+) @ 28.9.2011 10:29 Kommentteja (13)

AfterDawn muutti Hollantiin, palvelimet uuteen uskoon Tänään AfterDawnin - ja kaikkien sen sisarsivustojen - taustalla pyörivä tekniikka muuttui aikalailla radikaalisti. Samaan syssyyn päivitimme myös palvelinrautamme ja siirsimme palvelun hostauksen Yhdysvalloista Alankomaihin. Edellisestä suuresta palvelinpäivityksestämme alkaakin olemaan aikaa melko tarkalleen neljä vuotta, joten samalla rahalla saakin jo mukavasti tehokkaampaa rautaa kuin aiemmin..
Tällä kertaa kyseessä ei siis ollut pelkkä raudan päivittäminen tehokkaampaan, vaan samalla teimme myös aika ison irtioton aiempaan rakenteeseemme. Ensimmäinen, isohko muutos oli sovelluspalvelinohjelmistomme (==application server) päivittäminen wanhasta New Atlantan kehittämästä closed source -ohjelmistosta, BlueDragonista sen avoimen lähdekoodin manttelinperijään Open BlueDragoniin. Tämä muutos vaikuttaa jatkossa palvelun kehittymiseen monellakin tavalla, sillä vanha BlueDragon alkoi olemaan jo jonkinlainen rasite tiettyjen ominaisuuksien puutteen vuoksi. Ja tietysti plussana sekin, että samalla viimeinenkin osa sivustomme pääkomponenteista siirtyi avoimen lähdekoodin käyttöön.

Merkittävin uudistus liittyy kuitenkin Varnishin käyttöönottoon. Varnish on käänteinen proxypalvelin, eli se luo sivuista välimuistiversion, jonka se toimittaa käyttäjän selaimeen. Käytännössä homma toimii siis niin, että kun käyttäjä tulee sivuillemme, hän ei tulekaan "oikeasti" varsinaiselle palvelimelle, vaan palvelimelle, joka pyörittää Varnishia. Varnishissa on staattiseksi HTML:ksi muutetut versiot kaikista sivuista, joita (sisäänkirjautumattomat) käyttäjät ovat edellisen 15 minuutin aikana ladanneet. Mikäli sivu, jolle käyttäjä tulee, löytyy Varnishilta, toimitetaan tuo valmis HTML-sivu käyttäjälle ja varsinaisille sovelluspalvelimille ei tehdä minkäänlaista pyyntöä.

Koska valtaosa sivulatauksista tapahtuu sisäänkirjautumattomille käyttäjille, voidaan sama versio sivusta toimittaa sellaisenaan todella usein suoraan Varnishin välimuistista. Kaikki tämä taas vähentää suoraan varsinaisten palvelinten, eli Apachen, OBD:n ja MySQL:n, kuormaa, koska ideaalitilanteessa lähes 80-90% kaikista sivulatauksista tapahtuu suoraan Varnishista -- eli varsinaisten palvelinten kuormitus tipahtaa suurinpiirtein samassa suhteessa alaspäin.

Kun samaan aikaan lisäsimme myös palvelinten muskeleita varsin merkittävästi, pitäisi myös noiden 10-20% sivulatauksista, jotka päätyvät varsinaisille palvelimille, tapahtua varsin rivakasti.

Jotta homma ei nyt ihan simppeliltä vaikuttaisi, lisäsimme soppaan myös pienen maantieteellisen elementin. Yhdysvallat on yrityksellemme varsin tärkeä markkina ja sivuston siirto USAsta Hollantiin aiheutta väistämättä pientä viivettä aiempaan verrattuna amerikkalaisille käyttäjille, joten ratkaisimme asian niin, että Pohjois-Amerikasta tulevat käyttäjät käyttävät Yhdysvalloissa sijaitsevaa Varnish-palvelinta (eli 80-90% USAn sivulatauksista tulee suoraan siellä olevasta välimuistipalvelimesta) -- eli vain sisäänkirjautuneet amerikkalaiskäyttäjät ohjautuvat käyttämään varsinaisia palvelimiamme Hollannissa.

Pikainen yhteenveto vielä uudesta raudasta:
  • 3 x HP DL180G6 (tietokantapalvelimet)
    • 2x Intel Quad-Core Xeon E5620
    • 32GB
    • 2x300GB SAS (RAID1, OS)
    • 10x300GB SAS (RAID1+0, DB)
  • 5 x HP DL120G6 (WWW-palvelimet)
    • 1x Intel Quad-Core Xeon X3440
    • 8GB
    • 2x500GB SATA
  • 2 x HP DL120G6 (Varnish-palvelimet (EU ja US))
    • 1x Intel Quad-Core Xeon X3440
    • 8GB
    • 2x500GB SATA
  • 1 x HP DL180G5 (kuvat, CSS:t, jne)
    • 2x Intel Quad-Core Xeon L5410
    • 16GB
    • 2x300GB SAS (RAID1, OS)
    • 6+1x1TB SATA (RAID5, data)
  • 5 x eri spekseillä varustettua tiedostopalvelinta (download.fi:n ohjelmalatauksille)

Mahdolliset ongelmat uuden palvelinrakenteen kanssa liittyvätkin juuri Varnishin käyttöön ja välimuistin tyhjennykseen tarvittaessa. Mahdolliset välimuistiongelmat eivät näy sisäänkirjautuneille käyttäjillemme koskaan, koska Varnish tarjoaa heille aina dynaamisesti luodut sivut "oikeilta" palvelimilta. Mutta seuraavien päivien aikana toivommekin palautetta etenkin tilanteista, joissa sisäänkirjautumaton käyttäjä ei näe sisältöä, jonka pitäisi näkyä (esim. uusi uutinen ei näy etusivun listassa, viestiketjusta puuttuu uusin viesti, jne). Ja tietysti, muutkin ongelmatilanteet ovat mahdollisia, sen verran monta palasta muutettiin kertarysäyksellä uuteen uskoon. Eli palaute on tervetullutta.

Tuntuuko saitti hitaammalta / nopeammalta nyt? Tuntuuko, että jokin saitin osa-alue ei toimi kuten pitäisi? Kerro meille joko kommentoimalla tähän uutiseen tai suoraan palautelomakkeemme kautta.

Tägit: AfterDawn

Lisää uutisotsikoita

Edellinen Seuraava

Muita aiheeseen liittyviä uutisia

 

13 kommenttia

128.9.2011 10:40

Älyttömän nopeesti ainakin itellä tuntuu toimivan, eli ei ainakaan huonompaan suuntaan siltä osin :)

228.9.2011 10:48

Kappas. Tässä mietinkin vähän aikaa sitten että millaistakohan kapasiteettia AD:n kokoinen sivusto tarvitsee. En ole ongelmiin vielä törmännyt. Nopeudesta en osaa sanoa kun puhelimella olen nyt netissä (ei wlanissa) ni nopeus vaihtelee verkon takia.

Viestiä on muokattu sen lähettämisen jälkeen. Viestiä on muokattu viimeksi 28.9.2011 @ 10:52

BSOD is a registered trademark of Microsoft Corporation | Windowsin lähdekoodi

328.9.2011 10:57
jkt5y3jk43jk
Vahvistamaton

Kylläpä tuntuivat nopealta nämä sivut kun tulin sivulle kirjautumattomana, onnittelut!

428.9.2011 11:35

Mitenkä olisi verrokkina vanhat palvelimet?
Jestas noi maksaa paljon, jo FRn palvelin oli mun mielestä kallis ylläpitää aikoinaan^^

Miks muuten jenkit sai vähemmän muistia niiden varnish servuun, jos niitä on enemmän?

Viestiä on muokattu sen lähettämisen jälkeen. Viestiä on muokattu viimeksi 28.9.2011 @ 11:38

-Reko

528.9.2011 11:43

Lainaus:
Mitenkä olisi verrokkina vanhat palvelimet?
Wanhojen servereiden speksit löytyvät tuosta neljän vuoden takaisesta uutisesta, mutta yhteenvetona nyt tähän:
Lainaus, alkuperäisen viestin kirjoitti Wanhat serverit:
Tietokanta:
2* Dell PowerEdge 1900 Dual Intel Xeon 5130, 8GB RAM, SAS RAID 10 array

WWW:
4* Dell PowerEdge 840 Conroe 3040, 1GB RAM, SATA

Kuvat, jne:
1* Dell PowerEdge 840 Conroe 3060, 4GB RAM, SATA discs

Mainokset:
1* Dell PowerEdge 840 Conroe 3060, 4GB RAM, SATA RAID-1

Kuormantasaus:
1* Foundry ServerIron XL

Ohjelmalataukset:
6* eri spekseillä varustettua purkkia
.. eli kantapalvelimia tuli yksi lisää, samoin WWW-palvelimia. Load balancer (kuormantasaus) poistui ja tilalle tuli 2* Varnish-palvelinta. Latauspalvelimet ovat vähentyneet yhdellä (jo aiemmin itse asiassa, tilalla nopeammalla kaistalla varustettuja purkkeja). Omaa mainospalvelinta ei ole enää, vaan mainosten välittämiseen käytetään Googlen DFP:tä.

628.9.2011 12:06

En tiedä liittyikö tähän uudistukseen, mutta eilen hämmästelin sitä, että puhelinvertailuun jätetty kommentti näkyi heti reloadin jälkeen, toisin kuin yleensä. Kelpo parannus siis! Ja nyt sisäänkirjautumattomana tuntuu saitti varsin nopealta.

728.9.2011 12:33

Hei, ei kai toimittaja myynyt teille hostausta Hollannissa pilvipalveluna? Ei se sitä tarkoita...

;)

828.9.2011 12:39

Lainaus, alkuperäisen viestin kirjoitti RekookeR:
Miks muuten jenkit sai vähemmän muistia niiden varnish servuun, jos niitä on enemmän?
Hollannissa sijaitsevan Varnish-serverin muistin määrä oli väärä. Muistia on molemmissa Varnish-servereissä 8GB.


Jari Ketola
Administrator
http://www.AfterDawn.com

928.9.2011 18:35

Tosiaan niin kuin joku jo sanoi niin PV:n kommentit näkyy heti kun ne on lähettäny. Pikkuvikana on toi päivämäärä ja päiväjuttu tun hakupalkin vieressä kun on engelskaksi tuo päivän nimi ja kuukausi.


BSOD is a registered trademark of Microsoft Corporation | Windowsin lähdekoodi

1029.9.2011 9:03

Nopeaa on

1130.9.2011 0:43

Mjaa, mitäs uskoa sielä Hollannissa tunnustetaan ?

1230.9.2011 18:06

Hieno homma, ja kehitystähän tää kaikki on.
Jos olen oikein ymmärtänyt tään, niin täällä jeesataan toinen toisiamme ja ollaan tavallaan kehityksen kärjessä.
Minäkin testailen kaiken maailman systeemejä ja mikäli tiedän jostain jotain, niin en laita kynttilää vakan alle.
Eikä aina tarttee olla "besserwisser", vaan antaa ideoita uuteen ja luovaan kehitykseen.


Internet, Vapaitten ihmisten tapa elää ilman rajoja tai Rajoituksia, ajatus Joka säilyy..

1330.9.2011 19:00
aba120
Inactive

On tulppaaneissa turvallaan,iloinen ams,ei kun Afterdawn.
Meidän foorumia pilvijuhliin päästetäkkään ei.

Kello tulee neljä,kello tulee kuus,
sitä mukaa paranee AfterDawn bluus.

Viestiä on muokattu sen lähettämisen jälkeen. Viestiä on muokattu viimeksi 30.9.2011 @ 19:03

Tämän uutisen kommentointi ei ole enää mahdollista.

Hintavertailun suosituimmat

Tuoreimmat uutiset

Apple saattaa julkaista jo syksyllä lompakon – Visa on mukana Apple saattaa julkaista jo syksyllä lompakon – Visa on mukana (24.7.2014 10:26)
Apple on jo pitkään tähyillyt mobiilimaksumarkkinoille, mutta yhtiö on edennyt suunnitelmissaan varoivaisesti muiden epäonnistumisten takia. Nyt Apple on kuitenkin valmiimpi kuin koskaan tekemään ....
Massiivista Windows-pommia ei ole, eikä sitä tule "Massiivista Windows-pommia" ei ole, eikä sitä tule (23.7.2014 16:20)
Microsoftin toimitusjohtaja Satya Nadella väläytti viime yönä pidetyssä sijoittajapuhelissa, että yhtiö työstää parhaillaan "Yksi Windows" -nimistä projektia. "Massiivisen Windows-pommin" nähtiin ....
5 kommenttia
Kumpi kannattaa valita, Nokia Lumia 530 vai Lumia 520? Kumpi kannattaa valita, Nokia Lumia 530 vai Lumia 520? (23.7.2014 13:28)
Microsoft esitteli tänään seuraajan Lumia 520:lle. Tuoteselosteen tarkemmalla silmäilyllä kuitenkin valkenee pian karu todellisuus: Vaikka Lumia 530:n onkin Lumia 520:n seuraaja, on se monilla ....
2 kommenttia
Microsoft esitteli jatkoa huippusuositulle nokialaiselle: Lumia 530 Microsoft esitteli jatkoa huippusuositulle nokialaiselle: Lumia 530 (23.7.2014 11:25)
Microsoft on esitellyt seuraajan huippsuosituksi osoittautuneelle Lumia 520:lle. Uutuus kantaa odotetusti nimeä Lumia 530. Puhelimessa on Qualcommin neliytiminen 1,2 gigahertsin Snapdragon-suoritin, ....
Pian on vain yksi Windows, joka toimii kaikilla laitteilla puhelimista pöytäkoneisiin Pian on vain yksi Windows, joka toimii kaikilla laitteilla puhelimista pöytäkoneisiin (23.7.2014 10:48)
Microsoft on vahvistanut kauan eläneen huhun siitä, että tulevaisuudessa yhtiöllä ei ole kuin yksi Windows, joka toimii kaikilla laitteilla. Sovelluskehittäjien keskuudessa tätä tietoa on odotettu kuin kuuta nousevaa.
1 kommentti

Uutisarkisto