Türkiye'deki veri merkezi incelemesi — Star of Bosphorus

Yakın zamanda, uzmanlarımız Türkiye'de modern bir veri merkezine ekipman yerleştirdi ve bağladı. Yeni konum artık kontrol panelinde mevcuttur ve artık İstanbul'da sanal makineler oluşturmak mümkündür. Star of Bosphorus veri merkezi 45.000 metrekarelik bir alanı kaplamaktadır ve Uptime Institute Tier III Design & Resort sertifikasına sahiptir.

Aşağıda, bizi bu veri merkezine neyin çektiğini ve neden burayı seçtiğimizi, bu "Türk Yıldızı "nın hangi özelliklere sahip olduğunu, kümeye hangi sunucu ekipmanlarının yerleştirildiğini, ekipmanı nasıl bağladığımızı ve ağ şemasını göstereceğiz.

Star of Bosphorus

"Star of Bosphorus" bizim tarafımızdan tesadüfen seçilmedi. Öncelikle, gelişmiş bir veri merkezi ve Uptime Institute Tier III Design & Resort sertifikasyonunu geçen Türkiye'deki ilk depreme dayanıklı veri merkezi. Türkiye'nin önde gelen bilişim şirketlerinden biri olan NGN'e ait.

İkinci olarak, İstanbul'un Tuzla ilçesinin endüstriyel bir bölgesinde, şehirden uzakta yer alan 45.000 metrekarelik büyük ve güvenli bir tesistir. İstanbul Tepeören Elektrik Dağıtım Santrali'nin yanında yer aldığı için yedekli erişim, kesintisiz güç kaynağı ve birçok fiziksel riskten muafiyet sağlamaktadır.

Veri merkezi tasarımı

Star of Bosphorus güvenliği nasıl sağlıyor? Veri merkezi, iki ayrı binada dört Veri Merkezi Modülü (DCM) ile ölçeklenebilir bir tasarıma sahiptir. Her modülün güç, soğutma, yangından korunma ve fiziksel güvenlik sistemleri ile kendi altyapısı vardır.

Peki ya depreme dayanıklılık? Veri merkezi, erozyon riski olmayan ve barajlardan veya büyük su rezervuarlarından uzakta, güvenli bir arazi üzerinde yer almaktadır. Veri merkezi depreme dayanıklı inşaat teknolojisi kullanılarak inşa edilmiş ve coğrafi açıdan hassas olacak şekilde, yani bölgede sıkça görülen depremlere karşı dayanıklı olacak şekilde tasarlanmıştır. Kurulan 138 hareketli sismik izolatör sayesinde 9+ büyüklüğündeki depremlere dayanıklı olduğu iddia edilmektedir (ancak bunu test etmedik).

Güç kaynağı

Veri merkezi toplam 16 MW elektrik kapasitesine sahiptir. Bu, büyük veri hacimleri ve yüksek yüklü sistemler için güç sağlamak için yeterlidir. Veri merkezi, 2N yedeklilik şemasına dayalı bir kesintisiz güç kaynağı sistemi ile donatılmıştır. Tamamen yedekli iki bağımsız güç kaynağı hattı bulunmaktadır.

Veri merkezi ayrıca yedek dizel jeneratörlerle donatılmıştır. Ana güç kaynağında bir kesinti tespit edildiğinde otomatik olarak devreye girerler ve ekipmanın sürekli çalışması için elektrik sağlarlar. Harici bir elektrik kesintisi durumunda, yakıt rezervi en az 72 saat için yeterli olacaktır.

Star of Bosphorus, %10 daha az aktif soğutma ve aküsüz dizel döner UPS sistemleri (DRUPS) kullanarak enerji tasarrufu ve karbon optimizasyonu sağlar.

Soğutma

Star of Bosphorus N+1 yedekli iklimlendirme sistemi ile donatılmıştır. Sistem, modüllerden birinin arızalanması durumunda bile gerekli soğutmayı sağlayabilen yedek bir iklimlendirme modülüne sahiptir.

Ana elektrik kesintisi durumunda veri merkezinin içindeki optimum sıcaklıkları korumak için yedek jeneratörler mevcuttur. Sunucuların ve ekipmanların aşırı ısınmasını önlemek için soğutma sistemlerine güç sağlarlar.

Güvenlik

Star of Bosphorus'ta güvenliği sağlamak için yalnızca 24 saat güvenlik değil, aynı zamanda dört aşamalı bir geçiş kontrol sistemi de uygulanmaktadır. Bu sistem retina tarayıcı, X-ray ve mantrap içermektedir.

Mantrap, tuzak prensibine göre çalışan iki kapılı, kalın camdan yapılmış sıkışık bir odadır. Bir kişinin girdiği kapı bloke edilmiştir ve veri merkezine giriş kapısı ancak ziyaretçi sınırlı bir süre içinde güvenlik kontrolünden geçerse açılır. Yani tereddüt ederseniz kapılar kilitlenir ve ancak güvenlik ekibi geldiğinde çıkmanıza izin verir. Oldukça stresli, ancak altyapı güvenliğinin bir başka garantisi.

Kapsamlı güvenlik fonksiyonları şunları içerir:

• 24 saat güvenlik;
• Veri merkezi tesislerinde 4 aşamalı fiziksel güvenlik sistemi (X-ışını, ikinci X-ışını, mantrap, retina taraması);
• Bina ve veri salonlarında 24 saat video gözetimi;
• PCI-DSS ile ilgili kontrollere sahip dijital kayıtlarla desteklenen bir kamera kullanarak veri merkezi altyapısının 7/24 izlenmesi;
• Biyometrik erişim kimlik doğrulama teknolojisine sahip akıllı kart okuyucular;
• Güvenli dolaplar ve kafesler;
• Ziyaretçinin kimliği ve yetkisi.

Orada bulunan çalışanlarımız veri merkezinin yüksek güvenlik seviyesini teyit ediyor. Veri merkezi küçük bir kale gibi: birkaç erişim noktası, yerel bir refakatçi olmadan veri merkezine girmek veya bir çalışan olmadan sunucu odasından çıkıp geri gelmek imkansız.

Yangından korunma

Star of Bosphorus'ta yangından korunma, duman dedektörleri, otomatik yangın söndürme sistemleri ve yangının yayılmasını önlemek için bölge ayrımı dahil olmak üzere yangın algılama ve söndürme sistemlerine dayanmaktadır.

Burada NOVEC 1230 (FC-5-1-12) (NOVEC 1230), 2000 yangın sensörlü bir otomatik gazlı yangın söndürme sistemi kurulmuştur. Geleneksel su veya gaz bazlı yangın söndürme sistemlerine çevre dostu bir alternatiftir.

Sistem yangın algılamasına hızlı bir şekilde tepki verir ve yangın alanında yangının yayılmasını durdurmaya yardımcı olan ve yeniden tutuşmasını önleyen bir buhar ve gaz karışımı oluşturarak yangını bastırır. Çözücüsü, düşük toksisiteye sahip ve çevreye zararlı olmayan florlu bir ketondur. Elektronik cihazlarla uyumludur, elektriği iletmez veya onlara zarar vermez.

Sertifikalar

Veri merkezinin sahip olduğu ana standartları ve sertifikaları listeleyelim:

• SOC 1
• LEED
• ISO 9001:2008
• ISO 27001:2013
• ISO 9001-2011
• PCI DSS
• Tier III Design and Facility

Bu kısaltmalar ortalama bir kullanıcıya pek bir şey ifade etmez, bu nedenle veri merkezlerinde sertifikasyonun özellikleri hakkında daha fazla bilgiyi "Veri Merkezi Sertifikaları Bize Ne Anlatıyor" başlıklı makalemizde bulabilirsiniz. Orada sertifikasyon sistemi ve neden bunlara ihtiyaç duyulduğu ayrıntılı olarak açıklanmaktadır. Burada belki de bunlardan ikisi hakkında daha fazla ayrıntıya gireceğiz - Tier III ve LEED.

Tier III

Kısacası, bir Tier III veri merkezi tipik olarak yüksek oranda yedekli bir altyapı ile donatılmıştır. Tesisin tamamını askıya almadan bakım ve ekipman değişimini destekler. Tüm unsurların birden fazla yedeği vardır: birden fazla güç ve soğutma yolu vardır. Bakım zamanlarında (8-12 saat), bu unsurlardan yalnızca biri aktiftir. Tier III sertifikası yalnızca veri merkezinin tasarımı ve performansı gerçek dünya koşulları altında standart kriterlerini karşılıyorsa verilir.

Moskova'da (DataSpace) ve Minsk'te (beCloud) Tier III sertifikasına sahip veri merkezlerimizin yanı sıra Tier III standartlarına göre inşa edilmiş lokasyonlarımız da bulunuyor. Şimdi bu sertifikayı karşılayan yeni bir veri merkezi bağlandı: Türkiye'deki Star of Bosphorus. Ülkede tesisleri bu standardı karşılayan çok az sayıda sağlayıcı var. Birçoğu, yalnızca tasarım dokümantasyonu alanında uyumluluğu gösteren Tasarım sınıfı sertifikasına sahip. Star of Bosphorus, üç olası sertifika sınıfından ikisine sahiptir:

• Tier III Tasarım Dokümantasyonu Uptime Institute. Sertifika, tasarım belgelerinde sunulan veri merkezi altyapısının Tier III Uptime Institute sertifikasyonunun gerekliliklerini karşıladığını gösterir;
• Tier III Constructed Facility Uptime Institute. Sertifika, BT yükünü etkilemeden herhangi bir rutin ve onarım işini gerçekleştirme yeteneğini onaylar, böylece müşterilerin iş süreçlerinin güvenilirliğini ve sürekliliğini sağlar.

LEED

LEED, veri merkezlerimiz için makalede yer almayan yeni bir sertifikadır. LEED (Leadership in Energy and Environmental Design) Enerji Verimliliği ve Çevre Tasarımında Liderlik anlamına gelmektedir. Verimli ve çevre dostu tasarım ve inşaat uygulamalarının kullanımını doğrulayan tesisler için uluslararası bir sertifikadır. Sistem, Birleşik Devletler Yeşil Bina Konseyi (USGBC) tarafından geliştirilmiştir.

LEED, tesisleri tasarım, inşaat ve operasyonların sürekliliği açısından değerlendiren ve yaygın olarak kabul gören bir derecelendirme sistemidir. Daha düşük işletme maliyetlerine sahip olan LEED sertifikalı binalar, enerji ve su maliyetlerini yüzde 40'a varan oranlarda azaltmaktadır.

Doğayı ve çevreyi korumak için gerekli mekanik sistemlerle donatılan Star of Bosphorus, %10 daha az aktif soğutma kullanarak enerji tasarrufu sağlıyor ve karbondioksit salınımını optimize ediyor. Ayrıca aküsüz dizel döner UPS (DRUPS) sayesinde çevre dostu operasyonlar gerçekleştiriyor.

Ekipman ve bağlantı

Veri merkezinde biri beklemede olmak üzere 8 adet vStack-R 2U sunucu bulunmaktadır. Bu, planlanan yapılandırma değişikliklerini (ürün yazılımı ve özelleştirme) test etmek için gereken bir yedek veya test sunucusudur.

Veri merkezinde şu anda SL201-D25RE model, aşağıdaki yapılandırmaya sahip 7 vStack sunucu bulunmaktadır:

• 2x CPU: Intel® Xeon® Gold 6226 CPU @ 2.70GHz
• 16x RAM: 64Gb RDIMM 3200MHz
• 14x SSD Intel S4610, 960GB SSD SATA
• 1x NIC Mellanox, MCX512A-ACAT 25GbE
• 1x NIC Intel G82599L 10GbE
• 1x HBA Controller Broadcom 9400-16i SGL

Montaj

Her kurulum bizim için yeni bir deneyim. Örneğin, geçen yıl kümenin lansmanını yaptığımız Kanada'da montaj sürecini uzaktan yönettik. Türkiye'de ise farklı bir yöntem kullandık. Veri merkezinin özellikleri ve yeni ekipman kurulumunun kendine has özellikleri, kurulumun doğrudan sahadaki uzmanlarımız tarafından gerçekleştirilmesine karar verilmesine yol açtı.

Kurulum ve kurulum ekibimizin gelişinden önce, veri merkeziyle tüm iletişim, şirketin yerel dili konuşan Türkiye'deki temsilcisi aracılığıyla gerçekleştiriliyordu. NGN, örneğin Cologix'te olduğu gibi bir konsol yerine, yüklenici ile bir telefon veya e-posta iletişimi kullanıyor, bu nedenle "canlı bir konuşmacı" olmadan yapmak imkansızdı. Bu uzman aynı zamanda veri merkezinin eskortu ve "geçiş kartı" idi ve onsuz oraya ulaşmak imkansızdı.

Ekipman iki gün içinde kuruldu ve monte edildi. Teslimattan sonra uzmanlar kurulum için iki raf hazırladı ve sunucuları yerinde test edip monte etti. Daha sonra ekipmanı raylar üzerine kurdular ve ağ bağlantısı için hazırladılar. Veri aktarımını sağlamak için fiber ve bükümlü çift kablolama da değiştirildi. Ağ ekibimizin kuruluma ve bağlantıya başlayabilmesi için sunucu ekipmanını konsol erişimi üzerinden başlattık.

Bundan sonra, ağ bölümünü kurma görevi, teknik bağlantıyı organize edebilmeleri için Ağ grubuna devredildi. Buna ağ parametrelerinin yapılandırılması, güvenilir bağlantının sağlanması ve tüm ağ altyapısının çalışır durumda olduğunun doğrulanması dahildi.

Ağ bağlantısını yapılandırma

Ağ grubuna geçelim. Yukarıdaki şekil, Türkiye'deki veri merkezinde bulunan sitemizin temel ağ şemasını göstermektedir. Cisco ASR 9001 yönlendiricileri üzerinde iki sağlayıcı ile BGP bağlantısı düzenledik (kanallardan birinin düşmesi durumunda otomatik rota değişikliği ile). BGP, prensip olarak İnternet'in üzerine inşa edildiği protokoldür. Yönlendirme bilgilerini değiş tokuş ederek İnternet'in çalışmasını sağlar. ASR'ler de BGP protokolü aracılığıyla birbirine bağlanır ve ayrıca Cisco Nexus 93360 anahtarlarına bağlanır. ASR yönlendiricileri harici trafikten, Nexus anahtarları ise "iç dünyadan" sorumludur.

Anahtarlar vPC peer-link kullanılarak birbirine bağlanır. vPC teknolojisi, iki fiziksel cihazı tek bir sanal cihazda birleştirmenize olanak tanır. Anahtarlardan biri vPC-birincil rolüne, diğeri ise vPC-ikincil rolüne sahiptir. Birincil ve ikincil roller, anahtarlardan birinin arızalanması durumunda anahtarların davranışını etkiler. Diğer tüm ekipmanlar anahtarlara bağlıdır.

Şemayı performans açısından test etmek için, sistemin aşırı yüklerle nasıl başa çıktığını gösteren stres testi gerçekleştirilmiştir. Kümenin arızalara nasıl tepki verdiğini değerlendirir ve sürekli çalışmasını sağlar. Bağlantı noktaları ve düğümler dahil olmak üzere tüm ağ altyapısı yedeklidir. Testin ilk bölümünde, kümenin nasıl tepki verdiğini ve çalışmaya devam ettiğini test etmek için iki anahtardan biri kapatıldı. Sorunsuz çalıştı, bu da sistemin güvenilirliğini gösteriyor. Ardından, ikinci anahtarın bağlantısı kesildi ve performansı test edildi

Testin ikinci bölümünde sistem kararsız hale getirilmiştir. Düğüm kaybı simüle edildi ve her düğüm sırayla kaybolup geri döndüğünde küme kararlılığı test edildi. Ağ, sunucu ve veri depolama dahil olmak üzere sistem bileşenlerinin hataya dayanıklı olduğu kanıtlanmıştır.

Ne işe yarıyor?

Serverspace kontrol panelinde yeni bir konumda - Türkiye'de (İstanbul) bir sanal sunucuyu hızlı bir şekilde dağıtabilirsiniz. Sanal makine oluşturma aşağıdaki konfigürasyonlarla kullanılabilir:

Desteklenen İşletim Sistemi:

• Linux (OEL/CentOS/Ubuntu/Debian);
• FreeBSD;
• Windows Server.

Sunucu başına kaynaklar:

• CPU 16'ya kadar;
• 128 GB'a kadar RAM;
• 5.000 GB'a kadar SSD (5 birim);
• 500 Mbps bant genişliğine kadar 5 IP adresi.