Tanımlar

Konuyu kavramak için önce tanımları ele alalım. Bilmemiz gereken iki tanım var: “Character Set” ve “Collation”

Character Set (Karakter Seti)
Adından anlayabileceğiniz gibi desteklenen karakterleri kast ediyoruz. Örneğin latin5 karakter setindeki “ı” harfinin ASCII kodu latin1 karakter setindeki ý harfi ile aynıdır. Dolayısıyla türkçe bir dokümanı latin1 olarak gösterirseniz tüm ‘ı’ harfleri ‘ý’ olarak gösterilecektir.

Farklı diller aynı karakter setlerine sahip olabilir, örneğin latin1 seti almanca, ispanyolca, ingilizce, isveçce gibi dilleri kapsar.

Notlar:
- Character set, charset, code page gibi isimleri de vardır.
- latin1: ISO-8859-1 ve windows-1252 ile aynıdır.
- latin5: ISO-8859-9 ve windows-1254 ile aynıdır.

Collation (koleyşın)
İki karakterin karşılaştırılmasında kullanılır. Pratikte bu tablo alanlarını sorgularken ve sıralamalarda işe yarar:

SET names latin5;
SELECT * FROM deneme WHERE isim = 'Çağrı';
SELECT * FROM deneme ORDER BY isim;

Yukarıdaki sorguların sonucu isim alanının collation’ına bağlıdır.

Örnekle açıklamak istersek, almancada da “ü” harfi var türkçede de, isveçcede de… Ama bu harflerin alfabedeki yeri dile göre değişiyor yani collation’ı latin1_swedish_ci seçip sıralama yaparsanız ü başka yerde, latin1_german1_ci seçerseniz başka yerde yer alır. Ya da latin1_german1_ci seçerseniz aramalarda ‘ä’ ile ‘a’ aynı kabul edilirken latin1_german2_ci seçerseniz farklı kabul edilir.

Collation altçizgiyle ( _ işareti) parçalara ayırırsak ilk kısım karakterin ait olduğu dil ailesini, ikinci kısım dili, üçüncü kısım ise karşılaştırma şeklini ifade eder.

Örneğin latin1_swedish_ci dediğimiz zaman “latin1″ ailesinden “isveçce” dilini büyük-küçük harf ayrımı olmadan sırala demek istiyoruz.

ci: Case-Insensitive (Büyük – küçük harfe duyarsız)
cs: Case-Sensitive (Büyük – küçük harfe duyarlı. Sadece bazı diller için geçerli, türkçede kullanılmaz)
bin: Binary (Karakteri tanımlayan byte değerine göre karşılaştır demek. Pratikte büyük – küçük harfe duyarlılık istendiğinde kullanılır.

MySQL Dil Ayarı Nasıl Yapılır?

MySQL’le biraz uğraşırsanız dilin ayarlanabileceği tonla yer görürsünüz. Büyükten küçüğe doğru gidersek:

1. Sunucu ayarı
2. Veritabanı ayarı
3. Tablo ayarı
4. Tablodaki alanın ayarı

Not 1: Bu ayarlardan pratikte sizi tek ilgilendiren: tablodaki alanın karakter seti.
Not 2: Buradaki ayarlar ne olursa olsun son sözü yine bağlantıyı kurduktan sonra verdiğiniz “SET NAMES utf8″ komutu söyler.

1. MySQL Sunucusu

MySQL derlenirken tanımlanabilir:

shell> ./configure --with-charset=utf8 --with-collation=utf8_general_ci

Ya da my.cnf / my.ini’de tanımlanabilir:

[mysqld]
character-set-server=utf8
collation-server=utf8_general_ci

Bu tanımlar sadece yeni yaratılacak veritabanları ve tabloların varsayılan karakter setinin utf8, collation’ının ise utf8_general_ci olmasını sağlar. Yani bu tanımları yapsanız bile yine de “SET NAMES utf8″ demeniz gerekecektir.

2. Veritabanı

Veritabanı yaratılırken tanımlanır. Eğer tanımlanmazsa MySQL sunucusundaki tanım neyse o kullanılır.

CREATE DATABASE mydb
  DEFAULT CHARACTER SET utf8
  DEFAULT COLLATE utf8_general_ci;

Bu yapılan tanım da sadece bu veritabanında oluşturulan tabloların varsayılan karakter seti ve collation’ının ne olacağını belirler.

3. Tablo

Tablo yaratılırken tanımlanır. Eğer tanımlanmazsa veritabanındaki tanım kullanılır:

 CREATE TABLE deneme (`x` INT) CHARACTER SET latin5 COLLATE latin5_turkish_ci

Bu durumda tabloya eklenen satırların collation’ı verilmezse latin5_turkish_ci olur.

4. Tablo Alanı

Üstteki tabloya ispanyolca bir alan eklemek istediğimizi düşünelim:

ALTER TABLE deneme ADD `y` VARCHAR( 10 ) CHARACTER SET latin1 COLLATE latin1_spanish_ci;

Tablonun collation’ı türkçe olmasına rağmen alan ispanyolca oldu. Bu alana türkçe giriş yaparsanız ı,ş, ğ gibi karakterleri hatalı görürsünüz.

Çalışma Şekli

Bu kısımda SET NAMES ‘latin5′ ne demek onu detaylandıracağım…

Veritabanının çalışma şeklini düşünürsek, biz sunucuya bir sorgu gönderiyoruz, sunucu da bu sorguyu okuyup bize bir cevap gönderiyor.

1. Gönderdiğimiz sorgu hangi karakter setinde? Biz örneğin ascii mi gönderiyoruz yoksa utf8 mi?
   Bunun için sunucu character_set_client parametresine bakar.
2. Gönderilen sorguyu sunucu hangi karakter setine çevirmeli? Bunun için de character_set_connection ve collation_connection parametrelerine bakar. Yani sunucu gönderilen sorguyu character_set_client karakter setinden character_set_connection karakter setine çevirir.
   collation_connection parametresi sadece iki string birbiriyle kıyaslanacaksa kullanılır. Eğer bir tablo alanını bir string ile karşılaştırıyorsanız kullanılmaz çünkü bu durumda o tablo alanının collation’ı kullanılır.
3. Sunucu sorguyu işleyip veritabanından sonucu çektikten sonra bize gönderir demiştik, bize göndermeden önce sonucun karakter setini değiştirebilir. Bunun için character_set_results parametresini kullanır.

Bütün bu ayarları sunucunun konfigürasyon dosyasından yapabileceğiniz gibi (my.cnf ya da my.ini) doğrudan bir sql cümlesi ile de yapabilirsiniz. Yani php için:

mysql_query("set character_set_client='latin5'");

diyebilirsiniz örneğin.

Sadece türkçe kullanacaksanız eğer şu komuyu verebilirsiniz:

mysql_query("SET character_set_client='latin5'");
mysql_query("SET character_set_results='latin5'");
mysql_query("SET character_set_connection='latin5'");

Her seferinde bu satırları aklımızda tutmamıza gerek olmasın diye MySQL bir kısa yol koymuş, o da:

mysql_query("SET NAMES latin5");

SET NAMES satırından nasıl kurtulurum?

Programcıların SET NAMES satırını unutmaları ihtimaline karşı init_connect parametresini kullanmak pratik olabilir:

[mysqld]
init_connect='SET NAMES latin5'

Tabii veritabanını başlatırken parametre olarak da verilebilir bu.

Performansı arttırmak için veritabanı ayarlarına skip-character-set-client-handshake parametresini ekleyebilirsiniz. Bu durumda tablo alanının collation’ı kullanılacaktır ancak SET NAMES ile dili değiştirmek bu durumda mümkün olmayacaktır. Bir de, bu parametre “super user” ile bağlandığınızda geçersizdir.

Türkçe Dil Desteği ile İlgili Diğer Etkenler

Farklı dillerin doğru desteklenmesi için sadece MySQL’in doğru ayarlanması tabii ki yeterli değil. Dinamik web sitelerini örnek aldığımızda, Apache – PHP – MySQL platformunu düşünürsek:

1. Apache’nin dil ayarı
   Header göndererek apache’de dil tanımlanabilir:

   AddDefaultCharset utf-8

   Bu tanımlanan dil hatalıysa PHP, HTML ve veritabanındaki ayarlarınız ne olursa olsun sorun yaşarsınız.

2. PHP
   PHP’den de aynı apache’deki gibi header gönderilebilir:

   header('Content-type: text/html; charset=utf-8');

   Bu gönderilen header, apache tarafından gönderilenlerin sonuna eklendiği için apache’nin ayarlarını değiştiremez ancak burada dil ile ilgili header yanlış gönderilirse HTML ve veritabanındaki ayarlarınız ne olursa olsun sorun yaşarsınız.

3. HTML
   HTML meta komutu ile header bilgisi simüle edilebilir.

   <meta HTTP-EQUIV="Content-type" VALUE="text/html; charset=utf-8" />

   Eğer PHP ya da apache’den header gönderildiyse bu değer işe yaramaz. Eğer buradaki bilgi hatalı olursa veritabanından doğru dilde çekseniz bile sorun yaşayabilirsiniz.

UTF-8 ile ilgili not

UTF8 sonradan çıkan bir tanım. İçerisinde hemen hemen tüm dilleri barındırdığı için aslında büyük kolaylık. Ancak ilk geliştirilen ASCII formatından farklı bir altyapısı var. Dolayısıyla eğer utf8 kullanmayı seçtiyseniz yukarıdakilere ek olarak bir de dosya formatı sorunu karşınıza çıkıyor.

Eğer PHP ya da HTML sayfalarınızı açtığınız editör UTF8 destekli değilse ya da yeni dosya yarattığınızda dosyayı utf8 olarak kaydetmediyseniz yine sorun yaşayabilirsiniz.

UTF8 başlı başına bir muamma olduğu için çok detaya girmeyeceğim…

Karakter sorunu çözmede izleyebileceğiniz yol

Eğer karakter sorunu yaşıyorsanız aşama aşama şunu yapabilirsiniz:

1. Öncelikle sayfada gösterilen karakterler bozuk mu yoksa yanlış karakter setinde göstermeye çalıştığı için mi öyle gözüküyor onu tespit edin. Bunun için firefox’ta View / Character Encoding kısmından encoding doğru mu gözüküyor bakın. Eğer doğruysa ve problem utf8′leyse hata ya ilgili dosyanın utf8 olmamasıdır ya da veritabanından hatalı geliyordur.

2. Eğer encoding hatalıysa header’larda sorun var mı ona bakın. Header’ları görmek için firefox’un firebug extension’ından ya da ie8′in developer tools’undan vs. yararlanabilirsiniz. Eğer header farklı ise header’ın nereden geldiğini bulun: Ya apache’den ya da PHP’den gelir.

3. Header doğruysa “View source” diyip meta elemanına bakın. Buna “view source” ile bakın zira özellikle dinamik sitelerde kazara birden fazla meta komutunun geldiğine çok şahit oldum.

Ancak RAM’de olması nedeniyle veritabanı sunucusunun yeniden başlatılması durumunda tüm veri haliyle kayboluyor. Ayrıca çok fazla veri kaydedilmesi durumunda sunucunun RAM’ini doldurma ihtimali de mevcut. Peki bu iki büyük engele rağmen neden böyle bir tablo tipine ihtiyaç duyulmuş?

Ben HEAP tabloları iki yerde kullanıyorum:

1. Session bilgisi
2. Kullanıcı cache

Session bilgisi dediğim PHP’nin session altyapısı değil. Session tablosunda o an online olan kullanıcıları, bağlandıkları IP adresini ve ihtiyaç duyduğum bazı birkaç kişiye özel bilgiyi ve son aksiyon zamanını tutuyorum. Böylece hatta kaç kişi online, hangi IP adresiyle bağlı takip etme imkanım oluyor. Aslında bunun bir ileri seviyesi PHP’nin session bilgisini tamamen bir HEAP tabloda tutmak.

PHP’nin session bilgisini böyle bir tabloda tutmak özellikle birden fazla web sunucusu ile yayın yaptığınızda faydalı olacaktır zira session datasını dosya sisteminde tutarsanız kullanıcı round robin ya da benzeri altyapılarla farklı sunuculara yönlendirildiğinde session bilgisi kaybolacaktır.

Cache

İkinci kullanım alanı ise kullanıcı cache’i. FotoKritik’te kullanıcıların hesap durumlarını her bir request’te kontrol ettirmem gerekiyor. Çünkü online kişiler kural dışı bir hareket yaptıkları anda hesapları moderatörler tarafından geçici ya da kalıcı olarak askıya alınabiliyor.

Ayrıca kullanıcıya yeni site içi mesaj gitmiş mi gibi bilgileri de sürekli sorguluyorum. Bu sürekli sorguları hafıza yerine disk üzerinden yapmak, az hit almayan bir sitede 15.000 devirli RAID yapılmış disklerinizi bile gereksiz bir yük altına sokabilir….

Bu iki tabloyu birleştirmek de mümkün olabilir, ben tercih etmedim ama önemli olan bu tarz sürekli yapılan ve sunucunun yeniden başlatılması durumunda kolayca tekrar yaratılabilecek bilgileri HEAP tipi tablolarda tutmanın gerçekten ciddi performans kazanımları sağlayacağıdır.

HEAP tablonun aşırı RAM tüketmesini engellemek için, tablo yaratılırken maksimum satır sayısını baştan belirleyebiliyorsunuz, ve belirlemenizi şiddetle tavsiye ederim ;)

pager = more
prompt = ‘(\u@\h) [\d]> ‘

Böylece birden fazla sayfalar için “more” kullanılıyor, prompt’ta da database adı ve username/host yer alıyor. Böylece neye yetkim var ve en önemlisi de birden fazla versiyonla çalışırken hangi veritabanında olduğumu sürekli kontrol altında tutmam gerekmeyecek.

Diğer faydalı özellikler:

pager cat >> /tmp/log.txt

yapılan her işlemi (outputu) loglar.

pager less -S

Burdaki -S opsionu horizontal scrolling imkanı veriyor (ekrana enine sığmayan geniş queryler için).

rehash (\#)

TAB completion için tabloları tekrar okur.

FotoKritik’te kullanıcının her bir hareketi kaydediliyor. Şu an için 7000 kullanıcının bile her hareketini loglamak oldukça “iri” bir tabloya sahip olmamıza neden oluyor. O yüzden son 1 ayın loglarını tutuyorduk sadece. O dosya içerisinde bile sorgu yapmak ölüm zira 1 ayda 5-6 milyon satır oluyor…

Çözüm:

Öncelikle, yüksek performansı sıkıştırılabilir olması nedeniyle log tabloları için MyISAM tablo türü seçilmeli. Her hafta sunucu yükünün az olduğu bir saate koyduğum cron betiği sayesinde log tablosunu log_hafta_# adlı bir tabloya aktarıp aktif log tablosunu boşaltıyorum. Burada # hafta numarası.

Daha sonra bu yeni yaratılan tabloyu myisampack ile sıkıştırıyorum. myisampack komutu tabloyu sıkıştırır ve salt okunur yapar. Daha sonra bu tabloları tek bir tablo gibi sorgulamak isterseniz MySQL’in merge tablo türünden yararlanabilirsiniz.

myisampack, MyISAM tablosunun data kısmını sıkıştırıyor, index ve tablo yapısının bulunduğu dosyalara dokunmuyor. Sorgu yapıldığı zaman indeksten datanın bulunduğu satırı bulup “sadece” o satırı decompress ediyor. Compressed tablo daha küçük olduğu için (%60 ~ %80) disk seek’i az oluyor, sadece o satır uncompress edildiği için de bütüne bakıldığında performans kazancı sağlanıyor.

Bu yöntemi kullanacaksanız testlerinizi mutlaka yedekli yapın!

Burada myisampack’in kullanımı çok önemli. Veri kaybınızın olmaması için önce tablonuzu repair komutuyla onarmanızı öneririm. Daha sonra myisampack ile sıkıştırın (ben myisampack -bwv ile sıkıştırıyorum), myisamchk -rq –sort-index –analyze ile indexleri tekrar yaratın ve mysqladmin flush-tables ile tabloları kullanılır hale getirin.

MySQL iki tabloyu INNER JOIN yaparken anladığım kadarıyla PK’i foreign key olan tabloyu tüm satıların getirildiği ilk tablo yapıyor. Ama eleştiriler sayfasında eleştiri tablosunun ilk olması gerekiyor. JOIN cümlesindeki tabloların yerini tek başına değiştirmek bir işe yaramıyor.

SELECT STRAIGHT_JOIN dedikten sonra doğru sırada join yapıldığı zaman işe yarıyor.

Doğru join’de “EXPLAIN” çıktısı:

************* 1. row *************
table: elestiri
type: index
possible_keys: foto_id
key: zaman
key_len: 8
ref: NULL
rows: 234572
Extra:
************* 2. row *************
table: foto
type: eq_ref
possible_keys: PRIMARY
key: PRIMARY
key_len: 3
ref: elestiri.foto_id
rows: 1
Extra:
2 rows in set (0.01 sec)

Hatalı joinde çıktı:

************* 1. row *************
table: foto
type: ALL
possible_keys: PRIMARY
key: NULL
key_len: NULL
ref: NULL
rows: 41574
Extra: Using temporary; Using filesort
************* 2. row *************
table: elestiri
type: ref
possible_keys: foto_id
key: foto_id
key_len: 3
ref: foto.id
rows: 2
Extra:
2 rows in set (0.00 sec)