Bir CDN, GZIP'i çıkardı ve dosya adlarında mojibake ve bozuk indirmeleri düzelten karakter kümesi başlık uygulamasını üretti

Büyük ölçekli web siteleri, içeriği güvenilir ve verimli bir şekilde sunmak için küresel altyapıya güvendiğinde İçerik Dağıtım Ağları (CDN'ler) kritik bir rol oynar. CDN'ler, varlıkları kullanıcılara daha yakın bir yerde önbelleğe almanın ötesinde dosyaların sıkıştırılmasına, indirmelerin hızlandırılmasına ve kullanıcı deneyiminin iyileştirilmesine de yardımcı olur. Ancak belirli koşullar altında istemeden yeni sorunlar ortaya çıkarabilirler. Böyle bir olay, GZIP sıkıştırmasının ve karakter setlerinin yanlış işlenmesini içeriyordu; bu durum, bozuk indirmelere ve dosya adlarında mojibake'ye (bozuk metin) yol açıyordu; bu, hem geliştiricileri hem de operatörleri zorlayan bir olguydu.

TL;DR: Bir CDN hizmetindeki yanlış yapılandırma, GZIP sıkıştırma başlıklarının indirilebilir dosyalardan çıkarılmasına ve dosya adlarının karakter kodlamasının yanlış anlaşılmasına yol açtı. Bu, bozuk veya okunamayan dosya adlarına (mojibake) sahip indirmelerle sonuçlandı. Sorun, HTTP başlıklarında doğru charset zorlanmasıyla çözüldü ve hem dosya adı kodlamasının hem de içeriğin tarayıcı tarafından doğru şekilde yorumlanması sağlandı. Bu durum, özellikle HTTP başlıklarını değiştirebilecek CDN'ler kullanıldığında içerik kodlamasında tutarlılığın önemini vurgulamaktadır.

Neyin Yanlış Gittiği: Sıkıştırmanın Kötü Yönetimi

Sorunun temelinde CDN'nin Content-Encoding başlığını uygunsuz şekilde kullanması vardı. Kaynak sunucu, dosyaları GZIP kullanarak doğru şekilde sıkıştırdı ve bunları aşağıdaki başlıkla etiketledi:

 Content-Encoding: gzip

Ancak, teslimatı optimize etmeyi amaçlayan CDN, bu başlığı çıkarmaya ve içeriği sıkıştırılmamış gibi sunmaya karar verdi. Bu, CSS veya JavaScript gibi ham dosyalar bekleyen tarayıcılar için işe yaradı ancak kullanıcılar CSV, PDF veya ZIP arşivi gibi dosyaları indirmeye çalıştıklarında bozuk indirmelerle karşılaştılar. Bu tür dosyaların açılması ya tamamen başarısız oldu ya da okunamayan ya da eksik görünen veriler üretti.

İkili bozulmanın ötesinde, daha da gizemli bir sorun ortaya çıktı: Bazı dosya adları, özellikle Chrome veya Firefox gibi tarayıcılar kullanılarak indirildiğinde garip simgelerle bozuk görünüyordu. Bu fenomen mojibake olarak bilinir ve bir program, istenmeyen bir karakter kodlaması kullanarak bir bayt dizisini yorumladığında ortaya çıkar.

Karakter Kodlamalarında Karışıklık

İndirilen dosya adlarındaki Mojibake genellikle şu durumlarda ortaya çıkar:

• Dosya adı ASCII olmayan karakterler içeriyor (vurgulu harfler veya Asya alfabeleri gibi)
• Tarayıcı hangi karakter setinin kullanılacağını bilmiyor
• Content-Disposition veya Content-Type başlıklarında uygun karakter kümesi bildirimleri eksik

Yanlış tahminde bulunan tarayıcı, dosya adını ISO-8859-1 gibi bir varsayılan veya geri dönüş kodlaması kullanarak yorumlamaya çalışır ve bu da okunaklı karakterler yerine anlamsız ifadelere yol açar. Bu genellikle, özel karakterlerin yaygın olduğu Japonca, Rusça veya Almanca gibi dillerdeki dosya adlarına sahip dosyaları indiren kullanıcıları etkiler.

Başlangıçta geliştiriciler uygulama sunucusundan aşağıdaki gibi uygun başlıkları ayarlamışlardı:

 Content-Type: application/octet-stream; charset=utf-8 Content-Disposition: attachment; filename="resume.pdf"

Ancak CDN bir kez daha bu başlıkları kaldırarak veya değiştirerek değiştirdi ve bu da karakter kümesi ipucu olmadan indirmelere yol açtı. Bu, dosya adı yanlış kodlamayla yorumlandığından hatalı tarayıcı davranışını tetikledi.

Düzeltme: HTTP Başlıklarında Karakter Kümesini Zorunlu Hale Getirme

Pek çok hata ayıklama ve günlük izleme işleminden sonra geliştiriciler şunları doğruladı:

• Kaynak sunucudaki dosyalar bozulmamıştır.
• İndirmeler curl ve doğrudan IP erişimi yoluyla başarılı oldu.
• Sorun yalnızca CDN aracılığıyla sunulduğunda ortaya çıktı.

Bu nedenle doğru çözüm iki yönlüydü:

1. Tarayıcıların GZIP içeriğini düzgün bir şekilde alması ve sıkıştırmasını açması için CDN'yi Content-Encoding başlıklarını korumaya zorlayın.
2. Uygun uluslararası dosya adı kod çözmeyi garanti etmek için hem Content-Type hem de Content-Disposition başlıklarında açık charset ayarlayın.

Son çalışma başlığı yapılandırması şöyle görünüyordu:

 Content-Type: application/octet-stream; charset=utf-8 Content-Disposition: attachment; filename*=UTF-8''r%C3%A9sum%C3%A9.pdf Content-Encoding: gzip

filename* UTF-8'' URL kodlama sözdizimiyle kullanılması, tarayıcıların dosya adını RFC 5987'ye göre yorumlamasını sağlar. Bu, özellikle modern tarayıcılarda desteklenerek platformlar arası davranışı uyumlu hale getirir.

CDN'ler Neden Başlıkları Değiştirir?

CDN'ler genellikle performansı optimize etmeyi, fazlalığı azaltmayı ve yanıtları standartlaştırmayı amaçlar. Bu amaçla şunları yapabilirler:

• Sıkıştırma direktiflerini kaldırın veya değiştirin
• İçerik türlerini normalleştirin
• Güvenlik filtrelerini veya önbellek kurallarını geçemeyen başlıkları kaldırın

Ancak bu optimizasyonlar, içerik oluşturma veya dosya indirme için kritik önem taşıyan, dikkatlice ayarlanmış parametreleri geçersiz kıldıklarında geri tepebilir. Bu olayda, CDN'nin doğru Content-Encoding ve charset korumadaki başarısızlığının hem kullanılabilirlik hem de uluslararasılaştırma açısından zararlı olduğu ortaya çıktı.

Öğrenilen Dersler

Bu sayı, dağıtılmış ortamlarda çalışan geliştiriciler için değerli bir hatırlatma görevi görmektedir:

• İçerik dağıtımını her zaman uçtan uca test edin. Sunucunuzda çalışan dosyalar bir CDN'nin arkasında farklı davranabilir.
• Başlıklarda açık olun. Varsayılan davranışlar hakkında hiçbir şey varsaymayın; her zaman içerik türünü, kodlamayı ve karakter kümesini bildirin.
• Yapılandırma yoluyla CDN davranışını kontrol edin. Çoğu CDN, başlıkları korumak için geçersiz kılmalara veya kurallara izin verir. Onları kullanın.
• Birden fazla tarayıcı ve yerel ayarda indirme davranışını doğrulayın. Uluslararasılaştırma hataları genellikle yalnızca bu koşullar altında ortaya çıkar.

SSS

Mojibake nedir?

Mojibake, karakter kodlama uyumsuzluklarından kaynaklanan karakterlerin bozuk veya yanlış görüntülenmesini tanımlamak için kullanılan bir terimdir. Genellikle yazılım, metin verilerini depolamak veya göndermek için kullanılan karakter kodlamasını yanlış yorumladığında ortaya çıkar.

Gzip dosya indirme işlemlerini nasıl etkiler?

Doğru kullanıldığında GZIP, indirme süresini azaltmak için dosyaları sıkıştırır. Bununla birlikte, bir dosya uygun Content-Encoding: gzip başlığı olmadan GZIP sıkıştırılmış olarak sunulursa, tarayıcılar dosyanın sıkıştırmasını açamayabilir ve bu durum indirmelerin bozulmasına veya okunamamasına neden olabilir.

Bir CDN neden İçerik Kodlama veya karakter kümesi gibi başlıkları çıkarır?

CDN'ler performansa ve güvenliğe öncelik verir. Bunu yaparken genellikle başlıkları normalleştirirler veya potansiyel olarak güvenli olmayan veya gereksiz bilgileri kaldıran politikalar uygularlar. Bu, içeriğin doğru işlenmesi için gereken kritik meta verileri yanlışlıkla kaldırabilir.

İndirmeler için ASCII olmayan dosya adlarını belirtmenin doğru yolu nedir?

RFC 5987'de belirtildiği gibi UTF-8 kodlamasını ve çıkış yüzdesi biçimini kullanan filename* özniteliğiyle Content-Disposition üstbilgisini kullanın. Örneğin:

Content-Disposition: attachment; filename*=UTF-8''r%C3%A9sum%C3%A9.pdf

Geliştiriciler gelecekte bu tür sorunları nasıl önleyebilir?

CDN katmanı aracılığıyla testler yürütmeli, başlıkları açıkça belirtmeli ve gerekli tüm meta verileri koruyan veya aktaran CDN yapılandırmalarından yararlanmalıdırlar. Ek olarak, hata ayıklama aşamalarında CDN'lerin trafiği nasıl değiştirdiğine ilişkin belgelerin güncel tutulması önemlidir.