8 Eylül 2018 Cumartesi
çeviride insan makineden üstün
İş Etkisi
İnsan çevirmenleri hâlâ zirvede.
Makine çevirisi cümleler için iyi çalışır, ancak belge düzeyinde sapmaya dönüşür, hesaplama dilbilimcileri bulmuştur.
Şampanya mantarlarının patlaması ve daha kalın bantların duşunu kaçırmış olabilirsiniz, ancak son aylarda, sayısal dilbilimciler, nöral makine çevirisinin artık insan çevirmenlerinin performansıyla eşleştiğini iddia etmeye başladılar.
Sizin için önerilen
Bir dilden diğerine metin çevirmek için bir sinir ağı kullanma tekniği, son yıllarda, makine öğrenimi ve yapay zekada devam eden atılımlar sayesinde, sıçramalar ve sınırlarla gelişmiştir. Dolayısıyla, makinelerin insan performansına yaklaşması gerçekten bir sürpriz değil. Gerçekten de, hesaplama dilbilimcileri bu iddiayı destekleyecek iyi kanıtlara sahiptir.
Fakat bugün, Zürih Üniversitesi'ndeki Samuel Laubli ve bir iki meslektaşları şampanyaların buza geri dönmesi gerektiğini söylüyor. İş arkadaşlarının sonuçlarına itiraz etmiyorlar, ancak test protokolünün insanların tüm belgeleri okumasını dikkate almadığını söylüyorlar. Bu değerlendirildiğinde, makineler insanların önemli ölçüde gerisinde kalıyorlar.
Söz konusu olduğunda, makine çevirisi nasıl değerlendirilmelidir. Bu şu anda iki tedbir üzerinde gerçekleştirilmiştir: yeterlilik ve akıcılık. Bir çevirinin yeterliliği, kaynağın anlamını ne kadar iyi ifade ettiğini görmek için orijinal metni ve çeviriyi okuyan profesyonel insan çevirmenleri tarafından belirlenir. Akıcılık, yalnızca çeviriyi gören ve İngilizcede ne kadar iyi ifade edildiğini belirleyen tek dilli okuyucular tarafından değerlendirilir.
Hesaplamalı dilbilimciler bu sistemin yararlı derecelendirmeler verdiğini kabul eder. Ancak Laubli ve co'ya göre, mevcut protokol yalnızca çevirileri cümle düzeyinde karşılaştırırken, insanlar da metni belge düzeyinde değerlendirmektedir.
Bu nedenle, makine ve insan çevirmenlerinin performansını belge düzeyinde karşılaştırmak için yeni bir protokol geliştirdiler. Profesyonel çevirmenlere, makinelerde ve insanlarda, İngilizce dilinde yazılmış 100'ün üzerinde haber makalesini İngilizce'ye çevirdiğini değerlendirmelerini istediler. Denetmenler, her bir çeviriyi, cümle düzeyinde yeterlilik ve akıcılık açısından, fakat aynı zamanda tüm belge seviyesinde de değerlendirdi.
Sonuçlar ilginç okumalar yapar. Başlangıç olarak, Laubli ve ortak, profesyonel çevirmenlerin makine ve insan-çevrilmiş cümlelerin yeterliliğini derecelendirme biçiminde anlamlı bir farklılık bulamadılar. Bu önlemle, insanlar ve makineler, önceki bulgularla uyumlu olarak eşit derecede iyi çevirmenlerdir.
Ancak, tüm belgenin değerlendirilmesi söz konusu olduğunda, insan çevirileri, makine çevirilerinden daha yeterli ve daha akıcı olarak değerlendirilmektedir. “Yeterlilik ve akıcılık değerlendiren insan faktörleri, belgelerin izole cümlelere kıyasla değerlendirilmesinde, insanın makine çevirisi üzerinde daha güçlü bir tercih olduğunu gösteriyor” diyorlar.
Araştırmacılar nedenini bildiğini düşünüyorlar. “Belge düzeyinde değerlendirmenin, belirsiz bir sözcüğün yanlış yazılması ya da cümle düzeyinde bir değerlendirmede zor ya da imkansız kalan metinsel uyum ve tutarlılık ile ilgili hatalar gibi hataları ortaya çıkardığını varsayıyoruz” diyorlar.
Örneğin, ekip “WeChat Car the Car” olarak adlandırılan ve aynı makinede sıklıkla farklı şekillerde çeviri yapan “微 信 挪 车” adlı yeni bir uygulama örneği verir. Makineler bu ifadeyi “Twitter Move Car”, “WeChat mobile” ve “WeChat Move” olarak tercüme ediyor. Bu tür bir tutarsızlık, Laubli ve işbirliği belgelerini takip etmeyi zorlaştırıyor.
Bu, makine çevirisinin değerlendirilme şeklinin, makinelerin her bir cümleyi ayrı ayrı ele aldığı bir sistemden uzaklaşmaya ihtiyaç duyduğunu göstermektedir.
“Makine çevirisi kalitesi arttıkça, çeviriler kalite açısından ayrımcılığa uğramakta zorlanacak ve belge düzeyindeki değerlendirmeye doğru kayma zamanı olabilir, bu da ilk metni ve çevirisini anlamak için puanlayıcılara daha fazla bağlam sağlar ve ayrıca çeviri hatalarını da ortaya çıkarır. Cümle düzeyinde bir değerlendirmede görünmez kalan söylem olguları ile ilgili olarak, ”diyor Laubli ve co.
Bu değişiklik, makine çevirisi geliştirmeye yardımcı olmalıdır. Bu, insan çevirisini geçmek için hala geçerli olduğu anlamına geliyor - henüz değil.
Ref: arxiv.org/abs/1808.07048 : Makine Çevirisi İnsan Paritesi Elde Etti mi? Belge Düzeyinde Değerlendirme için Bir Durum
Kaydol:
Kayıtlar (Atom)