(NLP) Doğal Dil İşleme

Makinelerin insan diliyle nasıl etkileşime girdiğini inceleyen yapay zekanın bir parçasıdır. NLP, Symetricx sohbet robotu, Symetricx yazım denetleyicisi gibi her gün kullandığımız birçok aracı geliştirmek için perde arkasında yapay zeka sürekli çalışır.

NLP, makine öğrenimi algoritmalarıyla birleştirildiğinde, görevleri kendi başına gerçekleştirmeyi öğrenen ve deneyim yoluyla daha iyi hale gelen sistemler oluşturur.

Şirketler, verilerden iç görüler elde etmek ve rutin görevleri otomatikleştirmek için NLP donanımlı araçları giderek daha fazla kullanıyor.

Doğal Dil İşleme Nedir?

Doğal dil işleme (natural language processing), bilgisayarlara insan dilini okuma, anlama ve yorumlama yeteneği veren bir yapay zekâ uygulamasıdır. Bilgisayarların, insan duygularını ölçmesine ve insan dilinin hangi bölümlerinin önemli olduğunu belirlemesine yardımcı olur.

Doğal dil işlemenin (NLP) amacı, metni anlamlandırabilen ve çeviri, dilbilgisi denetimi veya konu sınıflandırması gibi görevleri gerçekleştirebilen sistemler oluşturmaktır.

Google Assist, Siri ve Alexa gibi sanal asistanlar, doğal dil işlemenin hayatımızdaki uygulama alanlarının en popülerler örnekleri arasında yer alır. NLP’nin başka bir yaygın kullanım örneği ise, doğal dil üretimi gerçekleştirirken sorunları çözmenize yardımcı olan akıllı sohbet robotlarıdır.

Bunların yanı sıra NLP’nin her gün kullandığımız araçlarda dahi karşılaştığımız ancak, muhtemelen farkına bile varmadığımız birçok uygulama alanı vardır. Örneğin, Twitter, Facebook, Instagram gibi mecralarda farklı dilde yazılan gönderinin dilinize çevrilmesi veya istenmeyen e-postaları spam dosyasına filtrelerken getirilen metin önerileri vb.

Doğal Dil İşleme Nasıl Çalışır?

En basit tanımıyla, doğal dil işleme öncelikle dil bilimsel yapıyı ve kelimelerin anlamını analiz etmek için dil bilimi uygular. Sonrasında, çeşitli görevleri yapabilen akıllı sistemler oluşturmak için farklı algoritmalar kullanır.

Temel NLP görevleri arasında belirteçleştirme ve ayrıştırma, lemmatizasyon / köklendirme, konuşma parçası etiketleme, dil algılama ve anlamsal ilişkilerin tanımlanması yer alır.

Genel anlamda NLP; dili daha kısa, temel parçalara böler, parçalar arasındaki ilişkileri anlamaya çalışır ve parçaların anlam yaratmak için birlikte nasıl çalıştığını keşfeder.

Doğal Dil İşleme Teknikleri

Doğal Dil İşleme (NLP), bilgisayarların metinleri anlamasına yardımcı olmak için iki teknik uygular: söz dizimsel analiz ve anlamsal analiz.

Sözdizimsel Analiz

Söz dizimsel analiz veya ayrıştırma; cümle yapısını, kelimelerin nasıl düzenlendiğini ve kelimelerin birbirleriyle ilişkisini tespit etmek için temel dilbilgisi kurallarından yararlanarak metni analiz eder. Görevlerinden bazıları şunlardır:

• Simgeleştirme; metnin işlenmesini kolaylaştırmak için bir metni simge adı verilen (cümleler veya sözcükler olabilir) daha küçük parçalara bölmekten oluşur.

• Konuşma etiketlemenin parçası; simgeleri fiil, zarf, sıfat, isim vb. olarak etiketler. Bu, bir kelimenin anlamını anlamaya yardımcı olur (örneğin, “yaz” kelimesi, fiil veya isim olarak kullanıldığında farklı şeyler anlamına gelir).

• Lemmatizasyon ve kökten türetme; analizi kolaylaştırmak için, bir kelimeyi bilinen temel biçimine indirger.

Anlamsal Analiz

Anlamsal analiz, metnin anlamını bulmaya odaklanır. İlk olarak, her bir kelimenin anlamını inceler (sözcüksel anlambilim). Ardından, kelimelerin kombinasyonuna ve bağlam içinde ne anlama geldiklerine bakar. Anlamsal analizin ana alt görevleri şunlardır:

• Kelime anlamındaki belirsizliği giderme; belirli bir bağlamda bir kelimenin hangi anlamda kullanıldığını açıklamaya çalışır.

• İlişki çıkarma; yerler, kişiler, kuruluşlar vb gibi varlıkların metinde birbirleriyle nasıl ilişkili olduğunu anlamaya çalışır.

NLP, AI, Makine Öğrenimi: Fark Nedir?

Doğal Dil İşleme, Yapay Zeka ve makine öğrenimi bazen anlamları karıştırılarak, birbirlerinin yerine kullanılmaktadır. Öncelikle bilinmesi gereken başlıca nokta, NLP ve makine öğreniminin yapay zekanın alt kümeleri olduğudur.

Yapay zeka, insan zekasını simüle edebilen sistemler için genel bir terimdir. AI, örneklerden öğrenme ve problem çözme gibi bilişsel yetenekleri taklit eden uygulamaları kapsar. Bu, sürücüsüz arabalardan tahmin sistemlerine kadar birçok farklı uygulamayı kapsar.

Doğal dil işleme bilgisayarların insan dilini nasıl anladığı ve çevirdiği ile ilgilenir. NLP ile sistemler, yazılı veya sözlü metni anlamlandırabilir ve tercüme, anahtar sözcük çıkarma, konu sınıflandırması ve daha fazlası gibi görevleri gerçekleştirebilir.

Tüm bu süreçleri otomatikleştirmek ve doğru yanıtlar vermek için makine öğrenimine ihtiyaç vardır. Makine öğrenimi, sistemlere açıkça programlanmadan deneyimlerden nasıl otomatik olarak öğreneceklerini ve geliştireceklerini öğreten algoritmaları uygulama sürecidir.

Örneğin, yapay zeka destekli sohbet robotları, kullanıcıların ne söylediğini ve ne yapmak istediklerini yorumlamak için NLP’yi ve geçmiş etkileşimlerden öğrenerek otomatik olarak daha doğru yanıtlar vermek için makine öğrenimini kullanır.

Bir dilin özelliklerinin belirlenmesi, otomatik dil tespiti, metin içindeki yazımı hatalı sözcüklerin belirlenmesi, sözcüklerin hecelenmesi ve otomatik metin özeti gibi Doğal Dil İşleme Sistemlerinin geliştirilimi için önem kazanır. Bununla beraber, optik karakter tanıma, kriptoloji, veri sıkıştırma, ses sentezleme ve tanıma konuları için de dil özelliklerinin bilinmesi büyük fayda sağlar. Ancak Türkçe dili için, bir doğal dil işleme sistemi geliştirmek dilin yapısından dolayı zordur. Dilin doğasından kaynaklanan güçlükleri ortadan kaldırabilmek için farklı tekniklere ihtiyaç duyarız. Bu anlamda, bu çalışma Türkçe sözcüklerin hecelenmesi ve istatistiklerinin çıkarılabilmesi için yeni bir yaklaşım önermektedir. Hece istatistiklerinin çıkarılması için istatistiksel n-gram dil modelleri oluşturulmuştur.

İstatistiksel dil modelleriyle Türkçe külliyatta bulunan sözcükler içinde hecelerin art arda gelme ihtimalleri hesaplanmıştır. İstatistiksel dil modellerinde, sözcük tabanlı yaklaşımları gerçekleştiren çalışmalar Türkçe için yeterince uygun değildir. Bundan dolayı sözcük tabanlı çalışmalardan ziyade hece tabanlı yaklaşımların kullanılmasının daha elverişli olduğu düşünülmüştür.

İstatistiksel dil modelleri, metin içinde bir cümlenin veya bir cümle içinde sözcüklerin yer alma olasılıklarını hesaplamada sıkça kullanılır.

Geliştirilen Symetricx Nlp sistemi ile Türkçe metinler için sıkıştrma algoritmaları geliştirilebileceği ve Türkçe metin yazımında oluşabilecek yazım hatalarının tespitine olanak sağlayacağı fikri ortaya çıkmıştır. Aynı zamanda sistemin hece tabanlı Türkçe ses sentezleme ve konuşma tanıma sistemleri için temel oluşturmuştur.