Klasik Kontrol Ölmedi: LQR ve Derin Pekiştirmeli Öğrenme Arasındaki Denge

Muhammet Işık
Klasik Kontrol ve Derin Pekiştirmeli Öğrenme Mimarisi

Endüstride herkes yapay zeka odaklı kontrolcülerden söz etse de tesislerin büyük bölümü PID ve LQR ile çalışmaya devam ediyor. Pekiştirmeli öğrenme klasik kontrolü ikame mi edecek, yoksa iki disiplin katmanlı bir mimaride birlikte mi yaşayacak?

Endüstriyel otomasyon konferanslarında son yıllarda sıkça tekrarlanan bir tablo var: Sunumlarda yapay zeka tabanlı otonom kontrolcüler heyecan yaratıyor, ardından mühendislik ekipleri fabrikalarına dönüp geleneksel kontrol döngülerinin parametrelerini titizlikle ayarlamaya devam ediyor. Bu durum bir çelişki değil, sahaya özgü güvenlik ve kararlılık gereksinimlerinin doğal bir sonucudur. Matematiksel olarak kanıtlanabilir klasik kontrol yöntemleri ile karmaşık ortamlarda deneyimle politika geliştiren pekiştirmeli öğrenme algoritmaları birbirinin rakibi değil; doğru kurgulandığında birbirinin açıklarını kapatan iki kritik katmandır.

Bütünsel Yapay Zeka Yanılgısı

Kontrol mühendisliği pratiği uzun süredir iki ana eksen etrafında değerlendiriliyor. Bir yanda PID, LQR ve model öngörülü kontrol gibi klasik metotlar yer alıyor. Bu metotlar endüstriyel uygulamaların ezici çoğunluğunu yönetiyor, matematiksel kararlılık garantisi veriyor ve uluslararası fonksiyonel güvenlik standartlarının sertifikasyon süreçlerini eksiksiz karşılıyor.

Diğer yanda ise pekiştirmeli öğrenme, derin sinir ağları ve uyarlanabilir kontrol algoritmaları bulunuyor. Simülasyon ortamlarında ve laboratuvar gösterimlerinde etkileyici başarılar sunan bu veri odaklı metotlar, sahada doğrudan emniyet kritik döngülere bağlanma noktasında temkinli karşılanıyor.

Mühendislik dünyasındaki yaygın eğilim, bu iki yaklaşımdan birini mutlak kazanan seçmek yönünde oluyor. Ancak ters sarkaç ve dinamik sistemler üzerinde yürüttüğüm araştırma ve simülasyon deneyleri, bu ikilemin yanlış kurgulandığını gösteriyor.

Klasik Kontrolün Gücü: LQR Neden Hala Hakim?

Doğrusal karesel regülatör (LQR), kontrol teorisinin en tutarlı ve matematiksel olarak zarif çözümlerinden biridir. Bir Riccati denklemi çözülerek optimal durum geri besleme kazanç matrisi elde edilir ve kapalı döngü kararlılığı güvenceye alınır. Hesaplama süresi saniyenin altındadır, kararlılık marjları analitik olarak bellidir ve kod karmaşıklığı düşüktür.

Ters sarkaç modeli üzerinde kurgulanan bir LQR kontrolcüsü, tanımlanmış nominal çalışma noktasında neredeyse kusursuz bir dengeleme başarımı ortaya koyar. Sürekli durum hatası sıfıra yakındır ve tasarım adımları oldukça öngörülebilirdir.

LQR bu denli başarılı ve güvenilirse, modern araştırmaların yeni arayışlara girmesinin nedeni nedir? Cevap, LQR’ın gücünün aynı zamanda en büyük kırılganlık kaynağı olmasında yatar: LQR, denetlediği sistemin matematiksel modelinin tam, doğru ve değişmez olduğunu varsayar. Ancak fiziksel dünya doğrusal olmadığı gibi durağan da değildir.

Model Kırılganlığı ve Gerçek Saha Dinamikleri

Klasik kontrolün kırılma noktası, sistem parametrelerinin nominal değerlerden uzaklaştığı anlarda belirginleşir. Örneğin simülasyon ortamında sarkaç kütlesi yalnızca yüzde yirmi oranında artırıldığında, LQR kontrolcüsünün sönümleme performansı hızla bozulur; aşırı salınımlar başlar ve bazı uç durumlarda sistem kararlılığını tamamen yitirir.

Bu durum LQR algoritmasının hatalı tasarlanmasından değil, doğasından kaynaklanır. LQR, bilinen bir transfer fonksiyonuna veya durum uzayı matrisine göre optimizasyon yürütür. Fiziksel modelde aşınma, sıcaklık farkı, yük değişimi veya sürtünme belirsizliği gibi sapmalar yaşandığında analitik optimallik garantisi çöker.

Endüstriyel sahada modelin sabit kaldığı bir operasyon ortamı neredeyse yoktur:

  • Rulmanlar ve dişliler mekanik aşınmaya uğrar.
  • Yağ viskozitesi sıcaklıkla değişir.
  • Robotik kolların taşıdığı faydalı yük her operasyonda farklılaşır.
  • Mekanik boşluklar ve toleranslar çalışma ömrü boyunca genişler.

LQR bu değişkenlik karşısında ya sürekli yeniden kalibre edilmeli ya da geniş güvenlik marjlarıyla muhafazakarlaştırılmalıdır; bu da sistemin çevikliğinden ve enerji verimliliğinden ödün vermek anlamına gelir.

Pekiştirmeli Öğrenmenin Vaadi: Deneyimle Politika Geliştirmek

Deep Q-Network gibi pekiştirmeli öğrenme algoritmaları bu darboğazı aşmak için farklı bir felsefeyle devreye girer. Pekiştirmeli öğrenme ajanı açık bir durum uzayı denklemine ihtiyaç duymaz. Ajan, ortamla kapalı döngü etkileşime girerek deneme-yanılma yoluyla ödül fonksiyonunu maksimize eden durum-eylem politikasını öğrenir.

Aynı ters sarkaç dinamiğinde eğitilen bir derin öğrenme modeli, başlangıçta saatler süren eğitim maliyetine ihtiyaç duyar. Nominal çalışma noktasındaki salınım miktarı, analitik LQR kazancının sunduğu pürüzsüzlüğün bir miktar gerisinde kalabilir.

Fakat sistem parametreleri bozulduğunda tablo tamamen değişir. Sarkaç kütlesi değiştirildiğinde veya dışarıdan rastgele itki uygulandığında, pekiştirmeli öğrenme ajanı sahip olduğu esnek genelleme kapasitesi sayesinde dengede kalmaya devam eder. Ajan tek bir statik matrise değil, geniş bir durum uzayında deneyimlediği robust davranış örüntülerine dayanır.

Tokat Testi: Dinamik Dış Bozucuların Simülasyonu

Araştırmamızın en çarpıcı aşamalarından biri, iki ajanın birbirine anlık bozucu kuvvet uyguladığı rekabetçi simülasyon ortamıydı. Bu senaryoda iki bağımsız sarkaç düzeneği aynı fiziksel uzayda konumlandırıldı; her iki ajan da kendi dikliğini korurken belirli zaman pencerelerinde karşı tarafa dengesizleştirici itkiler gönderdi.

Bu test kurgusu, endüstrideki stokastik dış etkileri modellemek açısından kritik bir benzetimdir:

  • Rüzgar türbinlerinde ani rüzgar hamleleri ve türbülans.
  • Mobil robotlarda tekerlek kayması ve zemin eğim değişiklikleri.
  • Yüksek hızlı işleme tezgahlarında kesici takımın malzemeye çarpma direnci.

Rekabetçi stres altında LQR temelli referans kontrolcü, model dışı ani dış momentlere karşı çok zayıf kalmış ve hızla düşme eğilimine girmiştir. Deep Q-Network mimarisi ise eğitim sürecinde sürekli bozuculara maruz kaldığından, gelen itkinin yönüne göre gövdeyi esneterek dengeyi koruyan adaptif bir refleks geliştirmiştir.

Eğitim sürecindeki önemli bir mimari tespit şudur: İki ayrı sinir ağı kullanıldığında ağlardan biri erken aşamalarda baskınlık kurmuş ve öğrenme çeşitliliğini tüketmiştir. Ortak bir ağırlık uzayından türeyen simetrik self-play yaklaşımına geçildiğinde ise ajanlar sürekli kendilerine denk bir dirençle karşılaşmış ve üç yüz test periyodu boyunca ortalama üç yüz yirmi adım düşmeden birbirlerine karşı direnç gösterebilmiştir.

Ödül Fonksiyonu Mühendisliği: Veri Odaklı Modelin Gizli Maliyeti

Pekiştirmeli öğrenmenin en kritik gerçeği ödül fonksiyonu tasarımıdır. Ajan sizin neyi amaçladığınızı değil, formüle ettiğiniz matematiksel ödül metriğinin tam olarak neyi ödüllendirdiğini optimize eder.

Deneylerimizde ilk kurgulanan ödül fonksiyonu sarkacın dikey açısının kosinüsüne odaklanmıştı. Ajan açıyı dik tutmayı öğrendi; ancak araba pozisyonu cezalandırılmadığı için rayın dışına taşarak sistemi devirdi. İkinci aşamada açısal hız cezası eklendi; bu kez de ani ivmelenmeler araba motorunu aşırı yükledi.

Başarıya ulaştıran nihai ödül yapısı, konum hatası, açı sapması ve eylem maliyetini eşzamanlı penalize eden karesel matris formu oldu. Bu formülasyon, ironik biçimde LQR’ın maliyet matrisleriyle birebir aynı felsefeyi taşımaktadır.

Buradan çıkarılan mühendislik dersi açıktır: Pekiştirmeli öğrenme modellerden bağımsız olabilir; ancak mühendislik tasarımından ve alan uzmanlığından bağımsız değildir. Yanlış tasarlanmış bir LQR kazancı suboptimal çalışır; fakat yanlış tanımlanmış bir ödül fonksiyonu fiziksel sisteme zarar verecek tehlikeli davranışlar doğurabilir.

Sertifikasyon Sınırı ve Güvenlik Standartları

Endüstriyel sistemlerin yapay zekaya mesafeli durmasının en somut sebebi sertifikasyondur:

  • Doğrulanabilirlik: IEC 61508, ISO 13849 veya havacılıkta DO-178C gibi fonksiyonel güvenlik standartları, bir kontrolcünün deterministik ve her girdi kombinasyonu için matematiksel olarak kanıtlanabilir olmasını şart koşar.
  • Şeffaflık: LQR kontrolcüsünün çıktısı sabit bir matris çarpımıdır; sınırları ve tepkileri önceden bellidir. Milyonlarca parametreye ve doğrusal olmayan aktivasyon katmanlarına sahip bir derin ağın davranışını analitik yöntemlerle garanti etmek mevcut standartlar altında mümkün değildir.

Bu gerçek, yapay zekanın endüstride yer bulamayacağı anlamına gelmez. Ancak kritik emniyet sınırlarının klasik metotlarla güvence altına alınması gerektiğini açıkça ortaya koyar.

Hibrit Mimarinin Gerekliliği: İki Dünyayı Birleştirmek

Mühendislik açısından doğru soru “LQR mı yoksa yapay zeka mı?” değildir. Doğru soru, “Hangi kontrol katmanında hangi aracı kullanmalıyız?” sorusudur.

Değerlendirme Kriteri LQR Tercih Edilmeli Pekiştirmeli Öğrenme Tercih Edilmeli
Model Doğruluğu Yüksek, analitik olarak tanımlı Düşük, parametreleri değişken
Ortam Koşulları Deterministik ve sabit Dinamik ve stokastik
Sertifikasyon İhtiyacı Emniyet kritik, zorunlu Danışman / optimizasyon düzeyi
Geliştirme / Hesaplama Saniyeler içinde çözüm Kapsamlı eğitim döngüsü
Çevresel Adaptasyon Sınırlı Çok yüksek

Geleceğin endüstriyel mimarisi bu iki paradigmanın katmanlı entegrasyonuna dayanmaktadır:

  • Emniyet Katmanı: İç döngüde yüksek frekansla çalışan, kararlılığı kanıtlanmış LQR, PID veya durum geri beslemeli klasik kontrolcü yer alır. Sistem hiçbir koşulda fiziksel sınırların dışına çıkamaz.
  • Optimizasyon ve Adaptasyon Katmanı: Dış döngüde çalışan pekiştirmeli öğrenme ajanı, değişen çevre koşullarını, yük farklılıklarını ve aşınma trendlerini gözlemleyerek klasik kontrolcünün setpoint değerlerini ve parametrelerini dinamik olarak uyarlar.

Bu mimari yaklaşım, fabrikaların günümüzde PID ile temel üretimi yürütüp üst katmanda kestirimci bakım ve enerji optimizasyonu algoritmaları çalıştırmasıyla tamamen örtüşmektedir.

Sonuç

Klasik kontrol ölmedi ve yakın gelecekte ölmesi de beklenmemektedir. Endüstriyel tesisler matematiksel kanıtlanabilirlik, determinizm ve sertifikasyon gereksinimlerinden vazgeçemez. LQR bu gereksinimleri en düşük hesaplama maliyetiyle karşılamaya devam etmektedir.

Pekiştirmeli öğrenme ise klasik kontrolün tıkandığı alanları çözer: model belirsizliği, öngörülemeyen dış kuvvetler ve zamanla değişen çalışma parametreleri.

Başarılı kontrol mühendisliği, yapay zekayı geleneksel yöntemlerin alternatifi olarak değil, klasik kontrolün sağlam temelleri üzerine oturan akıllı bir adaptasyon katmanı olarak kurgulayabilmektir.

📚 Kaynaklar

Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction. MIT Press.
Mnih, V., et al. (2015). Human-level control through deep reinforcement learning. Nature, 518(7540), 529-533.
Anderson, B. D., & Moore, J. B. (2007). Optimal Control: Linear Quadratic Methods. Dover Publications.
IEC 61508:2010. Functional Safety of Electrical/Electronic/Programmable Electronic Safety-related Systems.
University of Michigan. Control Tutorials for MATLAB and Simulink (CTMS).

📋 İlgili Bağlantılar

📂 Pekiştirmeli Öğrenme ile Adaptif Dövüş Robotu Eğitimi: LQR ve Deep RL Karşılaştırması
📄 Makina Öğrenmesi Teknikleri Kullanılarak Bir Dövüşen Robotun Eğitilmesi (PDF)
🔗 GitHub Repository / neural-adaptive-control-simulation