Sağlıkta Yapay Zekâ İçin Güvenli Uygulama Rehberi

Sağlıkta yapay zekâ, randevu talebini sınıflandırmaktan klinik dokümanları düzenlemeye kadar çok farklı işlerde kullanılabilir. Fakat aynı modelin idari bir metni özetlemesi ile bakım kararını etkileyen bir öneri üretmesi aynı riskte değildir. Güvenli uygulama bu ayrımı daha proje başlamadan yapar; teknolojiye ne kadar yetenek verilebildiğini değil, hangi görevin hangi koşullarda kabul edilebilir olduğunu sorar.

Dünya Sağlık Örgütü sağlıkta yapay zekâ için insan özerkliği, güvenlik, şeffaflık, sorumluluk ve kapsayıcılık gibi yönetişim ilkelerini öne çıkarır. NIST Yapay Zekâ Risk Yönetimi Çerçevesi ise riski yönetme işini yönetişim, bağlamı haritalama, ölçme ve yönetme döngüsüyle ele alır. Bu kaynaklar tek başına onay veya mevzuat uygunluğu sağlamaz; kuruluşun kullanım senaryosuna göre kanıt üretmesine yardımcı olan bir iskelet sunar.

Önce problemi, kullanıcıyı ve etkileneni tanımlayın

Proje belgesinin ilk satırı model adı olmamalıdır. Bugün hangi iş aksıyor, bu aksama kimi etkiliyor, mevcut süreçte hata nasıl fark ediliyor ve önerilen sistem hangi kararı değiştirecek soruları yazılmalıdır. Örneğin kayıp çağrıyı geri arama kuyruğuna almak ile görüntü üzerinden klinik öncelik önermek aynı proje başlığı altında değerlendirilemez. Birincisi idari iş akışını, ikincisi bakım kararını etkileyebilir.

Kullanıcı ile etkilenen kişi de her zaman aynı değildir. Yapay zekâ ekranını çalışan kullanırken sonucu hasta yaşayabilir. Bu nedenle hasta, klinik ekip, operasyon, bilgi işlem, veri koruma ve yönetim temsilcileri gereksinim aşamasında yer almalıdır. Başarı ölçütü yalnızca hız veya kullanım sayısı olmamalı; yanlış yönlendirme, gereksiz veri erişimi, insan müdahalesine ulaşma ve itiraz edebilme gibi güven göstergeleri de tanımlanmalıdır.

Kullanım senaryosunu etki düzeyine göre sınırlayın

Düşük etkili bir başlangıç; kurumca onaylanmış idari bilginin bulunması, toplantı notunun düzenlenmesi, randevu niyetinin etiketlenmesi veya personele taslak metin hazırlanması olabilir. Modelin çıktısı tanı, tedavi, ilaç, aciliyet veya hasta uygunluğu kararına yaklaştıkça klinik doğrulama, mevzuat değerlendirmesi ve teknik kanıt gereksinimi artar. Belirsiz bir yapay zekâ asistanı tanımı yerine izin verilen ve yasaklanan görevler açıkça listelenmelidir.

Sistem sınırı kullanıcı arayüzünde görünmelidir. Modelin klinik karar vermediğini yalnızca sözleşmeye yazmak yeterli değildir; istemler, erişilen kaynaklar, araç izinleri ve insan devir akışı bu sınırı uygulamalıdır. Kullanıcı serbest metinle yasaklı bir talep verdiğinde sistem güvenli biçimde reddetmeli veya yetkili sürece yönlendirmelidir. Sınırın dışına çıkan sonuçlar kayıt altına alınarak ürün ekibinin incelemesine açılmalıdır.

Yönetişimi tek bir teknik ekibe bırakmayın

Her kullanım senaryosunun bir iş sahibi, teknik sahibi, veri sahibi ve risk onaylayan yöneticisi olmalıdır. Klinik etkisi bulunan projelerde uygun klinik uzmanlık karar mekanizmasına dahil edilmelidir. Tedarikçinin sağladığı güvenlik kartı veya model raporu, kuruluşun kendi sorumluluğunu devralmaz. Kurum; kullanım kapsamını, kabul ölçütlerini, insan gözetimini, kesinti davranışını ve durdurma yetkisini kendisi tanımlar.

Yönetişim kurulu yalnızca canlıya çıkış toplantısında görünmemelidir. Yeni model sürümü, bilgi tabanı değişikliği, veri kaynağı eklenmesi, kullanım hacmindeki belirgin değişim veya olay kaydı yeniden değerlendirme tetikleyicisidir. Kararlar; kullanılan sürüm, değerlendirilen kanıt, kabul edilen risk, geçici önlem ve sorumlu kişiyle birlikte kayıt altına alınmalıdır. Böylece bir hata olduğunda hangi varsayımla ilerlediği anlaşılır.

Veri kaynağının uygunluğunu ve temsil gücünü sorgulayın

Bir modelin çıktısı yalnızca algoritmaya bağlı değildir. Eğitim, uyarlama, değerlendirme ve canlı kullanım verilerinin kaynağı sonuçları doğrudan etkiler. Kuruluş kendi verisini kullanıyorsa toplama amacı, kalite, eksik alanlar, etiketleme yöntemi, erişim yetkisi ve saklama süresi belgelenmelidir. Tedarikçi modeli için aynı ayrıntı her zaman paylaşılmasa bile veri türleri, bilinen sınırlamalar ve değerlendirme kapsamı istenmelidir.

Veri setinin genel büyüklüğü tek başına yeterlilik kanıtı değildir. Dil, aksan, yaş grubu, hizmet kanalı, kurum türü ve kullanılan cihaz gibi bağlamlar performansı değiştirebilir. Canlı ortamda karşılaşılacak gruplar değerlendirme setinde anlamlı biçimde temsil edilmiyorsa sonuçlar ayrıca izlenmelidir. Eksik temsil edilen bir grup için belirsizlik saklanmamalı; kullanım daraltılmalı veya insan incelemesi güçlendirilmelidir.

Çıktının sözleşmesini yazın

Yapay zekânın ne döndüreceği, hangi biçimde döndüreceği ve belirsizlikte ne yapacağı teknik bir çıktı sözleşmesiyle tanımlanmalıdır. Randevu niyeti sınıflandırılıyorsa izin verilen etiketler, bilinmiyor seçeneği ve insan kuyruğu bulunmalıdır. Metin özeti üretiliyorsa kaynak metinle ilişki korunmalı, yeni klinik bilgi eklenmemeli ve kullanıcı doğrulamadan hasta kaydına kesin bilgi olarak yazılmamalıdır.

Modelin başka sistemlerde işlem yapma yetkisi ayrıca ele alınmalıdır. Takvimde kayıt açmak, mesaj göndermek veya dosyaya bilgi yazmak salt metin üretiminden daha yüksek operasyon etkisi yaratır. Araç izinleri en az yetkiyle sınırlandırılmalı; yüksek etkili işlem öncesinde açık kullanıcı onayı alınmalı ve her işlem benzersiz kimlikle izlenmelidir. Entegrasyon kurulumu için dijital dönüşüm rehberi, veri akışı ile hata yönetimini birlikte tasarlamaya yardımcı olur.

İnsan gözetimini gerçek bir kontrol olarak tasarlayın

İnsan döngüde ifadesi, çalışanın ekranda bir onay düğmesi görmesi anlamına gelmez. İnceleyen kişinin yeterli zamanı, uzmanlığı, kaynak veriye erişimi ve modeli reddetme yetkisi olmalıdır. Model çıktısını sürekli doğru gören çalışanlarda otomasyon yanlılığı gelişebilir; arayüz kesinlik izlenimi veren dil veya renklerden kaçınmalı, belirsizliği ve dayanakları görünür kılmalıdır.

Hangi sonuçların zorunlu incelemeye gideceği önceden belirlenmelidir. Düşük güven, kaynak çelişkisi, yasaklı konu, olağandışı veri, kişinin itirazı veya sistem arızası insan devrini tetikleyebilir. İnceleme sonucu yalnızca düzeltme olarak kalmamalı; hata türü, bağlam ve sonraki önlem kalite kaydına işlenmelidir. Personelin modele katılmama veya sistemi durdurma seçeneği açık olmalıdır.

Değerlendirmeyi gerçek çalışma koşullarında yapın

Genel bir doğruluk puanı sağlık ortamındaki güvenliği açıklamak için yetersizdir. Her kullanım senaryosu için doğru sonuç, kabul edilebilir belirsizlik ve kritik hata tanımlanmalıdır. Değerlendirme seti normal örneklerin yanında eksik kayıt, yazım hatası, çelişkili kaynak, benzer hasta adı, yoğun saat, kesilen entegrasyon ve kapsam dışı talep gibi zor durumları içermelidir. Sonuçlar alt gruplar ve hata türleri üzerinden incelenmelidir.

Test verisi canlı kullanım verisinden ayrılmalı, kişisel veriler gereksiz yere çoğaltılmamalıdır. Değerlendirme tekrar üretilebilir olmalı; model sürümü, istem, bilgi tabanı ve ayarlar kaydedilmelidir. Bir sürümün toplam puanı yükselirken kritik bir senaryoda gerilemesi mümkündür. Bu yüzden canlıya geçiş eşiği yalnızca ortalamaya değil, önceden tanımlanmış kırmızı çizgilere dayanmalıdır.

Üretken yapay zekâya özgü hataları ayrı test edin

Üretken modeller akıcı fakat kaynağa dayanmayan cevaplar üretebilir. Sağlık bağlamında düzgün yazılmış bir yanlış, kolay fark edilmeyebilir. Kurumca onaylı bilgi tabanı, kaynak gösterimi, cevap verememe seçeneği ve kritik konularda şablon yanıt bu riski azaltabilir. Sistem, bulunmayan bilgiyi tamamlamaya çalışmak yerine eksikliği belirtip insana yönlenmelidir.

İstem enjeksiyonu, hassas bilginin çıktıya sızması, kullanıcılar arası bağlam karışması ve araçların amaç dışı kullanılması da değerlendirilmelidir. İnternetten veya yüklenen dosyadan gelen metin güvenilir talimat kabul edilmemelidir. Modelin sistem talimatı, kişisel veri veya bağlantı anahtarı gibi sırları açıklamadığı sınanmalıdır. Büyük dil modeli kullanan bir çağrı operasyonunda ekonomik değerlendirme için diş klinikleri için yapay zekâ telefon asistanı rehberi güvenlik ölçütlerini maliyet modeliyle beraber ele alır.

KVKK ve güvenliği sonradan eklenecek katman saymayın

Yapay zekâ projesi için hangi kişisel verinin gerçekten gerekli olduğu daha mimari çizilirken belirlenmelidir. İstem kayıtları, konuşma dökümleri, geri bildirimler ve model izleme logları yeni veri varlıklarıdır. Bunların amacı, erişimi, saklama süresi ve aktarımı ana sağlık sisteminden ayrı değerlendirilebilir. Tedarikçinin veriyi kendi modelini eğitmek için kullanıp kullanmadığı açıkça sınırlandırılmalıdır.

Servis hesapları dar yetkili olmalı, veriler aktarım ve depolama sırasında uygun şekilde korunmalı, destek erişimleri kaydedilmeli ve olay bildirim zinciri test edilmelidir. Model hizmeti veya alt işleyen yurt dışındaysa gerçek teknik akış güncel kurallara göre değerlendirilmelidir. Ayrıntılı veri yönetişimi kontrolleri için sağlık sistemlerinde KVKK uyumu rehberi kullanılabilir.

Tedarikçiden pazarlama iddiası değil kanıt isteyin

Demo, seçilmiş örneklerde sistemin iyi çalışabildiğini gösterir; kurumun koşullarında güvenli çalışacağını göstermez. Tedarikçiden model ve sürüm yönetimi, bilinen sınırlamalar, veri işleme zinciri, alt işleyenler, güvenlik kontrolleri, olay geçmişini paylaşma yöntemi, kesinti planı ve çıkış süreci hakkında doğrulanabilir bilgi istenmelidir. Kritik değerlendirme sonuçlarının hangi veri ve senaryolarla üretildiği anlaşılmalıdır.

Sözleşme; model değişikliğini önceden bildirme, önemli performans gerilemesinde müdahale, veriyi amaç dışı kullanmama, denetim kanıtı sağlama, olayda iş birliği ve fesih sonrası silme hükümlerini içermelidir. Kuruluş istemlerini, bilgi tabanını, kalite kayıtlarını ve gerekli çıktılarını taşınabilir biçimde alabilmelidir. Tedarikçi bağımlılığı yalnızca fiyat değil, güvenli biçimde hizmetten çıkabilme sorunudur.

Pilotu aşamalı ve geri alınabilir kurun

İlk aşamada gölge kullanım tercih edilebilir: sistem çıktı üretir ancak operasyonu değiştirmez; ekip sonuçları mevcut süreçle karşılaştırır. Sonra sınırlı kullanıcı, kanal veya görevle kontrollü pilot açılır. Otomatik işlem yetkisi varsa başlangıçta insan onayı korunur. Her aşamanın giriş ölçütü, durdurma koşulu ve eski sürece dönüş adımı yazılı olmalıdır.

Pilot sırasında yalnızca olumlu örnekler seçilmemelidir. İnsan devri, yanlış kaynak, sistem kesintisi, kişinin itirazı ve hassas veri girişi düzenli olarak sınanmalıdır. Çalışan geri bildirimi yapılandırılmış hata türleriyle alınmalı; hastaların anlayacağı iletişim ve insan desteğine erişim korunmalıdır. Genişleme kararı kullanım heyecanına değil, kabul ölçütlerinin tutarlı biçimde karşılandığı kanıta dayanmalıdır.

Canlı izleme, değişiklik ve olay yönetimini birleştirin

Canlıya çıkan model sabit kalmaz; veri dağılımı, kullanıcı davranışı, bilgi tabanı ve tedarikçi sürümü değişebilir. Kalite göstergeleri kullanım senaryosuna göre izlenmeli; bilinmiyor yanıtı, insan devri, kullanıcı düzeltmesi, yasaklı çıktı, entegrasyon hatası ve belirli gruplardaki performans sapmaları birlikte değerlendirilmelidir. İzleme verisi de veri minimizasyonu ve erişim kontrollerine tabi tutulmalıdır.

Bir kritik hata görüldüğünde yalnızca tek çıktıyı düzeltmek yeterli değildir. Etkilenen kayıtlar, model ve istem sürümü, benzer senaryolar, yapılan insan işlemleri ve bildirilecek taraflar belirlenmelidir. Gerekirse özellik kapatılmalı veya salt öneri moduna alınmalıdır. Düzeltme sonrasında aynı hata sınıfı yeniden test edilmeden kapsam açılmamalıdır. Bu süreç, genel dijital dönüşüm rehberi içindeki değişiklik yönetimiyle ortak yürütülebilir.

Sağlıkta yapay zekâ canlıya geçiş kontrolü

Karar toplantısında en az şu sorulara kanıtlı yanıt verilmelidir:

• Kullanım amacı, kullanıcı, etkilenen kişi ve yasaklı görevler açık mı?
• Veri kaynakları, sınırlamalar ve temsil boşlukları belgelendi mi?
• Çıktı sözleşmesi, insan devri ve işlem yetkileri test edildi mi?
• Kritik hata eşikleri ile durdurma yetkisi tanımlandı mı?
• KVKK, güvenlik, tedarikçi ve aktarım kontrolleri tamamlandı mı?
• Model, istem ve bilgi tabanı değişiklikleri sürümleniyor mu?
• Canlı izleme, olay müdahalesi ve geri dönüş planı çalışıyor mu?

Bu sorulardan biri belirsizse kapsam daraltılabilir, ek kontrol eklenebilir veya canlıya geçiş ertelenebilir. Güvenli uygulama, riskin hiç olmadığı iddiası değil; riskin görünür, sahipli ve yönetilebilir olmasıdır.

Sonuç: Değer, sınırları yönetebildiğiniz yerde oluşur

Sağlıkta yapay zekâ devrimi tek bir model satın almakla gerçekleşmez. Kalıcı değer; doğru problemi seçmek, klinik ve idari sınırı korumak, verinin uygunluğunu göstermek, insanın gerçek karar yetkisini sürdürmek ve sistemi canlıda öğrenen bir yönetişim döngüsüyle izlemekten doğar. Küçük, ölçülebilir ve geri alınabilir adımlar kuruma hem faydayı hem hatayı erken görme imkânı verir. En iyi sistem her soruya cevap veren değil, ne zaman duracağını ve kime devredeceğini güvenilir biçimde uygulayan sistemdir.