Sağlıkta Yapay Zekâ İçin Güvenli Uygulama Rehberi

Sağlıkta yapay zekâ, sağlık hizmetine ait metin, ses, görüntü ve kayıtlardan sınıflandırma, tahmin, özetleme veya içerik üretimi yapan yazılımların sağlık hizmeti ve sağlık yönetiminde kullanılmasıdır. Randevu talebini sınıflandırmaktan klinik dokümanları düzenlemeye kadar çok farklı işlerde karşımıza çıkar. Fakat aynı modelin idari bir metni özetlemesi ile bakım kararını etkileyen bir öneri üretmesi aynı riskte değildir.

Riskler farklıdır. Güvenli uygulama bu ayrımı proje başlamadan yapar ve teknolojinin neler yapabildiğinden önce hangi görevin hangi koşullarda kabul edilebilir olduğunu sorar.

Dünya Sağlık Örgütü sağlıkta yapay zekâ için insan özerkliği, güvenlik, şeffaflık, sorumluluk ve kapsayıcılık gibi ilkeleri öne çıkarır ve bunları kural ve sorumluluk düzeni (yönetişim) başlığı altında ele alır. NIST Yapay Zekâ Risk Yönetimi Çerçevesi ise riski kural ve sorumluluk belirleme, bağlamı haritalama, ölçme ve yönetme döngüsüyle ele alır. Kaynaklar onay ya da mevzuat uygunluğu yerine geçmez. Kuruluş, kendi kullanım senaryosu için kanıtı yine kendisi üretir; bu kaynaklar ona bir iskelet sunar.

Önce problemi, kullanıcıyı ve etkileneni tanımlayın#

Proje belgesine model adıyla başlamayın. İlk satıra bugün hangi işin aksadığını, aksamanın kimi etkilediğini, hatanın bugün nasıl fark edildiğini ve önerilen sistemin hangi kararı değiştireceğini yazın. Örneğin kayıp çağrıyı geri arama listesine almak ile görüntü üzerinden klinik öncelik önermek aynı proje başlığına sığmaz. Birincisi idari işi değiştirir. İkincisi bakım kararını etkileyebilir.

Kullanıcı ile etkilenen kişi de her zaman aynı değildir. Ekranı çalışan kullanır, sonucunu hasta yaşayabilir. Hastayı, klinik ekibi, günlük işi yürüten birimleri, bilgi işlemi, veri korumayı ve yönetimi gereksinim aşamasında masaya çağırın.

Başarıyı yalnız hız ya da kullanım sayısıyla ölçmeyin. Yanlış yönlendirme, gereksiz veri erişimi, insana ulaşabilme ve itiraz edebilme gibi güven ölçülerini de baştan tanımlayın.

Kullanım senaryosunu etki düzeyine göre sınırlayın#

Etkisi düşük bir başlangıç için kurumca onaylanmış idari bilgiyi bulmayı, toplantı notunu düzenlemeyi, randevu talebinin türünü etiketlemeyi ya da personele taslak metin hazırlamayı seçebilirsiniz. Model tanı, tedavi, ilaç, aciliyet veya hasta uygunluğu kararına yaklaştıkça klinik doğrulama, mevzuat değerlendirmesi ve teknik kanıt ihtiyacı artar. "Yapay zekâ asistanı" gibi belirsiz bir tanımla yola çıkmayın; izin verilen ve yasaklanan görevleri tek tek listeleyin.

Sistemin sınırını kullanıcı ekranda görsün. Modelin klinik karar vermediğini sözleşmeye yazmakla iş bitmez. Aynı sınırı istemlere, erişilen kaynaklara, araç izinlerine ve insana devir adımlarına da işleyin. Kullanıcı serbest metinle yasaklı bir talep yazdığında sistem talebi güvenli biçimde reddetsin ya da yetkili sürece yönlendirsin. Sınırın dışına çıkan sonuçları kaydedin ve ürün ekibinin incelemesine açın.

İdari iş ile klinik karar ayrımı#

Sağlıkta yapay zekâ projelerinde ilk sorulacak soru, çıktının idari bir işi mi yoksa klinik bir kararı mı etkilediğidir. İdari iş; randevu, hatırlatma, yönlendirme, belge hazırlama, faturalama veya kurum bilgisini aktarma gibi bakım kararını doğrudan değiştirmeyen işleri kapsar. Klinik karar ise tanı, tedavi, ilaç, aciliyet sınıflaması ya da hastanın hangi bakımı alacağına ilişkin seçimdir.

Ayrımı ekranda bir etiket olarak bırakmayın, sistemin uyduğu bir kural yapın. Hasta aynı mesajlaşma ekranında önce randevu saatini sorup ardından bir belirtisini anlatabilir. Sistem bu geçişi fark etsin. İdari işte kalabildiği yerde kalsın, klinik soruyu ise yetkili sağlık profesyoneline devretsin. Klinik karara yaklaşan her kullanım için doğrulama, gözetim ve mevzuat değerlendirmesi ayrıca planlanmalıdır. Dünya Sağlık Örgütü de insan özerkliğinin korunmasını, yani sağlık sistemleri ve tıbbi kararlar üzerindeki denetimin insanda kalmasını temel ilkelerden biri sayar.

Sağlıkta yapay zekâ örnekleri#

Aşağıdaki örnekler, sağlıkta yapay zekânın hangi işlerde kullanıldığını etki düzeyine göre ayırır. Liste başarı ya da doğruluk iddiası taşımaz. Her kullanımı kurumun kendi verisi ve süreciyle ayrıca değerlendirin.

İdari ve günlük iş örnekleri#

• Telefon, mesaj veya web formundan gelen randevu, iptal ve erteleme taleplerini sınıflandırmak.
• Kurumca onaylanmış çalışma saati, adres, hazırlık ve belge bilgisini hastaya aktarmak.
• Görüşme veya toplantı notundan personelin kontrol edeceği taslak özet hazırlamak.
• Gelen mesajları ilgili birime ve doğru çalışana yönlendirmek.

Klinik karara yakın örnekler#

• Radyoloji veya patoloji görüntülerinde incelemeyi önceliklendiren karar destek araçları.
• Klinik kayıtlardan risk işareti çıkaran veya erken uyarı üreten modeller.
• Hekimin onayına sunulan klinik doküman ve epikriz taslakları.

İlk gruptaki kullanımlar çoğu zaman daha dar ve geri alınabilir bir başlangıçtır. İkinci gruptaki araçlar bakım kararına yaklaştığı için klinik doğrulama, insan gözetimi, değerlendirme ve mevzuat kanıtı gerektirir. Dünya Sağlık Örgütü’nün büyük çok kipli modellere ilişkin rehberi de tanı ve klinik bakım, hasta odaklı kullanım, idari ve yazışma işleri, tıp ve hemşirelik eğitimi ile bilimsel araştırma alanlarını ayrı ayrı ele alır ve her biri için farklı riskler tanımlar.

Kuralları ve sorumluluğu tek bir teknik ekibe bırakmayın#

Her kullanım senaryosu için bir iş sahibi, bir teknik sahip, bir veri sahibi ve riski onaylayan bir yönetici belirleyin. Klinik etkisi olan projelerde karar verenlerin arasına uygun klinik uzmanı da alın. Tedarikçinin verdiği güvenlik kartı veya model raporu, kuruluşun kendi sorumluluğunu devralmaz. Kullanım kapsamını, kabul ölçütlerini, insan gözetimini, kesintide ne olacağını ve durdurma yetkisini kurum kendisi tanımlar.

Kuralları koyan kurul yalnız canlıya çıkış toplantısında görünmesin. Yeni model sürümü, bilgi tabanı değişikliği, yeni veri kaynağı, kullanım hacminde belirgin değişim ya da olay kaydı geldiğinde kullanımı yeniden değerlendirin. Kararları kullanılan sürüm, değerlendirilen kanıt, kabul edilen risk, geçici önlem ve sorumlu kişiyle birlikte kayda geçirin. Hata olduğunda ekibin hangi varsayımla ilerlediği o kayıttan anlaşılır.

Veri kaynağının uygunluğunu ve temsil gücünü sorgulayın#

Modelin çıktısını algoritma kadar veri de belirler. Eğitim, uyarlama, değerlendirme ve canlı kullanım verilerinin kaynağı sonuçları doğrudan etkiler. Kuruluş kendi verisini kullanıyorsa toplama amacını, kaliteyi, eksik alanları, etiketleme yöntemini, erişim yetkisini ve saklama süresini belgeleyin. Tedarikçi aynı ayrıntıyı her zaman paylaşmayabilir. Veri türlerini, bilinen sınırlamaları ve değerlendirme kapsamını yine de ondan isteyin.

Veri setinin büyüklüğü yeterliliği kanıtlamaz. Dil, aksan, yaş grubu, hastanın başvurduğu yol, kurum türü ve kullanılan cihaz performansı değiştirebilir. Canlı ortamda karşılaşılacak gruplar değerlendirme setinde yeterince yer almıyorsa sonuçlarını ayrıca izleyin. Az temsil edilen bir grupta belirsizliği saklamayın. Ya kullanımı daraltın ya da insan incelemesini güçlendirin.

Çıktının sözleşmesini yazın#

Yapay zekânın ne döndüreceğini, hangi biçimde döndüreceğini ve emin olmadığında ne yapacağını yazılı bir çıktı sözleşmesinde tanımlayın. Randevu talebinin türü ayrılıyorsa izin verilen etiketleri, "bilinmiyor" seçeneğini ve insana giden iş listesini baştan koyun. Sistem metin özeti üretiyorsa özet kaynak metne bağlı kalsın ve yeni klinik bilgi eklemesin. Kullanıcı doğrulamadan özet hasta kaydına kesin bilgi olarak geçmesin.

Modelin başka sistemlerde işlem yapma yetkisini ayrıca ele alın. Takvimde kayıt açmak, mesaj göndermek ya da dosyaya bilgi yazmak, düz metin üretmekten daha büyük sonuç doğurur. Araç izinlerini en az yetkiyle sınırlayın. Etkisi yüksek işlemden önce kullanıcıdan açık onay alın ve her işleme ayrı bir kimlik verip izleyin. Sistemler arası bağlantıyı kurarken dijital dönüşüm rehberi, verinin hangi sistemden hangisine gittiğini ve hata olunca ne yapılacağını birlikte planlamaya yardım eder.

İnsan gözetimini gerçek bir kontrol olarak tasarlayın#

Ekrana bir onay düğmesi koymak, insanı süreçte tutmaya yetmez. İnceleyen kişinin yeterli zamanı, uzmanlığı, kaynak veriye erişimi ve modeli reddetme yetkisi olsun. Model çıktısını sürekli doğru gören çalışan, zamanla öneriyi kontrol etmeden kabul etmeye başlayabilir. Ekranda kesinlik izlenimi veren dil ve renkler kullanmayın; belirsizliği ve dayanakları görünür yapın.

Hangi sonuçların zorunlu incelemeye gideceğini önceden yazın. Düşük güven, kaynak çelişkisi, yasaklı konu, olağandışı veri, kişinin itirazı ya da sistem arızası gibi durumlarda iş insana devredilebilir. İnceleme düzeltmeyle bitmesin. Hata türünü, bağlamı ve sonraki önlemi kalite kaydına işleyin. Personelin modele katılmama ve sistemi durdurma seçeneği ekranda açık dursun.

Değerlendirmeyi gerçek çalışma koşullarında yapın#

Ortalama yanıltabilir. Genel bir doğruluk puanı, sağlık ortamında güvenliği açıklamaya yetmez. Her kullanım senaryosu için doğru sonucu, kabul edilebilir belirsizliği ve ağır hatayı tanımlayın. Değerlendirme setine normal örneklerin yanında zor durumları da koyun: eksik kayıt, yazım hatası, çelişkili kaynak, benzer hasta adı, yoğun saat, kopan sistem bağlantısı ve kapsam dışı talep. Sonuçları alt gruplara ve hata türlerine ayırarak inceleme listesine koyun.

Test verisi canlı kullanım verisinden ayrılmalı, kişisel veriler gereksiz yere çoğaltılmamalıdır. Değerlendirme tekrarlanabilir olsun; model sürümünü, istemi, bilgi tabanını ve ayarları kaydedin. Bir sürümün toplam puanı yükselirken ağır hata içeren bir senaryoda gerilemesi mümkündür. Canlıya geçiş kararında ortalamanın yanında önceden tanımlanmış kırmızı çizgileri de hesaba katın.

Üretken yapay zekâya özgü hataları ayrı test edin#

Üretken modeller akıcı ama kaynağa dayanmayan cevaplar yazabilir. Sağlıkta düzgün yazılmış bir yanlış kolay fark edilmeyebilir. Kurumca onaylı bilgi tabanı, kaynak gösterimi, "bilmiyorum" deme seçeneği ve hassas konularda şablon yanıt bu riski azaltabilir. Sistem eksik bilgiyi tahminle tamamlamasın, eksikliği söyleyip işi insana aktarsın.

İstem enjeksiyonunu, hassas bilginin çıktıya sızmasını, kullanıcılar arasında bağlam karışmasını ve araçların amaç dışı kullanılmasını da test edin. İnternetten ya da yüklenen dosyadan gelen metni güvenilir talimat saymayın. Modelin sistem talimatı, kişisel veri veya bağlantı anahtarı gibi sırları açıklamadığı sınanmalıdır. Büyük dil modeliyle çalışan bir telefon karşılama hizmetinin maliyetini hesaplarken diş klinikleri için yapay zekâ telefon asistanı rehberi güvenlik ölçütlerini maliyetle birlikte ele alır.

KVKK ve güvenliği sonradan eklenecek katman saymayın#

Yapay zekâ projesi için hangi kişisel verinin gerçekten gerekli olduğu daha mimari çizilirken belirlenmelidir. İstem kayıtları, konuşma dökümleri, geri bildirimler ve model izleme kayıtları yeni veri varlıklarıdır. Bunların amacı, erişimi, saklama süresi ve aktarımı ana sağlık sisteminden ayrı değerlendirilebilir. Tedarikçinin veriyi kendi modelini eğitmek için kullanıp kullanamayacağını sözleşmede açıkça sınırlayın.

Servis hesapları dar yetkili olmalı, veriler aktarım ve depolama sırasında uygun şekilde korunmalı, destek erişimleri kaydedilmeli ve olay bildirim zinciri test edilmelidir. Model hizmeti veya alt işleyen yurt dışındaysa verinin gerçekte hangi ülkeye ve hangi sisteme gittiği güncel kurallara göre değerlendirilmelidir. Veri korumadaki ayrıntılı kontroller sağlık sistemlerinde KVKK uyumu rehberinde.

Tedarikçiden pazarlama iddiası değil kanıt isteyin#

Demo, sistemin seçilmiş örneklerde iyi çalışabildiğini gösterir. Kurumun kendi koşullarında güvenli çalışacağını göstermez. Tedarikçiden model ve sürüm yönetimi, bilinen sınırlamalar, veri işleme zinciri, alt işleyenler, güvenlik kontrolleri, olay geçmişini paylaşma yöntemi, kesinti planı ve çıkış süreci hakkında doğrulanabilir bilgi isteyin. Karar verirken dayandığınız değerlendirme sonuçlarının hangi veri ve senaryolarla üretildiğini öğrenin.

Sözleşme; model değişikliğini önceden bildirme, performans belirgin biçimde gerilediğinde müdahale, veriyi amaç dışı kullanmama, denetim kanıtı sağlama, olayda iş birliği ve fesih sonrası silme hükümlerini içermelidir. Kuruluş istemlerini, bilgi tabanını, kalite kayıtlarını ve gerekli çıktılarını taşınabilir biçimde geri alabilsin. Tedarikçiye bağımlılığın asıl maliyeti fiyatta görünmez. Asıl soru, hizmetten güvenle çıkıp çıkamayacağınızdır.

Denemeyi aşamalı ve geri alınabilir kurun#

İlk aşamada gölge kullanımı seçebilirsiniz. Sistem çıktı üretir ama günlük işi değiştirmez; ekip sonuçları mevcut süreçle karşılaştırır. Sonra sınırlı sayıda kullanıcı, başvuru yolu ya da görevle kontrollü bir deneme açılır. Otomatik işlem yetkisi varsa başlangıçta insan onayı korunur. Her aşamanın giriş ölçütünü, durdurma koşulunu ve eski sürece dönüş adımını yazılı hâle getirin.

Deneme sırasında yalnız olumlu örnekleri seçmeyin. İnsana devri, yanlış kaynağı, sistem kesintisini, kişinin itirazını ve hassas veri girişini düzenli olarak sınayın. Çalışan geri bildirimini serbest yorum yerine hata türlerine göre toplayın. Hastaların anlayacağı bilgilendirme ve insan desteğine erişim deneme boyunca da sürsün. Kullanımı genişletme kararını ekibin heyecanı belirlemesin; kabul ölçütlerinin her ölçümde karşılandığını gösteren kanıt belirlesin.

Canlı izleme, değişiklik ve olay yönetimini birleştirin#

Canlıya çıkan model sabit kalmaz. Veri dağılımı, kullanıcı davranışı, bilgi tabanı ve tedarikçi sürümü değişebilir. Kalite ölçülerini kullanım senaryosuna göre izleyin. "Bilinmiyor" yanıtlarını, insana devirleri, kullanıcı düzeltmelerini, yasaklı çıktıları, sistem bağlantısı hatalarını ve belirli gruplardaki performans sapmalarını birlikte değerlendirin. İzleme verisine de veriyi en aza indirme ve erişim kontrolü kurallarını uygulayın.

Ağır bir hata görüldüğünde tek çıktıyı düzeltmek yetmez. Etkilenen kayıtları, model ve istem sürümünü, benzer senaryoları, yapılan insan işlemlerini ve bilgi verilecek tarafları belirleyin. Gerekirse özelliği kapatın ya da yalnız öneri veren moda alın. Aynı türden hata yeniden test edilmeden kapsamı açmayın. Olay sürecini genel dijital dönüşüm rehberi içindeki değişiklik yönetimiyle birlikte yürütebilirsiniz.

Sağlıkta yapay zekâ canlıya geçiş kontrolü#

Karar toplantısında en az şu sorulara kanıtlı yanıt verin:

• Kullanım amacı, kullanıcı, etkilenen kişi ve yasaklı görevler açık mı?
• Veri kaynakları, sınırlamalar ve temsil boşlukları belgelendi mi?
• Çıktı sözleşmesi, insan devri ve işlem yetkileri test edildi mi?
• Ağır hata sınırları ile durdurma yetkisi tanımlandı mı?
• KVKK, güvenlik, tedarikçi ve aktarım kontrolleri tamamlandı mı?
• Model, istem ve bilgi tabanı değişiklikleri sürümleniyor mu?
• Canlı izleme, olay müdahalesi ve geri dönüş planı çalışıyor mu?

Sorulardan biri belirsiz kalırsa kapsamı daraltabilir, ek kontrol koyabilir ya da canlıya geçişi erteleyebilirsiniz. Güvenli uygulama riski sıfırlamaz. Riski görünür, sahibi belli ve yönetilebilir kılar.

Sonuç: Değer, sınırları yönetebildiğiniz yerde oluşur#

Sağlıkta yapay zekâ devrimi tek bir model satın almakla gerçekleşmez. Kalıcı değer doğru problemi seçmekten, klinik ile idari sınırı korumaktan, verinin uygun olduğunu göstermekten, karar yetkisini gerçekten insanda tutmaktan ve sistemi canlıda kurallarıyla birlikte izleyip düzeltmekten doğar. Küçük, ölçülebilir ve geri alınabilir adımlar, kurumun faydayı da hatayı da erken görmesini sağlar.

En iyi sistem her soruya cevap vermez. Ne zaman duracağını bilir ve işi doğru kişiye devreder.

Aynı ilkelerin hasta iletişimindeki karşılığını sağlık kurumları için AI Agent platformu AgentFix sayfasında görebilirsiniz.