X (eski adıyla Twitter) uygulamasını açıp parmağınızı aşağı kaydırarak “Sana Özel” (For You) akışını her yenilediğinizde, arka planda devasa bir dağıtık sistem boru hattı uyanır. Yaklaşık 1.500 milisaniye (1.5 saniye) gibi inanılmaz bir sürede, günlük 500 milyonluk aktif gönderi havuzu taranır ve istemcinizin ekranına 50 ila 100 parçalık kişiselleştirilmiş bir akış teslim edilir.
Yıllar boyunca bu öneri motorunun iç mekanizmaları adeta şehir efsaneleriyle örtülüydü: Link paylaşmak erişimi düşürür mü? Mavi tik gerçekten algoritmik bir ayrıcalık mı? Hayatınızda hiç duymadığınız bir hesaptan gelen rastgele bir tweet nasıl oluyor da 30.000 beğeniyle akışınızın en tepesine oturabiliyor?
Bu sorulara kulaktan dolma varsayımlarla değil, doğrudan kaynak kodu üzerinden kesin cevaplar vermek için sabahın erken saatlerinde X’in resmi açık kaynak deposunu (twitter/the-algorithm) masaya yatırdık. Finagle ve Product Mixer istek grafiklerini, Scala boru hattı konfigürasyonlarını, navi içindeki Rust tabanlı makine öğrenimi çıkarım motorunu ve Tweepcred ile RerankerUtil içindeki saf matematiksel formülleri satır satır inceledik.
İşte dünyanın en etkili kamusal meydanının gerçekliğinizi nasıl kurguladığının teknik anatomisi.
1. 4 Aşamalı Huni: 500 Milyondan 50 Gönderiye
Sistemin omurgası, Twitter’ın Finatra ve Finagle üzerinde geliştirdiği Product Mixer çatısı etrafında şekillenir. 500 milyon tweetin tamamını tek bir devasa yapay zeka modeline sokmak milisaniyelik gecikme sınırları içinde imkansızdır. Bu yüzden sistem, adayları 4 aşamalı bir filtreden geçirir:
[Günlük 500.000.000 Küresel Tweet]
│
▼ 1. Aşama: Aday Kaynağı (~%50 Takip Edilen / ~%50 Yabancılar)
[~1.500 Aday Tweet]
│
▼ 2. Aşama: Hızlı Ön Filtreleme (Engeller, Sessize Almalar, Yinelenenler)
[~1.000 Aday Tweet]
│
▼ 3. Aşama: Ağır Sıralayıcı (Navi / MaskNet Derin Sinir Ağı)
[Çok Başlıklı Olasılık Puanları]
│
▼ 4. Aşama: Akış Karıştırma ve Cila (Yazar Çeşitliliği, Yorgunluk, FOSNR, Reklam)
[Ekrana Çizilen Son 50–100 Tweet]Bu sürecin orkestrasyon noktası ForYouMixerPipelineConfig.scala dosyasıdır. Bu sınıfın görevi metinleri doğrudan puanlamak değil; yukarı akıştaki aday hatlarını paralel olarak tetiklemek, Stitch ve Finagle Future yapılarıyla sonuçları birleştirmek, filtreleri uygulamak ve veriyi URT (Unified Rich Timeline) protokolüne dönüştürmektir.
2. %50/%50 Dengesi: Arkadaşlar ve Yabancılar
Akışınız katı bir dengeye oturur: Yaklaşık %50 Ağ-İçi (In-Network) (takip ettiğiniz hesaplar) ve %50 Ağ-Dışı (Out-of-Network) (takip etmediğiniz yabancı hesaplar). Bu iki dünya tamamen zıt altyapılar üzerinden toplanır.
Ağ-İçi Adaylar: Earlybird ve UTEG
Bir hesabı takip ettiğinizde, gönderileri küresel keşif algoritmalarına ihtiyaç duymaz. Bu tweetler, Twitter’ın Lucene tabanlı dağıtık arama kümesi olan Earlybird tarafından gerçek zamanlı olarak indekslenir. Eş zamanlı olarak C++/Java tabanlı GraphJet motoru üzerinde çalışan UTEG (User Tweet Entity Graph), bellek içi iki parçalı etkileşim tablolarını günceller. Takip ettiğiniz biri tweet attığında Earlybird bunu milisaniyeler içinde bulur ve güncellik ile geçmiş etkileşimi temel alan hafif bir modelle ön sıralamaya sokar.
Ağ-Dışı Adaylar: CR-Mixer
Yüz milyonlarca gönderi arasından sizinle rezonansa girecek yabancıları bulmak ise cr-mixer (Content Recommendation Mixer) servisinin işidir. Metin araması yapmak yerine CR-Mixer şu 3 alt motordan veri toplar:
- Follow Recommendations Service (FRS): Sizinle benzer grafik imzasına sahip kullanıcıların takip ettiği üreticileri tespit eder ve onların en popüler son gönderilerini çeker.
- RealGraph: Platformdaki herhangi iki kullanıcı arasındaki ikili etkileşim olasılığını tahmin eden, çevrimdışı eğitilmiş bir modeldir.
- SimClusters: İçerik sınıflandırmasının matematiksel omurgası.
3. SimClusters: Manuel Etiketsiz 145.000 Topluluk
X, içeriklerin ne hakkında olduğunu anlamak için insan editörlere, kategori listelerine veya basit hashtag’lere güvenmez. Bunun yerine iki parçalı takip grafiklerini kümeleyen SimClusters (src/scala/com/twitter/simclusters_v2) algoritmasını kullanır.
- 20 Milyonluk Üretici Matrisi: Platformda en çok takip edilen ilk 20 milyon hesap (Üreticiler) alınır ve bu hesapları takip eden kullanıcıların (Tüketiciler) kesişiminden devasa bir kosinüs benzerlik grafiği çıkarılır.
- Metropolis-Hastings Kümelemesi: Bu üretici benzerlik grafiği üzerinde MCMC (Markov Chain Monte Carlo) topluluk tespiti çalıştırılarak yaklaşık 145.000 örtüşen mikro-topluluk keşfedilir (örneğin Rust sistem programcıları, Süper Lig analistleri, üretken yapay zeka araştırmacıları).
- Kullanıcının
InterestedInVektörü: Birilerini takip ettikçe, profiliniz bu 145.000 boyuta dağılan seyrek bir vektöre dönüştürülür ve uzun vadeli ilgi alanlarınız modellenir. - Gerçek Zamanlı Tweet Vektörleşmesi: Yeni bir tweet atıldığında vektörü boştur. Herhangi bir kullanıcı bu tweeti beğendiğinde veya retweet ettiğinde, o kullanıcının
InterestedInvektörü tweetin vektörüne eklenir (Heron gerçek zamanlı akış işleriyle).
Eğer otonom yapay zeka ajanları kümesinde ağırlığı yüksek 100 mühendis yeni atılmış bir tweeti beğenirse, o tweet anında ilgili topluluğun odak noktası haline gelir. Algoritma bu tweeti, yazarını hiç tanımayan aynı kümedeki diğer kullanıcılara doğrudan servis edebilir.
4. Tweepcred: Algoritmik Kredi Notu ve Takipçi Tuzağı
X ekosistemindeki her hesabın, Tweepcred (com.twitter.graph.batch.job.tweepcred) tarafından hesaplanan 0 ile 100 arasında bir itibar puanı vardır. Tweepcred, etkileşim grafiği (bahsetmeler, retweetler, yanıtlar ve takipler) üzerinde çalışan ağırlıklı bir PageRank algoritmasıdır.
Tweepcred notu 85 olan bir hesabın tweetinizi beğenmesi, notu 20 olan bir hesaba kıyasla aday sıralamasında kat kat daha büyük bir ağırlık transferi sağlar.
Takip Kasıp Büyüme Tuzağı (Follow-Churn)
Birçok hesap, takipçi kasmak için binlerce hesabı takibe alıp geri takip bekler. Ancak Reputation.scala içinde bu taktiği yerle bir eden matematiksel bir tuzak bulunmaktadır:
def adjustReputationsPostCalculation(mass: Double, numFollowers: Int, numFollowings: Int) = {
if (numFollowings > threshAbsNumFriendsReps) {
val friendsToFollowersRatio = (1.0 + numFollowings) / (1.0 + numFollowers)
val divFactor =
scala.math.exp(
constantDivisionFactorGt_threshFriendsToFollowersRatioReps *
(friendsToFollowersRatio - threshFriendsToFollowersRatioUMass) *
scala.math.log(scala.math.log(numFollowings))
)
mass / ((divFactor min maxDivFactorReps) max 1.0)
} else {
mass
}
}Üretim ortamı sabitlerine baktığımızda:
threshAbsNumFriendsReps = 2500constantDivisionFactorGt_threshFriendsToFollowersRatioReps = 3.0threshFriendsToFollowersRatioUMass = 0.6maxDivFactorReps = 50
Eğer bir hesap 2.500’den fazla kişiyi takip ediyorsa, algoritma takip edilen/takipçi oranını (friendsToFollowersRatio) denetler. Takip ettiğiniz kişi sayısı sizi takip edenlerden bariz şekilde fazlaysa, ham PageRank itibarınız 50 kata kadar çıkabilen üstel bir bölene (divFactor) maruz kalır. Bu bölene takılan bir hesabın gönderileri aday havuzlarında görünmez hale gelir.
5. Ağır Sıralayıcı (Heavy Ranker): 15 Farklı İnsan Reaksiyonu
Toplanan ~1.500 aday, Rust ile yazılmış ve TensorFlow/ONNX çalışma zamanlarıyla uyumlu yüksek performanslı model sunucusu Navi’ye iletilir.
Ağır Sıralayıcı soyut bir “kalite” puanı üretmez. PredictedScoreFeature.scala içinde tanımlandığı gibi, çok görevli bir derin sinir ağı (MaskNet) 15’ten fazla ayrık kullanıcı eyleminin olasılığını tahmin eder:
$$\hat{y} = \left[ P(\text{beğeni}), P(\text{retweet}), P(\text{yanıt}), P(\text{video_izleme}), P(\text{duraklama}), P(\text{olumsuz_bildirim}) \dots \right]$$
RerankerUtil.scala içerisinde bu olasılıklar ağırlıklandırılarak nihai puana dönüştürülür:
$$\text{Puan} = \sum_{i} w_i \cdot P(\text{eylem}_i)$$
Etkileşim Ağırlıkları Hiyerarşisi
HomeGlobalParams.scala içindeki parametrelere baktığımızda:
- Beğeniler (
fav) ve Retweetler (retweet): Standart pozitif ivmeyi sağlar. - Okuma Duraklaması (
dwell) ve Video Kalite İzlemesi (vqv): Bir videoyu $\ge 10$ saniye izlemek veya bir metni okumak için akışı duraklatmak güçlü pozitif puanlar ekler. - Altın Çarpan:
reply_engaged_by_author: Bir tweetin altına yorum yapılması tek başına orta düzeyde bir puandır. Ancak yazar o yoruma geri yanıt verirse,reply_engaged_by_authorbaşlığı tetiklenir. Bu, tüm sistemdeki en yüksek pozitif ağırlıklardan biridir. Algoritma, gönderinin tek taraflı bir monolog değil, gerçek iki taraflı bir diyalog başlattığını tesciller. - Olumsuz Geri Bildirim (
negative_feedback_v2) ve Şikayet (report): Devasa negatif katsayılarla tüm pozitif puanları anında sıfırlar.
6. Mavi Tik Ayrıcalığı: Sosyal Bağlam Filtresi
Açık kaynak depoda en çok yankı uyandıran kod bloklarından biri SocialContextFilter.scala içinde yer alır:
val validTweetIds = candidates
.filter { candidate =>
candidate.features.getOrElse(InNetworkFeature, true) ||
candidate.features.getOrElse(SuggestTypeFeature, None).exists(AllowedSources.contains) ||
candidate.features.getOrElse(ConversationModuleFocalTweetIdFeature, None).isDefined ||
(enableIsVerifiedAuthorFilter && isVerifiedAuthor(candidate.features)) ||
hasLikedBySocialContext(candidate.features) ||
hasFollowedBySocialContext(candidate.features) ||
(enableTopicSocialContextFilter && hasTopicSocialContext(candidate.features))
}.map(_.candidate.id).toSetBunun sahadaki anlamı şudur:
- Eğer bir tweet Ağ-Dışı ise ve yazarı onaysız (mavi tiksiz) bir hesap ise, takip ettiğiniz birinin o tweeti beğenmiş olması veya tweetin belirli bir konu bağına sahip olması şarttır (Sosyal Kanıt).
- Ancak yazar onaylı bir hesapsa (
AuthorIsBlueVerifiedFeature,AuthorIsGoldVerifiedFeatureveyaAuthorIsGrayVerifiedFeature), tüm sosyal kanıt zorunlulukları baypas edilir.
Mavi tik sadece görsel bir rozet değildir; tweetlerin hiçbir ortak takipçi köprüsüne ihtiyaç duymadan doğrudan yabancıların akışlarına sızmasını sağlayan algoritmik bir pasaporttur.
7. Akış Çeşitliliği ve 140 Günlük Yorgunluk Hafızası
Ağır Sıralayıcıdan en yüksek puanı alan bir tweet bile doğrudan akışa giremez. Önünde son derece katı çeşitlilik ve yorgunluk bariyerleri vardır.
A. Yazar Çeşitliliği Üstel Sönümlemesi
Bir hesap yarım saat içinde 10 tweet atarsa akışı işgal edebilir mi? Hayır. AuthorBasedListwiseRescoringProvider.scala içinde, aynı yazara ait birden fazla tweet sıralandığında pozisyona dayalı üstel bir sönümleme devreye girer:
$$\text{Çarpan}(\text{indeks}) = (1 - \text{taban}) \cdot \text{sönümlemeFaktörü}^{\text{indeks}} + \text{taban}$$
İlk tweet puanını %100 korurken, aynı yazardan gelen 2. tweet ciddi oranda kırpılır; 3. ve 4. tweetler taban puana kadar düşürülür. Seri tweet patlamaları (tweetstorm) yazarın kendi erişimini baltalar.
B. Geri Bildirim Yorgunluğu: 140 Günlük Algoritmik Kin
FeedbackFatigueScorer.scala dosyasında bir kullanıcının “Daha az göster” (SeeFewer) butonuna basmasının bedeli yer alır:
val DurationForDiscounting = 140.days
private val ScoreMultiplierLowerBound = 0.2
private val ScoreMultiplierUpperBound = 1.0
private val ScoreMultiplierIncrementsCount = 4Bir kullanıcı bir yazara olumsuz geri bildirim verdiğinde:
- O yazarın puanı hemen 0.2’ye düşürülür (%80 ceza).
- Bu cezanın ömrü tam 140 gündür (~4.5 ay).
- Puan, 35 günlük 4 kademede ancak yavaş yavaş toparlanır.
“İlgilenmiyorum” butonuna basılması, o yazarı söz konusu kullanıcının cihazında çeyrek yıl boyunca neredeyse tamamen sessize alır.
C. Ağ-Dışı İndirimi
OONTweetScalingScorer.scala dosyasında ağ dışı gönderilere doğrudan şu çarpan uygulanır:
private val ScaleFactor = 0.75Takip etmediğiniz yabancılardan gelen tweetler, takip ettiğiniz dostlarınızın tweetlerine karşı otomatik olarak %25 handikapla yarışır.
8. İfade Özgürlüğü, Erişim Değil: Görünürlük Kütüphanesi
Son katman, “Freedom of Speech, Not Reach” ilkesini uygulayan visibilitylib motorudur (FreedomOfSpeechNotReach.scala).
İçerikleri doğrudan silmek veya hesapları toptan kapatmak yerine platform kademeli bir müdahale uygular:
- Kaba İndirme (Coarse-Grained Downranking): Tweet yazarın profilinde ve doğrudan bağlantısında durur ama öneri puanı sıfırlandığı için “Sana Özel” akışına asla düşemez.
- Uyarı Ekranları (Interstitials): Tweetin üzeri “Bu gönderi kuralları ihlal ediyor olabilir” uyarısıyla kapatılır ve tıklamadan okunamaz.
- Eylem Kısıtlamaları (Limited Actions): Tweetin beğeni, retweet veya yanıt butonları programatik olarak kilitlenir.
- Reklam Güvenliği: Hassas veya toksik içeriklerin yanına reklam yerleştirilmesi engellenir.
9. Mühendislik Çıkarımları: Algoritmayla Uyumlu Çalışmak
X’in kaynak kodunu okumak, sosyal medya efsaneleri ile somut gerçekliği net biçimde ayırır:
- Yayıncılık Değil Diyalog:
reply_engaged_by_authorsinyali en güçlü pozitif çarpanlardan biridir. Gelen yorumlara içtenlikle yanıt veren hesaplar algoritmik ivme kazanır. - Takipçi Oranını Koruyun: 2.500 takip eşiğini aştıktan sonra takipçi/takip edilen dengesini bozmak,
Reputation.scalaiçindeki 50 kata varan PageRank cezasına toslamak demektir. - Zamanlama Frekanstan Üstündür: Arka arkaya tweet patlatmak
AuthorBasedListwiseRescoringProvidercezasını tetikler; gönderileri zamana yaymak gerekir. - Olumsuz Geri Bildirim Ölümdür: 140 gün süren %80’lik indirim, insanları “Daha az göster”e basmaya kışkırtacak ucuz öfke tuzaklarının uzun vadede intihar olduğunu gösterir.
- Duraklama ve Yerel Video Arbitrajı: $\ge 10$ saniyelik video izlemeleri (
vqv) ve okuma duraklamaları (dwell), kısa metinlerin tek başına üretemeyeceği istikrarlı ek puanlar yaratır.
Kamusal akışın gürültülü kaosunun altında, son derece disiplinli, soğukkanlı ve saf matematiğe dayalı bir dağıtık motor çalışıyor. Fikirleri yargılamıyor; grafikleri kesiştiriyor, Rust motorlarında tensörleri çarpıyor, çeşitliliği dengeliyor ve insan arzusunu 145.000 boyutlu bir uzayda yeniden kurguluyor.