イチゼロエフエム

先日(2025年10月19日)に発生したAWSの障害について、公式からのサマリの記事を見ながら勝手に胃を痛める回です。
Summary of the Amazon DynamoDB Service Disruption in Northern Virginia (US-EAST-1) Region
Amazon DynamoDB Global Tables
Jeff Dean on X: "I was very pleased to learn on Monday that The Tail at Scale paper (https://t.co/59qOUnEJBD) thatl my dear colleague @labarroso and I wrote in 2013 was selected for the SIGOPS Hall of Fame award
The Tail at Scale
Chapters:(00:00) Opening(01:42) Summary of the Amazon DynamoDB Service Disruption in US-EAST-1 Region(14:55) EC2サービスへの影響(20:00) NLBサービスへの影響(22:19) 再発防止策(26:56) 形式検証の限界?(32:41) The tail at Scale 殿堂入り

The Software Internalsというdiscordで紹介されていたLogless RaftというRaftのvariantを提案する記事を読みつつ、ディスクレスな合意アルゴリズムやmulti-Paxosについて雑談しました。
Logless Raft
Disk Paxos
EPaxos
Viewstamped Replication Revisited
[2405.11183] MultiPaxos Made Complete
Paxos Made Moderately Complex
Extended Raft algorithm with witness support · Issue #133 · etcd-io/raft
Chapters:(00:00) Opening(02:17) Logless Raft(15:05) Disklessな合意アルゴリズム(26:14) multi-Paxos(34:37) Witness

Chroma DBというAIワークロード用途のデータベースがObject Storageを使ったWrite-Ahead Logを実装したという話題を取り上げました。後半はMetaが提唱したOpenZLという圧縮フレームワークについて雑談しています。
wal3: A Write-Ahead Log for Chroma, Build on Object Storage
setsum - crates.io: Rust Package Registry
Introducing OpenZL: An Open Source Format-Aware Compression Framework - Engineering at Meta
Zstandard - Real-time data compression algorithm
Chapters:(00:00) 1周年でした(02:21) wal3: A Write-Ahead Log for Chroma, Build on Object Storage(12:06) setsum(26:22) OpenZL(35:29) Ending

久しぶりにプログラミング言語について話そうということで、IEEE Spectrumが出しているプログラミング言語ランキングを見ながら雑談しました。後半は最近リリースされたJava 25についてさらっと紹介しています。
The Top Programming Languages 2025 - IEEE Spectrum 
Java 25新機能まとめ - Qiita
Java 25 / JDK 25: General Availability
Chapters:(00:00) Opening(01:27) The Top Programming Languages 2025(22:04) Java 25(36:33) Ending

DataDogのバックエンドを支えるtimeseries storageについて解説したブログ記事を肴に雑談しました。
Evolving our real-time timeseries storage again: Built in Rust for performance at scale | Datadog
About RRDtool
Computing accurate percentiles with DDSketch | Datadog
GitHub - influxdata/influxdb: Scalable datastore for metrics, events, and real-time analytics 
Gorilla: A Fast, Scalable, In-Memory Time Series Database
Chapters:(00:00) 近況(02:53) DataDogのtimeseries storage(12:37) 第3世代 mmapを使う(14:36) 第4世代 GoでBtreeを作る(19:36) 第6世代 Rustで統一(27:05) 最近のTimeseries DB事情(28:52) 総括(32:25) Ending

Katoさんが書いた同タイトルのブログ記事について即興で説明してもらいつつMetaの裏側のシステムに思いを馳せています。
Meta における分散キャッシュの一貫性保証
Skybridge: Bounded Staleness for Distributed Caches | USENIX
FlightTracker: Consistency across Read-Optimized Online Stores at Facebook | USENIX
Chapters:(00:00) Opening(04:13) Metaにおける分散キャッシュの一貫性保証(10:18) 一貫性レベルの変遷(14:30) Bounded Staleness(25:39) Metaのバックエンドについての妄想(35:22) Ending

VLDB2025からLAW theorem論文について雑に語っています。
The LAW theorem: Local Reads and Linearizable Asynchronous Replication
L2AW theorem
Hermes
TiDBのLease Readの解説ブログ
https://www.pingcap.com/blog/lease-read/
YugabyteDBのLow Latency Readsの解説ブログ
https://www.yugabyte.com/blog/low-latency-reads-in-geo-distributed-sql-with-raft-leader-leases/
Chapters:(00:00) Opening(02:51) The L2AW theorem概要(14:13) Replicatoin Protocolの分類(23:17) 定理の証明(33:40) Almost Local Reads

いつにもましてまったりな雑談回です。KatoさんがついにNASを買った話と、スマートホームの話をしました。
Katoさんが買ったNAS
UGREEN NASync DXP4800 Plus
LinkJapanHEMSハブHEMS機器をアプリに簡単接続
SwitchBot
Nature Remo
Chapters:(00:00) Opening(01:43) NASを買いました(05:45) dockerが動くNAS(08:48) cloudサービス化するNAS(15:19) ホームアシスタント(18:15) 太陽光発電とスマートホーム(25:59) Ending

TiDBのMonitoringに使われているPrometheusをVictoriaMetricsに置き換えてOutOfMemoryを解決した話やAWSが100KノードのKubernetesクラスタを達成した件について雑談しました。Kubernetes v1.34で導入されるYAMLのサブセットであるKYAMLについても話題にしています。
TiDB Observability: Moving from Prometheus to VictoriaMetrics 
Under the hood: Amazon EKS ultra scale clusters
関連するGCPの記事 Google Kubernetes Engine supports 65,000-node clusters
GCPについて雑談している過去回 https://www.ichizerofm.tech/e/10-s3-supports-append-and-conditional-writes-redis-has-adopted-fast_float-gke-supports-65k-node-clusters/
Kubernetes v1.34 Sneak Peek
Chapters:(00:00) Opening(03:17) TiDB Observability: Moving from Prometheus to VictoriaMetrics(12:29) Under the hood: Amazon EKS ultra scale clusters(21:41) Kubernetes v1.34 Sneak Peek

KubernetesのControllerの安全性を検証するAnvilというframeworkについて話しました。後半はAsterinasというRustで書かれたLinux ABI互換のOSを紹介しています。
Anvil: Verifying Liveness of Cluster Management Controllers
https://github.com/anvil-verifier/anvil
Verus
Asterinas
Chapters:(00:00) Opening(04:28) Anvil: Verifying Liveness of Cluster Management Controllers(24:36) Asterinas: A New OS written in Rust(34:35) Ending