Gọi O, O', I lần lượt là tâm đường tròn có bán kính bằng 4, 2, r. Gọi B, C lần lượt là tiếp điểm của (O) và (O') với d. Hạ IH, IK, IJ lần lượt vuông góc với OB, O'C, d tại H, K, J. CK cắt (O') tại A.

Dễ dàng tính được \(OI=4+r;\) \(O'I=2+r\)\(16r+16r\sqrt{2}+8r=32\)

Lại có \(BH=IJ=CK=r\) nên \(OH=OB-BH=4-r;\) \(O'K=O'C-CK=2-r\)

Tam giác OHI vuông tại H nên \(IH=\sqrt{OI^2-OH^2}=\sqrt{\left(4+r\right)^2-\left(4-r\right)^2}=4\sqrt{r}\)

Tam giác O'KI vuông tại K nên \(IK=\sqrt{O'I^2-O'K^2}=\sqrt{\left(2+r\right)^2-\left(2-r\right)^2}=2\sqrt{2r}\)

Từ đó \(HK=IH+IK=4\sqrt{r}+2\sqrt{2r}\)

Mặt khác, dễ dàng tính được \(OO'=6\)

Ta có \(AC=2O'C=2.2=4\) mà \(OB=4\) nên \(AC=OB\), lại có \(AC//OB\) nên tứ giác OACB là hình bình hành. Mà \(\widehat{OBC}=90^o\) nên tứ giác OACB là hình chữ nhật \(\Rightarrow OA=BC\). Dễ dàng chứng minh tứ giác BCKH là hình chữ nhật \(\Rightarrow BC=HK\). Do đó, \(OA=HK\left(=BC\right)\)

Mà \(HK=4\sqrt{r}+2\sqrt{2r}\) nên \(OA=4\sqrt{r}+2\sqrt{2r}\)

Tam giác OO'A vuông tại A nên \(OO'^2=OA^2+O'A^2\) \(\Rightarrow6^2=\left(4\sqrt{r}+2\sqrt{2r}\right)^2+2^2\)\(\Leftrightarrow16r+16r\sqrt{2}+8r=32\)\(\Leftrightarrow\left(24+16\sqrt{2}\right)r=32\)\(\Leftrightarrow r=\dfrac{32}{24+16\sqrt{2}}=12-8\sqrt{2}\approx0,686\)

Vậy \(r=12-8\sqrt{2}\) hay \(r\approx0,686\)