<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Nov 22, 2021 at 10:35 PM Dave Taht <<a href="mailto:dave.taht@gmail.com">dave.taht@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">In the last two weeks I have found two dramatically underbuffered Gbit<br>
fiber networks.<br>
<br>
This one appears to have about a 400 full size packet uplink buffer (5ms)[1]<br>
<br>
<a href="https://imgur.com/a/Bm9hdNf" rel="noreferrer" target="_blank">https://imgur.com/a/Bm9hdNf</a><br>
<br>
It was pretty remarkable to see how well multiple tcp flows still<br>
achieved close to the full rate with such a small fixed size queue,<br>
eventually.<br>
<br>
A single bbr flow can't crack 150mbits: <a href="https://imgur.com/a/DpydL5K" rel="noreferrer" target="_blank">https://imgur.com/a/DpydL5K</a>.<br></blockquote><div><br></div><div>Thanks, Dave. The single-flow BBR upload case is interesting.</div><div><br></div><div>I took a look at the packet traces in the later thread:</div><div>  <a href="https://www.reddit.com/r/eero/comments/qxbkcl/66_is_out/hltlep0/">https://www.reddit.com/r/eero/comments/qxbkcl/66_is_out/hltlep0/</a></div><div><br></div><div>For the single-flow BBR case it seems that....</div><div><br></div><div>(1) the BBR(v1) flow is running into a 300 Mbps bottleneck rate (visible in the slope of the green ACK line in the zoomed-in trace, attached).</div><div><br></div><div>(2) the BBR(v1) flow is achieving an average rate a bit above 150 Mbps because it repeatedly runs into receive window limits (the yellow line in the zoomed-out trace, attached). The frequent receive window limits mean that the flow spends a lot of time unable to send anything, thus leading to lower average throughput.</div><div><br></div><div>cheers,</div><div>neal</div><div><br></div></div></div>