<font face="arial" size="3"><p style="margin:0;padding:0;font-family: arial; font-size: 12pt; overflow-wrap: break-word;">Having asymmetric gigabit cable modem service (1 Gb/s down) and very short latencies (5 ms.) to many servers of interest that can source 1 Gb/s), I would just comment that I find it very, very useful for "normal" use.</p>
<p style="margin:0;padding:0;font-family: arial; font-size: 12pt; overflow-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: arial; font-size: 12pt; overflow-wrap: break-word;">Perhaps my point is this: "normal" isn't a narrow gaussian distribution of performance needs. It's what might be called a time-varying long tailed distribution.</p>
<p style="margin:0;padding:0;font-family: arial; font-size: 12pt; overflow-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: arial; font-size: 12pt; overflow-wrap: break-word;">I pay for 1 gb/sec because it is "worth it" to download from, say, github cloning or a docker container image in under 1 second.</p>
<p style="margin:0;padding:0;font-family: arial; font-size: 12pt; overflow-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: arial; font-size: 12pt; overflow-wrap: break-word;">To think that isn't valuable is to miss the point that the Internet's performance isn't about isochronous flows or slow FTPs - it's not about throughput. It's about service delay.</p>
<p style="margin:0;padding:0;font-family: arial; font-size: 12pt; overflow-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: arial; font-size: 12pt; overflow-wrap: break-word;">And congestion control is about mitigating service delays under load, by eliminating sustained queueing delays that build up due to multiplexed use otherwise.</p>
<p style="margin:0;padding:0;font-family: arial; font-size: 12pt; overflow-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: arial; font-size: 12pt; overflow-wrap: break-word;">To talk about one use at a time, and treat an average throughput as the goal metric is to miss the entire point.</p>
<p style="margin:0;padding:0;font-family: arial; font-size: 12pt; overflow-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: arial; font-size: 12pt; overflow-wrap: break-word;">A home access connection is frequently multiplexed over unrelated uses. If you are single, live in your own apartment, ... you have a very, very warped idea of real usage.</p>
<p style="margin:0;padding:0;font-family: arial; font-size: 12pt; overflow-wrap: break-word;">On Wednesday, April 22, 2020 11:28am, "Luca Muscariello" <muscariello@ieee.org> said:<br /><br /></p>
<div id="SafeStyles1587576870">
<div dir="ltr">
<div dir="ltr"></div>
<br />
<div class="gmail_quote">
<div class="gmail_attr" dir="ltr">On Wed, Apr 22, 2020 at 4:48 PM Dave Taht <<a href="mailto:dave.taht@gmail.com" target="_blank">dave.taht@gmail.com</a>> wrote:</div>
<blockquote class="gmail_quote" style="margin: 0px 0px 0px 0.8ex; border-left: 1px solid #cccccc; padding-left: 1ex;">On Wed, Apr 22, 2020 at 2:04 AM Luca Muscariello <<a href="mailto:muscariello@ieee.org" target="_blank">muscariello@ieee.org</a>> wrote:<br /> ><br /> ><br /> ><br /> > On Wed, Apr 22, 2020 at 12:44 AM Dave Taht <<a href="mailto:dave.taht@gmail.com" target="_blank">dave.taht@gmail.com</a>> wrote:<br /> >><br /> >> On Tue, Apr 21, 2020 at 3:33 PM Jonathan Morton <<a href="mailto:chromatix99@gmail.com" target="_blank">chromatix99@gmail.com</a>> wrote:<br /> >> ><br /> >> > > On 22 Apr, 2020, at 1:25 am, Thibaut <<a href="mailto:hacks@slashdirt.org" target="_blank">hacks@slashdirt.org</a>> wrote:<br /> >> > ><br /> >> > > My curiosity is piqued. Can you elaborate on this? What does <a rel="noreferrer" href="http://free.fr" target="_blank">free.fr</a> do?<br /> >> ><br /> >> > They're a large French ISP.  They made their own CPE devices, and debloated both them and their network quite a while ago.  In that sense, at least, they're a model for others to follow - but few have.<br /> >> ><br /> >> >  - Jonathan Morton<br /> >><br /> >> they are one of the few ISPs that insisted on getting full source code<br /> >> to their DSL stack, and retained the chops to be able to modify it. I<br /> >> really admire their revolution v6 product. First introduced in 2010,<br /> >> it's been continuously updated, did ipv6 at the outset, got fq_codel<br /> >> when it first came out, and they update the kernel regularly. All<br /> >> kinds of great features on it, and ecn is enabled by default for those<br /> >> also (things like samba). over 3 million boxes now I hear....<br /> >><br /> >> with <1ms of delay in the dsl driver, they don't need to shape, they<br /> >> just run at line rate using three tiers of DRR that look a lot like<br /> >> cake. They shared their config with me, and before I lost heart for<br /> >> future internet drafts, I'd stuck it here:<br /> >><br /> >> <a rel="noreferrer" href="https://github.com/dtaht/bufferbloat-rfcs/blob/master/home_gateway_queue_management/middle.mkd" target="_blank">https://github.com/dtaht/bufferbloat-rfcs/blob/master/home_gateway_queue_management/middle.mkd</a><br /> >><br /> >> Occasionally they share some data with me. Sometimes I wish I lived in<br /> >> paris just so I could have good internet! (their fiber offering is<br /> >> reasonably buffered (not fq_codeled) and the wifi... maybe I can get<br /> >> them to talk about what they did)<br /> >><br /> >> When <a rel="noreferrer" href="http://free.fr" target="_blank">free.fr</a> shipped fq_codel 2 months after we finalized it, I<br /> >> figured the rest of the world was only months behind. How hard is it<br /> >> to add 50 lines of BQL oriented code to a DSL firmware?<br /> >><br /> ><br /> > Free has been using SFQ since 2005 (if I remember well).<br /> > They announced the wide deployment of SFQ in the <a rel="noreferrer" href="http://free.fr" target="_blank">free.fr</a> newsgroup.<br /> > Wi-Fi in the <a rel="noreferrer" href="http://free.fr" target="_blank">free.fr</a> router was not as good though.<br /><br /> They're working on it. :)<br /><br /> > In Paris there is a lot of GPON now that is replacing DSL. But there is<br /> > a nation-wide effort funded by local administrations to get fiber<br /> > everywhere. There are small towns in the countryside with fiber.<br /> > Public money has made, and is making that possible.<br /> > There is still a little of Euro-DOCSIS, but frankly compared to fiber<br /> > it has no chance to survive.<br /><br /> I am very, very happy for y'all. Fiber has always been the sanest<br /> thing. Is there<br /> a SPF+ gpon card yet I can plug into a convention open source router yet?<br /><br /> ><br /> > I currently have 2Gbps/600Mbps access with <a rel="noreferrer" href="http://orange.fr" target="_blank">orange.fr</a> and <a rel="noreferrer" href="http://free.fr" target="_blank">free.fr</a> has a subscription<br /> > at 10Gbps GPON. I won't tell you the price because you may feel depressed<br /> > compared to other countries where prices are much higher.<br /><br /> I'd emigrate!!!<br /><br /> > The challenge becomes to keep up with these link rates in software<br /> > as there is a lot of hardware offloading.</blockquote>
<div>
<div class="gmail_default" style="font-family: monospace;">I just meant that these routers tend to use HW offloading </div>
<div class="gmail_default" style="font-family: monospace;">and kernel qdiscs may be bypassed.</div>
</div>
<div> </div>
<blockquote class="gmail_quote" style="margin: 0px 0px 0px 0.8ex; border-left: 1px solid #cccccc; padding-left: 1ex;"><br /> At this point, I kind of buy the stanford sqrt(bdp) argument. All you<br /> really need for gigE+ fiber access to work well<br /> for most modern traffic is a fairly short fifo (say, 20ms). Any form<br /> of FQ would help but be hardly noticible. I think<br /> there needs to be work on the hop between the internet and the subscriber...<br /><br /> Web traffic is dominated by RTT above 40mbit (presently).<br /> streaming video traffic - is no more than 20Mbit, and your occasional<br /> big download is a dozen big streams that would<br /> bounce off a short fifo well.<br /> gbit access to the home is (admittedly glorious, wonderful!) overkill<br /> for all present forms of traffic.<br /><br /> I'm pretty sure if I had gig fiber I could come up with a way to use<br /> it up (exiting the cloud entirely comes to mind), but<br /> lacking new applications that demand that much bandwidth...<br /><br /> I of course, would like to see lola ( <a rel="noreferrer" href="https://lola.conts.it/" target="_blank">https://lola.conts.it/</a> ) finally<br /> work, and videoconferencing and game stream with high rates and faster<br /> (even raw) encoding also has potential to reduce e2e latencies<br /> enormously at that layer.<br /><br /> ><br /> > As soon as 802.11ax becomes the norm, software scheduling will become<br /> > a challenge.<br /><br /> Do you mean in fiber or wireless? wireless is really problematic at ANY speed.</blockquote>
<div>
<div class="gmail_default" style="font-family: monospace;">I meant that software scheduling becomes a challenge for the same</div>
<div class="gmail_default" style="font-family: monospace;">reason as above. Increase in total throughput of the box</div>
<div class="gmail_default" style="font-family: monospace;">will call for hardware offloading and kernel qdisc may be bypassed.</div>
<div class="gmail_default" style="font-family: monospace;">It is not a challenge per se, it is a challenge because traffic</div>
<div class="gmail_default" style="font-family: monospace;">may not be managed by the kernel.</div>
</div>
<div> </div>
<blockquote class="gmail_quote" style="margin: 0px 0px 0px 0.8ex; border-left: 1px solid #cccccc; padding-left: 1ex;"><br /> at gfiber, the buffering moved to the wifi, and there are other<br /> problems that really impact achievable bandwidth. When I was last in<br /> paris, I could "hear" 300+ access points from my apt, and could only<br /> get 100-200kbit per second out of the wireless n ap I had, unless I<br /> cheated and stuck my traffic in the VI queue. A friend of mine there,<br /> couldn't even get wifi across the room! Beacons ate into a lot of the<br /> available<br /> bandwidth. Since 5ghz (and soon 6ghz - is 6E a thing in france) is<br /> shorter range I'm hoping that's got better, but with<br /> 802.11ac and ax peeing on half the wifi spectrum by default, I imagine<br /> achievable rates in high density locations with many APs will be very<br /> low... and very jittery... and thus still require good ATF, fq, and<br /> aqm technologies.<br /><br /> I have high hopes for OFDMA and DU but thus far haven't found an AP<br /> doing it. I'm not sure what to do about the beaconing problem except<br /> offer a free tradein to all my neighbors still emitting G style<br /> frames....<br /><br /> And in looking over some preliminary code for the mt76 ax chip, I<br /> worry about both bad design of the firmware, and<br /> insufficient resources on-chip to manage well.<br /><br /> How is the 5G rollout going in france?</blockquote>
<div>
<div class="gmail_default" style="font-family: monospace;">Good question. I've just seen a speed test at Gbps on a phone</div>
<div class="gmail_default" style="font-family: monospace;">which can drain your battery in less than 5 minutes. Amazing tech!</div>
</div>
<div> </div>
<blockquote class="gmail_quote" style="margin: 0px 0px 0px 0.8ex; border-left: 1px solid #cccccc; padding-left: 1ex;"><br /> I recently learned that much of japan is... wait for it... wimax.<br /><br /> ><br /> > Luca<br /><br /><br /><br /> -- <br /> Make Music, Not War<br /><br /> Dave Täht<br /> CTO, TekLibre, LLC<br /><a rel="noreferrer" href="http://www.teklibre.com" target="_blank">http://www.teklibre.com</a><br /> Tel: 1-831-435-0729</blockquote>
</div>
</div>
</div></font>