<font face="arial" size="2"><p style="margin:0;padding:0;font-family: arial; font-size: 10pt; overflow-wrap: break-word;">Jonathan  - I pretty much agree with most of what you say here. However, two things:</p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; overflow-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; overflow-wrap: break-word;">1) a router that has only one flow at a time traversing it is not a router. It's just a link that runs at memory speed in between two links. A degenerate case.</p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; overflow-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; overflow-wrap: break-word;">2) The start of my email - about the fact that each outbound link must be made to clear (with no queued traffic) within a copper or fiber speed circuit of the earth (great circle route) - is my criterion for NOT being 100% utilized.  But it's a description that focuses on latency and capacity in a single measure.</p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; overflow-wrap: break-word;">It's very close to 100% utilized. (this satisfies your concern about supporting low bit rates at the edges, but in a very different way).</p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; overflow-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; overflow-wrap: break-word;">The problem with links is that they can NEVER be utilized more than 100%. So utilization is a TERRIBLE metric for thinking about the problem.</p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; overflow-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; overflow-wrap: break-word;">I didn't mean this as a weird joke - I'm very serious. utilization is just the wrong measure. And so is end-to-end latency average - averages are not meaningful in a fat-tailed traffic distribution, no matter how you compute them, and average latency is a very strange characterization, since most paths actually have no traffic because each endpoint only uses a small subset of paths.</p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; overflow-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; overflow-wrap: break-word;">Once upon a time I thought that all links should be capped at average utilization of 10% or 50%. But in fact that is a terrible measure too - averages are a bad metric, for the same reason.</p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; overflow-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; overflow-wrap: break-word;">Instead, operationally it is OK for a link to be "almost full", as long as the control protocols create openings frequently enough to mitigate latency issues.</p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; overflow-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; overflow-wrap: break-word;">(Side note: If you want to understand really deeply why "averages" are a terrible statistic for networking, I recommend reading Nassim Taleb's book about pre-asymptotic behavior of random systems and the problem of applying statistical measures to systems that are not "in equilibrium" - <a href="https://arxiv.org/abs/2001.10488">https://arxiv.org/abs/2001.10488</a> . Seriously! It's tough sledding, sound math, and very enlightening. Much of what he says can be translated into the world of real networking and queueing. Sadly, most queueing theory doesn't touch on pre-asymptotic behavior, but instead assumes that the asymptotic behavior of a queueing system characterizes the normal behavior. )</p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; overflow-wrap: break-word;">(some people try to say that network traffic is "fractal", which is actually unreasonable - most protocols behave highly deterministically, and there's no "self-similarity" inherent in end-to-end flow statistics, no power laws, ...)</p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; overflow-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; overflow-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; overflow-wrap: break-word;">On Wednesday, September 29, 2021 6:36am, "Jonathan Morton" <chromatix99@gmail.com> said:<br /><br /></p>
<div id="SafeStyles1632942612">
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; overflow-wrap: break-word;">> > On 29 Sep, 2021, at 1:15 am, David P. Reed <dpreed@deepplum.com><br />> wrote:<br />> ><br />> > Now, it is important as hell to avoid bullshit research programs that try to<br />> "optimize" ustilization of link capacity at 100%. Those research programs focus on<br />> the absolute wrong measure - a proxy for "network capital cost" that is in fact<br />> the wrong measure of any real network operator's cost structure. The cost of media<br />> (wires, airtime, ...) is a tiny fraction of most network operations' cost in any<br />> real business or institution. We don't optimize highways by maximizing the number<br />> of cars on every stretch of highway, for obvious reasons, but also for non-obvious<br />> reasons.<br />> <br />> I think it is important to distinguish between core/access networks and last-mile<br />> links. The technical distinction is in the level of statistical multiplexing -<br />> high in the former, low in the latter. The cost structure to the relevant user is<br />> also significantly different.<br />> <br />> I agree with your analysis when it comes to core/access networks with a high<br />> degree of statistical multiplexing. These networks should be built with enough<br />> capacity to service their expected load. When the actual load exceeds installed<br />> capacity for whatever reason, keeping latency low maintains network stability and,<br />> with a reasonable AQM, should not result in appreciably reduced goodput in<br />> practice.<br />> <br />> The relevant user's costs are primarily in the hardware installed at each end of<br />> the link (hence minimising complexity in this high-speed hardware is often seen as<br />> an important goal), and possibly in the actual volume of traffic transferred, not<br />> in the raw capacity of the medium. All the same, if the medium were cheap, why<br />> not just install more of it, rather than spending big on the hardware at each end?<br />> There's probably a good explanation for this that I'm not quite aware of. <br />> Perhaps it has to do with capital versus operational costs.<br />> <br />> On a last-mile link, the relevant user is a member of the household that the link<br />> leads to. He is rather likely to be *very* interested in getting the most goodput<br />> out of the capacity available to him, on those occasions when he happens to have a<br />> heavy workload for it. He's just bought a game on Steam, for example, and wants<br />> to minimise the time spent waiting for multiple gigabytes to download before he<br />> can enjoy his purchase. Assuming his ISP and the Steam CDN have built their<br />> networks wisely, his last-mile link will be the bottleneck for this task - and<br />> optimising goodput over it becomes *more* important the lower the link capacity<br />> is.<br />> <br />> A lot of people, for one reason or another, still have links below 50Mbps, and<br />> sometimes *much* less than that. It's worth reminding the gigabit fibre crowd of<br />> that, once in a while.<br />> <br />> But he may not the only member of the household interested in this particular<br />> link. My landlord, for example, may commonly have his wife, sister, mother, and<br />> four children at home at any given time, depending on the time of year. Some of<br />> the things they wish to do may be latency-sensitive, and they are also likely to<br />> be annoyed if throughput-sensitive tasks are unreasonably impaired. So the<br />> goodput of the Steam download is not the only metric of relevance, taken<br />> holistically. And it is certainly not correct to maximise utilisation of the<br />> link, as you can "utilise" the link with a whole lot of useless junk, yet make no<br />> progress whatsoever.<br />> <br />> Maximising an overall measure of network power, however, probably *does* make<br />> sense - in both contexts. The method of doing so is naturally different in each<br />> context:<br />> <br />> 1: In core/access networks, ensuring that demand is always met by capacity<br />> maximises useful throughput and minimises latency. This is the natural optimum<br />> for network power.<br />> <br />> 2: It is reasonable to assume that installing more capacity has an associated<br />> cost, which may exert downward pressure on capacity. In core/access networks<br />> where demand exceeds capacity, throughput is fixed at capacity, and network power<br />> is maximised by minimising delays. This assumes that no individual traffic's<br />> throughput is unreasonably impaired, compared to others, in the process; the<br />> "linear product-based fairness index" can be used to detect this:<br />> <br />> https://en.wikipedia.org/wiki/Fairness_measure#:~:text=Product-based%20Fairness%20Indices<br />> <br />> 3: In a last-mile link, network power is maximised by maximising the goodput of<br />> useful applications, ensuring that all applications have a "fair" share of<br />> available capacity (for some reasonable definition of "fair"), and keeping latency<br />> as low as reasonably practical while doing so. This is likely to be associated<br />> with high link utilisation when demand is heavy.<br />> <br />> > Operating at fully congested state - or designing TCP to essentially come<br />> close to DDoS behaviour on a bottleneck to get a publishable paper - is missing<br />> the point.<br />> <br />> When writing a statement like that, it's probably important to indicate what a<br />> "fully congested state" actually means. Some might take it to mean merely 100%<br />> link utilisation, which could actually be part of an optimal network power<br />> solution. From context, I assume you actually mean that the queues are driven to<br />> maximum depth and to the point of overflow - or beyond.<br />> <br />> - Jonathan Morton</p>
</div></font>