<font face="times new roman" size="2"><p style="margin:0;padding:0;font-family: 'times new roman'; font-size: 10pt; word-wrap: break-word;">I design and build physical layer radio hardware (using SDR reception and transmission in the 5 GHz and 10 GHz Amateur radio bands).</p>
<p style="margin:0;padding:0;font-family: 'times new roman'; font-size: 10pt; word-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: 'times new roman'; font-size: 10pt; word-wrap: break-word;">Fairness is easy in a MAC. 1 usec. is 1,000 linear feet.  If the next station knows when its turn is, it can start transmitting within a couple of microseconds of seeing the tail of the last packet, and if there is adequate "sounding" of the physical environment, you can calculate tighter bounds than that.  Even if the transmission is 1 Gb/sec, 1 usec. is only 1,000 bits at most.</p>
<p style="margin:0;padding:0;font-family: 'times new roman'; font-size: 10pt; word-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: 'times new roman'; font-size: 10pt; word-wrap: break-word;">But at the end-to-end layer, today's networks are only at most 20 msec. end-to-end across a continent.  The most buffering you want to see on an end-to-end basis is 10 msec.</p>
<p style="margin:0;padding:0;font-family: 'times new roman'; font-size: 10pt; word-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: 'times new roman'; font-size: 10pt; word-wrap: break-word;">I disagree strongly that "mice" - small packets - need to be compressed.  Most small packets are very, very latency sensitive (acks, etc.). As long as they are a relatively small portion of capacity, they aren't the place to trade latency degradation for throughput.  That's another example of focusing on the link rather than the end-to-end network context.</p>
<p style="margin:0;padding:0;font-family: 'times new roman'; font-size: 10pt; word-wrap: break-word;">(local link acks can be piggy-backed in various ways, so when the local Wireless Ethernet domain is congested, there should be no naked ack packets)</p>
<p style="margin:0;padding:0;font-family: 'times new roman'; font-size: 10pt; word-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: 'times new roman'; font-size: 10pt; word-wrap: break-word;">Why does anyone measure a link in terms of a measurement of small-packet efficiency?  The end-to-end protocols shouldn't be sending small packets once a queue builds up at the source endpoint.</p>
<p style="margin:0;padding:0;font-family: 'times new roman'; font-size: 10pt; word-wrap: break-word;"> </p>
<!--WM_COMPOSE_SIGNATURE_START--><!--WM_COMPOSE_SIGNATURE_END-->
<p style="margin:0;padding:0;font-family: 'times new roman'; font-size: 10pt; word-wrap: break-word;"><br /><br />On Monday, August 3, 2015 12:14pm, "David Lang" <david@lang.hm> said:<br /><br /></p>
<div id="SafeStyles1438644305">
<p style="margin:0;padding:0;font-family: 'times new roman'; font-size: 10pt; word-wrap: break-word;">> On Mon, 3 Aug 2015, dpreed@reed.com wrote:<br />> <br />> > It's not infeasible to make queues shorter. In any case, the throughput of a<br />> > link does not increase above the point where there is always one packet ready<br />> > to go by the time the currently outgoing packet is completed. It physically<br />> > cannot do better than that.<br />> <br />> change 'one packet' to 'one transmissions worth of packets' and I'll agree<br />> <br />> > If hardware designers can't create an interface that achieves that bound I'd<br />> > be suspicious that they understand how to design hardware. In the case of<br />> > WiFi, this also includes the MAC protocol being designed so that when the<br />> > current packet on the air terminates, the next packet can be immediately<br />> begun<br />> > - that's a little more subtle.<br />> <br />> on a shared medium (like radio) things are a bit messier.<br />> <br />> There are two issues<br />> <br />> 1. You shouldn't just transmit to a new station once you finish sending to the<br />> first. Fairness requires that you pause and give other stations a chance to<br />> transmit as well.<br />> <br />> 1. There is per-transmission overhead (including the pause mentioned above) that<br />> can be very significant for small packets, so there is considerable value in<br />> sending multiple packets at once. It's a lighter version of what you run into<br />> inserting into reliable databases. You can insert 1000 records in about the same<br />> time you can insert 2 records sperately.<br />> <br />> The "stock" answer to this is for hardware and software folks to hold off on<br />> sending anything in case there is more to send later that it can be batched<br />> with. This maximizes throughput at the cost of latency.<br />> <br />> What should be done instead is to send what you have immediatly, and while it's<br />> sending, queue whatever continues to arrive and the next chance you have to<br />> send, you will have more to send. This scales the batch size with congestion,<br />> minimizing latency at the cost of keeping the channel continually busy, but<br />> inefficiently busy if you aren't at capacity.<br />> <br />> > But my point here is that one needs to look at the efficiency of the system<br />> as<br />> > a whole (in context), and paradoxically to the hardware designer mindset, the<br />> > proper way to think about that efficiency is NOT about link throughput<br />> > maximization - instead it is an end-to-end property. One has very little to<br />> > do with the other. Queueing doesn't affect link throughput beyond the<br />> "double<br />> > buffering" effect noted above: at most one packet queued behind the currently<br />> > transmitting packet.<br />> ><br />> > Regarding TXOP overhead - rather than complicated queueing, just allow<br />> packets<br />> > to be placed in line *while the currently transmitting packet is going out*,<br />> > and changed up to the point in time when they begin transmitting. This is<br />> > trivial in hardware.<br />> <br />> This is a key thing that a lot of hardware and software folks get wrong. All the<br />> complexity and bugs that you see around 'blocking/plugging' flows are the result<br />> of this mistake. As you say, send something as soon as you have it to send. If<br />> there's more arriving, let it accumulate while the first bit is being sent and<br />> the next chance you get to send, send everything that's accumulated. This<br />> minimizes latency, greatly simplifies the code (no need for timers to<br />> unblock/release the data if more doesn't arrive), and results in the exact same<br />> throughput under load.<br />> <br />> It does have some interesting changes to the utilization curve at part load.<br />> These could be a problem with wifi under some conditions, but I think the<br />> trade-off is worth it since the wifi is going to end up running up to it's limit<br />> sometime anyway, and the part load problems are just previews of what you would<br />> run into at full load.<br />> <br />> David Lang<br />> <br />> ><br />> > On Friday, July 31, 2015 1:04pm, "Jonathan Morton"<br />> <chromatix99@gmail.com> said:<br />> ><br />> ><br />> ><br />> >> I think that is achievable, *even if there is a WiFi network in the<br />> middle*, by thinking about the fact that the shared airwaves in a WiFi network<br />> behaves like a single link, so all the queues on individual stations are really<br />> *one queue*, and that the optimal behavior of that link will be achieved if there<br />> is at most one packet queued at a time.<br />> > I agree that queues should be kept short in general. However I don't think<br />> single packet queues are achievable in the general case.<br />> > The general case includes Wi-Fi networks, whose TXOP overhead is so ruinously<br />> heavy that sending single MTU sized packets is inefficient. Aggregating multiple<br />> packets into one TXOP requires those several packets to be present in the buffer<br />> at that moment.<br />> > The general case includes links which vary in throughput frequently, perhaps<br />> on shorter timescales than an RTT, so either packets must be buffered or capacity<br />> is left unused. This also happens to include Wi-Fi, but could easily include a<br />> standard wired link whose competing load varies.<br />> > The endpoints do not have and do not receive sufficient information in<br />> sufficient time to reliably make packets arrive at nodes just in time to be<br />> transmitted. Not even with ECN, not even with the wet dreams of the DCTCP folks,<br />> and not even with ELR (though ELR should be able to make it happen under steady<br />> conditions, there are still transient conditions in the general case).<br />> > - Jonathan Morton_______________________________________________<br />> Cerowrt-devel mailing list<br />> Cerowrt-devel@lists.bufferbloat.net<br />> https://lists.bufferbloat.net/listinfo/cerowrt-devel<br />> </p>
</div></font>