<font face="arial" size="2"><p style="margin:0;padding:0;font-family: arial; font-size: 10pt; word-wrap: break-word;">I would toss netem rather than kludging around what appears to be a fundamental design choice made in ins conceptualization. Make a "netem2".</p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; word-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; word-wrap: break-word;">FreeBSD has a very nice framework for emulating far more general packet queuing/routing/... in the kernel, called NetGraph. It's incredibly general, and could straightforwardly, with high performance, have modules that do exactly the right emulations of network structures with such blocking, etc. and even random delays.</p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; word-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; word-wrap: break-word;">I know this because in my day job at TidalScale, we heavily use NetGraph to implement new very low level protocols, which is pretty straightforward, even including complex multi-adapter adaptive forwarding of our private protocols on 10 and 40 GigE links. Super flexible, entirely in the kernel, running either at real-time priority or not, in a mix.</p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; word-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; word-wrap: break-word;">In contrast, the Linux TC framework seems very inflexible, as you've found, in trying to push it to do what it is not designed to do.</p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; word-wrap: break-word;"> </p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; word-wrap: break-word;">So tossing netem might be far better. I wonder if NetGraph has ever been ported into some Linux kernel environment...</p>
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; word-wrap: break-word;">-----Original Message-----<br />From: "Dave Taht" <dave.taht@gmail.com><br />Sent: Wednesday, May 30, 2018 1:28pm<br />To: make-wifi-fast@lists.bufferbloat.net<br />Subject: [Make-wifi-fast] emulating wifi better - coupling qdiscs in netem?<br /><br /></p>
<div id="SafeStyles1527720344">
<p style="margin:0;padding:0;font-family: arial; font-size: 10pt; word-wrap: break-word;">The match to reality of my "wifi slotting" code for netem was so<br />disappointing that I was extremely reluctant to push support for it up<br />to mainline iproute2.<br /><br />I've now spent months failing to come up with something that<br />could emulate in linux the non-duplex behavior and arbitration steps<br />that wifi goes through in order to find a new station to transmit to,<br />or receive from, using netem as a base.<br /><br />Getting that non-duplex behavior right is the *single most important<br />thing*, I think, for trying to emulate real wireless behaviors in<br />real time that I can think of (and to thus be able to run and improve<br />various e2e transports against it).<br /><br />A potential tc API seems simple:<br /><br />tc qdisc add dev veth1 root netem coupled # master (AP)<br />tc qdisc add dev veth2 root netem couple veth1 # client<br />tc qdisc add dev veth3 root netme couple veth2 # client<br /><br />Something more complicated would be to create some sort of<br />arbitration device and attach that to the qdiscs. (which would make<br />it more possible to write arbitration devices to emulate lte, gpon,<br />cable, wireless mesh and other non-duplex behaviors in real time)<br /><br />But how to convince qdiscs to be arbitrated, only allowing one in a<br />set to transmit at the same time? (and worse, in the long run,<br />allowing MU-MIMO-like behaviors).<br /><br />I'm tempted to *not* put my failed thinking down here in the hope that<br />someone says, out there, "oh, that's easy, just create this structure<br />with X API call and use Y function and you're clear of all the<br />potential deadlock and RCU issues, and we've been doing that for<br />years, you idiot! Here's the code for how we do it, sorry we didn't<br />submit it earlier."<br /><br />What I thought (*and still think*) is of creating a superset of the<br />qdisc_watchdog_schedule_ns() function is a start at it:<br /><br />tag = qdisc_watchdog_create_arb("some identifier");<br />qdisc_watchdog_schedule_arb(nsec, tag); /* null tag = schedule_ns */<br /><br />which doesn't allow that qdisc instance to be run until the arbitrator<br />says it can run (essentially overriding the timeout specified)<br /><br />But I actually wouldn't mind something that worked at the veth, or<br />device, rather than qdisc level...<br /><br />thoughts?<br /><br />PS I just spent several days working on another aspect of the problem,<br />which is replaying delay distributions (caused by interference and<br />such)... and that, sigh, to me, also belongs in some sort of<br />arbitration device rather than directly in netem. Maybe tossing netem<br />entirely is the answer. I don't know.<br /><br />-- <br /><br />Dave Täht<br />CEO, TekLibre, LLC<br />http://www.teklibre.com<br />Tel: 1-669-226-2619<br />_______________________________________________<br />Make-wifi-fast mailing list<br />Make-wifi-fast@lists.bufferbloat.net<br />https://lists.bufferbloat.net/listinfo/make-wifi-fast<br />-- <br />Reed Online Ltd is a company registered in England and Wales. Company <br />Registration Number: 6317279.Registered Office: Academy Court, 94 Chancery <br />Lane, London WC2A 1DT.<br /><br /></p>
</div></font>