<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">

<style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>

</head>

<body dir="ltr">

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

Hi Dave,</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

<br>

</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

Let's continue our discussion here via hotmail.</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

<br>

</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

I just recalled that recent Linux kernels pace packets in pairs. FlexiS uses Linux kernel pacing. I have done one Internet test and an emulation test. Both tests use FlexiS as congestion control to do bulk data transfer. Packets were captured with tcpdump.</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

<br>

</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

<img class="w-1757 h-254" style="margin:0px;background-color:rgb(255, 255, 255);max-width:100%" size="114413" contenttype="image/png" data-outlook-trace="F:1|T:1" src="cid:4b0f79c6-205a-44e5-a548-94662d5f3a93"><br>

</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

 A<span style="color: rgb(0, 0, 0); font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt;">n excerp</span><span style="color: rgb(0, 0, 0); font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt;">t from the pcap file of the emulation

 test. </span></div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

<span style="color: rgb(0, 0, 0); font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt;"><br>

</span></div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

<span style="color: rgb(0, 0, 0); font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt;"><img style="max-width: 100%;" class="w-1685 h-181" size="96084" contenttype="image/png" data-outlook-trace="F:1|T:1" src="cid:28a4486f-a252-47be-a7ff-41df92102895"><br>

</span></div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

<span style="color: rgb(0, 0, 0); font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt;">An excerpt from the pcap file of the Internet test.</span></div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

<span style="color: rgb(0, 0, 0); font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt;"><br>

</span></div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

<span style="color: rgb(0, 0, 0); font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt;">From these excerpts, we can clearly see that the packets are sent in pairs and there are fixed intervals between each pair.</span></div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

<br>

</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

Could you let me know how the wifi test was conducted? Did they use the latest Linux kernel? I will try to reproduce the problem and find out the cause.</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

<br>

</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

Best regards,</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

Qian</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

<br>

</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

<br>

</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

<br>

</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

-------------------</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

<br>

</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

<div dir="ltr" style="color:rgb(34, 34, 34);font-family:Arial, Helvetica, sans-serif;font-size:small;background-color:rgb(255, 255, 255)">

Hi Dave,

<div><br>

</div>

<div>Thanks for the feedback!</div>

<div><br>

</div>

<div>I had been working on a major revision of the submitted paper. I was asked to compare FlexiS with LEDBAT++. I also added a greedy BE to greedy LBE test, something like that reported in your work. And I also added a reference to your suggested work.</div>

<div><br>

</div>

<div>It is possible to reduce packet size below the max MSS at times of severe intrusion. However, this will only mitigate bit congestion (congestion caused by comparatively slow transmission link) but not packet congestion (congestion caused by comparatively

 slow processing power) if the minimum packet rate is kept at 2MSS/RTT [1]. </div>

<div><br>

</div>

<div>The second problem is easier to fix. I guess it is caused by WiFi contention and delayed ack? Did FlexiS become less efficient (low utilization) or more intrusive? </div>

<div><br>

</div>

<div>I can also add some loss tolerant code to make it more robust in wireless scenarios.</div>

<div><br>

</div>

<div>I am now deciding the focus of the next paper, which I need for my Ph.D. thesis. It can be an optimization of FlexiS if you think it is desirable? Please let me know all known issues with FlexiS so far based on your evaluation. I will try to figure out

 solutions/mitigations for them.</div>

<div><br>

</div>

<div>[1] RFC6077. Open Research Issues in Internet Congestion Control<br>

</div>

<div><br>

</div>

<div>I have switched from Gmail to Hotmail because I can no longer access Gmail easily due to the firewall. Please send follow-up emails to my new email address:<span> </span><a href="mailto:li_qian_pro@hotmail.com" target="_blank" style="color:rgb(17, 85, 204)">li_qian_pro@hotmail.com</a></div>

<div><br>

</div>

<div>Best regards,</div>

<div>Qian</div>

<div class="yj6qo ajU" style="cursor:pointer;outline:none;padding:10px 0px;margin:2px 0px 0px">

<div class="ajR" tabindex="0" data-tooltip="Hide expanded content" style="background-color:rgb(232, 234, 237);border:none;clear:both;line-height:6px;outline:none;border-radius:5.5px">

<img class="ajT" style="background:url("https://www.gstatic.com/images/icons/material/system_gm/2x/more_horiz_black_20dp.png") center center / 20px no-repeat;height:11px;opacity:0.71;width:24px" src="https://ssl.gstatic.com/ui/v1/icons/mail/images/cleardot.gif"></div>

</div>

<div class="adL"><br>

</div>

<div class="adL"><br>

</div>

</div>

<div class="adL" style="color:rgb(34, 34, 34);font-family:Arial, Helvetica, sans-serif;font-size:small;background-color:rgb(255, 255, 255)">

<div class="adm" style="margin:5px 0px"></div>

<div class="im" style="color:rgb(80, 0, 80)"><br>

<div class="gmail_quote">

<div dir="ltr" class="gmail_attr">On Mon, Aug 22, 2022 at 2:27 AM Dave Taht <<a href="mailto:dave.taht@gmail.com" target="_blank" style="color:rgb(17, 85, 204)">dave.taht@gmail.com</a>> wrote:<br>

</div>

<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204, 204, 204);padding-left:1ex">

I have not had time to play with this much more, but it remains<br>

promising. Although you dismiss the ieas of not reducing the mss as<br>

not cost effective, I think for certain kinds of traffic it it worth<br>

pursuing.<br>

<br>

Also, based on some tests on a busy wifi network elsewhere, doing<br>

packet pacing on a per packet (rather than two packets at a time)<br>

seems interesting.<br>

<br>

What are you working on these days?<br>

<br>

On Fri, Apr 8, 2022 at 11:56 PM Qian Li <<a href="mailto:biz.tinalee@gmail.com" target="_blank" style="color:rgb(17, 85, 204)">biz.tinalee@gmail.com</a>> wrote:<br>

><br>

> Hello again,<br>

><br>

> I have uploaded the source code to GitHub. You can find it here:<br>

><br>

><span> </span><a href="https://github.com/tinalee77/FlexiS" rel="noreferrer" target="_blank" data-saferedirecturl="https://www.google.com/url?q=https://github.com/tinalee77/FlexiS&source=gmail&ust=1661346087131000&usg=AOvVaw2IwoyBxSP2ZloY2mimxk1x" style="color:rgb(17, 85, 204)">https://github.com/tinalee77/<wbr>FlexiS</a><br>

><br>

> I have done some editing to the original code that was used to produce the results in the paper. First, I removed all debugging statements. Second, I updated comments so that they are more readable. Third, I made variable names consistent with the paper.

 And finally, I licensed it with Gnu GPL.<br>

><br>

> Best regards,<br>

> Qian<br>

><br>

><br>

><br>

><br>

><br>

> On Thu, Apr 7, 2022 at 10:35 PM Qian Li <<a href="mailto:biz.tinalee@gmail.com" target="_blank" style="color:rgb(17, 85, 204)">biz.tinalee@gmail.com</a>> wrote:<br>

>><br>

>> Hi Dave,<br>

>><br>

>> I was just told that I am allowed to distribute the code freely. I will upload it to GitHub and will send you the link as soon as I am done with it.<br>

>><br>

>> As for the AQM test, I set the QDisc to FQ-CoDel, CoDel, and CAKE, but none worked on CORE. In contrast, RED and PIE worked as expected. As far as I know, the major difference between these two groups of AQMs is the time when the packets are dropped. But

 I am not 100% sure it was the cause. I may somehow test FlexiS or FlexiR (FlexiS adapted to the receiver side) on a testbed with various AQMs. But it will be toward the end of the adaptation I guess :)<br>

>><br>

>> Best regards,<br>

>> Qian<br>

>><br>

>> On Thu, Apr 7, 2022 at 8:52 AM Dave Taht <<a href="mailto:dave.taht@gmail.com" target="_blank" style="color:rgb(17, 85, 204)">dave.taht@gmail.com</a>> wrote:<br>

>>><br>

>>> On Tue, Apr 5, 2022 at 8:44 AM Qian Li <<a href="mailto:biz.tinalee@gmail.com" target="_blank" style="color:rgb(17, 85, 204)">biz.tinalee@gmail.com</a>> wrote:<br>

>>> ><br>

>>> > Dear Dave,<br>

>>> ><br>

>>> > Thank you for your interest in my work.<br>

>>> ><br>

>>> > I have read another paper authored by D. Rossi at el. presenting the priority inversion problem of LEDBAT when it is used together with AQM. And it has become one of the factors that motivated me to devise a new LBE CC that can preserve low priority even

 when AQM is used.<br>

>>><br>

>>> We'd given up hope circa 2014 as of the publication of the paper I<br>

>>> cited, and moved on.<br>

>>><br>

>>> >However, I could not test FlexiS with CoDel on the CORE emulator probably because CoDel drops packets at the dequeue time.<br>

>>><br>

>>> I don't really understand that statement.<br>

>>><br>

>>> > More tests should be done to verify that FlexiS does preserve low priority in the presence of various AQM algorithms.<br>

>>><br>

>>> Yes. until fairly recently I had had a testbed setup that allowed<br>

>>> testing of various tcps and aqm systems, but its been in storage since<br>

>>> covid.<br>

>>><br>

>>> > I am now adapting FlexiS to the receiver side. The main motivation to do so is that there might be HTTP/TCP proxies between the sender and the receiver. A receiver side LBE CC and make the connection between the proxy and the receiver LBE. In this work,

 I am going to tackle some open issues with FlexiS. For example, I am going to test if trend analysis can be done based on one way delay so that the throughput is less affected by ack path congestion. And I am going to evaluate various techniques to reduce

 rate below 2 mss per RTT. This may include what you have suggested -- use small packets and sub-packet window. I am also interested in using pacing to slow down sending rate and maybe more alternative solutions.<br>

>>><br>

>>> Cool!<br>

>>><br>

>>> ><br>

>>> > I don't have a git tree for the source code mainly because I don't know if I am allowed to publish the code as open source. If you are interested in the source code, I can ask the University of Oslo if I am allowed to distribute it freely?<br>

>>><br>

>>> I would hope they would allow publication. The world is full of half<br>

>>> baked projects that if only someones new also stepped in, were<br>

>>> completed. An example of this is BBR which originally was about half<br>

>>> what it is today, until source was released among the right people.<br>

>>><br>

>>> ><br>

>>> > Best regards,<br>

>>> > Qian<br>

>>> ><br>

>>> ><br>

>>> ><br>

>>> > On Sun, Apr 3, 2022 at 6:38 AM Dave Taht <<a href="mailto:dave.taht@gmail.com" target="_blank" style="color:rgb(17, 85, 204)">dave.taht@gmail.com</a>> wrote:<br>

>>> >><br>

>>> >> Dear Qian:<br>

>>> >><br>

>>> >> Pretty promising paper. I liked that it tackled congestion on the ack<br>

>>> >> path, among other things.<br>

>>> >><br>

>>> >><span> </span><a href="https://www.techrxiv.org/articles/preprint/TCP_FlexiS_A_New_Approach_To_Incipient_Congestion_Detection_and_Control/19077161/1/files/33905018.pdf" rel="noreferrer" target="_blank" data-saferedirecturl="https://www.google.com/url?q=https://www.techrxiv.org/articles/preprint/TCP_FlexiS_A_New_Approach_To_Incipient_Congestion_Detection_and_Control/19077161/1/files/33905018.pdf&source=gmail&ust=1661346087131000&usg=AOvVaw02AOnZfFuBN6sKZiuz8LAN" style="color:rgb(17, 85, 204)">https://www.techrxiv.org/<wbr>articles/preprint/TCP_FlexiS_<wbr>A_New_Approach_To_Incipient_<wbr>Congestion_Detection_and_<wbr>Control/19077161/1/files/<wbr>33905018.pdf</a><br>

>>> >><br>

>>> >> I like also that you tackled, inter-rtt fairness, and, ledbat's<br>

>>> >> latecomer advantage problem, and in fig 9, the basic problem with<br>

>>> >> delay based LBE vs AQMs (in that ledbat degrades to reno)... [1]<br>

>>> >><br>

>>> >> Towards your conclusion...<br>

>>> >><br>

>>> >> I have always disagreed with the "don't reduce segment size" crowd,<br>

>>> >> btw. If you have a rate where you need to go below 2mss, it doesn't<br>

>>> >> hurt the network to reduce the size of the packet, and you can keep<br>

>>> >> the signal strength up by reducing that size and continuing to sample<br>

>>> >> rtt, to respond quickly.<br>

>>> >><br>

>>> >> Even if you are only passing a single byte of data, by lowering this<br>

>>> >> below everyone else's 2mss noise floor, you still eventually win, and<br>

>>> >> also you occupy space in packet fifos, reducing overall latency, as<br>

>>> >> bytes=time. IMHO.<br>

>>> >><br>

>>> >> elsewhere, sub-packet windows are being experimented in bbrv2, I'm<br>

>>> >> told, but not in LBE.<br>

>>> >><br>

>>> >> I'm also a big believer in packet pacing, and I think this is the<br>

>>> >> first paper I've seen that attempted LBE with it. Thx!<br>

>>> >><br>

>>> >> Got a git tree?<br>

>>> >><br>

>>> >> [1] do wish you'd had cited<br>

>>> >><span> </span><a href="https://perso.telecom-paristech.fr/drossi/paper/rossi14comnet-b.pdf" rel="noreferrer" target="_blank" data-saferedirecturl="https://www.google.com/url?q=https://perso.telecom-paristech.fr/drossi/paper/rossi14comnet-b.pdf&source=gmail&ust=1661346087131000&usg=AOvVaw1MUxygNXYAUb5uzfVRhej-" style="color:rgb(17, 85, 204)">https://perso.telecom-<wbr>paristech.fr/drossi/paper/<wbr>rossi14comnet-b.pdf</a><br>

>>> >><br>

>>> >> --<br>

>>> >> I tried to build a better future, a few times:<br>

>>> >><span> </span><a href="https://wayforward.archive.org/?site=https%3A%2F%2Fwww.icei.org" rel="noreferrer" target="_blank" data-saferedirecturl="https://www.google.com/url?q=https://wayforward.archive.org/?site%3Dhttps%253A%252F%252Fwww.icei.org&source=gmail&ust=1661346087131000&usg=AOvVaw39g2IA13TDl6jMHquSFW_v" style="color:rgb(17, 85, 204)">https://wayforward.archive.<wbr>org/?site=https%3A%2F%2Fwww.<wbr>icei.org</a><br>

>>> >><br>

>>> >> Dave T�ht CEO, TekLibre, LLC<br>

>>><br>

>>><br>

>>><br>

>>> --<br>

>>> I tried to build a better future, a few times:<br>

>>><span> </span><a href="https://wayforward.archive.org/?site=https%3A%2F%2Fwww.icei.org" rel="noreferrer" target="_blank" data-saferedirecturl="https://www.google.com/url?q=https://wayforward.archive.org/?site%3Dhttps%253A%252F%252Fwww.icei.org&source=gmail&ust=1661346087132000&usg=AOvVaw3VR_j2t2JgaMKsWYOmtfeJ" style="color:rgb(17, 85, 204)">https://wayforward.archive.<wbr>org/?site=https%3A%2F%2Fwww.<wbr>icei.org</a><br>

>>><br>

>>> Dave T�ht CEO, TekLibre, LLC<br>

<br>

<br>

<br>

--<br>

FQ World Domination pending:<span> </span><a href="https://blog.cerowrt.org/post/state_of_fq_codel/" rel="noreferrer" target="_blank" data-saferedirecturl="https://www.google.com/url?q=https://blog.cerowrt.org/post/state_of_fq_codel/&source=gmail&ust=1661346087132000&usg=AOvVaw2xoi7jGJWgIFXKfNLC-TAc" style="color:rgb(17, 85, 204)">https://blog.cerowrt.org/post/<wbr>state_of_fq_codel/</a><br>

Dave T�ht CEO, TekLibre, LLC</blockquote>

</div>

</div>

</div>

<br>

</div>

</body>

</html>