<div dir="ltr"><div class="gmail_default" style="font-family:verdana,sans-serif">After some more testing I see that if I disable fq pacing the performance is restored to the expected levels: </div><div class="gmail_default" style="font-family:verdana,sans-serif"># for i in eth0 eth1; do tc qdisc replace dev $i root fq nopacing; done</div><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif">Is this expected behaviour? There is some background traffic, but only in the sub 100 mbit/s on the switches and gateway between the server and client.</div><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif">The chain:</div><div class="gmail_default" style="font-family:verdana,sans-serif">Windows 10 client -> 1000 mbit/s -> switch -> 2xgigabit LACP -> switch -> 4 x gigabit LACP -> gw (fq_codel on all nics) -> 4 x gigabit LACP (the same as in) -> switch -> 2 x lacp -> server (with misbehaving fq pacing)</div><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On 26 January 2017 at 19:38, Hans-Kristian Bakke <span dir="ltr"><<a href="mailto:hkbakke@gmail.com" target="_blank">hkbakke@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="font-family:verdana,sans-serif">I can add that this is without BBR, just plain old kernel 4.8 cubic.</div></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On 26 January 2017 at 19:36, Hans-Kristian Bakke <span dir="ltr"><<a href="mailto:hkbakke@gmail.com" target="_blank">hkbakke@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="font-family:verdana,sans-serif">Another day, another fq issue (or user error).</div><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif">I try to do the seeminlig simple task of downloading a single large file over local gigabit  LAN from a physical server running kernel 4.8 and sch_fq on intel server NICs.</div><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif">For some reason it wouldn't go past around 25 MB/s. After having replaced SSL with no SSL, replaced apache with nginx and verified that there is plenty of bandwith available between my client and the server I tried to change qdisc from fq to pfifo_fast. It instantly shot up to around the expected 85-90 MB/s. The same happened with fq_codel in place of fq.</div><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif">I then checked the statistics for fq and the throttled counter is increasing massively every second (eth0 and eth1 is LACPed using Linux bonding so both is seen here):</div><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif"><div class="gmail_default">qdisc fq 8007: root refcnt 2 limit 10000p flow_limit 100p buckets 1024 orphan_mask 1023 quantum 3028 initial_quantum 15140 refill_delay 40.0ms</div><div class="gmail_default"> Sent 787131797 bytes 520082 pkt (dropped 15, overlimits 0 requeues 0)</div><div class="gmail_default"> backlog 98410b 65p requeues 0</div><div class="gmail_default">  15 flows (14 inactive, 1 throttled)</div><div class="gmail_default">  0 gc, 2 highprio, 259920 throttled, 15 flows_plimit</div><div class="gmail_default">qdisc fq 8008: root refcnt 2 limit 10000p flow_limit 100p buckets 1024 orphan_mask 1023 quantum 3028 initial_quantum 15140 refill_delay 40.0ms</div><div class="gmail_default"> Sent 2533167 bytes 6731 pkt (dropped 0, overlimits 0 requeues 0)</div><div class="gmail_default"> backlog 0b 0p requeues 0</div><div class="gmail_default">  24 flows (24 inactive, 0 throttled)</div><div class="gmail_default">  0 gc, 2 highprio, 397 throttled</div><div><br></div><div>Do you have any suggestions?</div><div><br></div><div>Regards,</div><div>Hans-Kristian</div></div></div>
</blockquote></div><br></div>
</div></div></blockquote></div><br></div>