<div dir="ltr">This is much more common in the high performance computing and networking space (i.e. perfsonar, TWAMP, and OWAMP). I have also been pushing "gather and store all the data" for ....since I was an engineer working on the Teragrid (which is where I first saw Matt's MTU talk around 2002 or 03, BTW).  =) <div>High fidelity plots of everything that can be gathered is laborious to curate but is invaluable for so many reasons. Now we just need a way to make it happen everywhere for everyone in a way that's easy. </div><div><br></div><div>nb</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Jun 17, 2021 at 8:57 AM Dave Taht <<a href="mailto:davet@teklibre.net">davet@teklibre.net</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Capturing and plotting *all* the data is often revealing. <br>
<br>
Sometimes plotting the data you are discarding (for what seems like sane reasons) is quite revealing.  Saw this on slashdot this morning, it’s good...<br>
<br>
<a href="https://www.newyorker.com/magazine/2021/06/21/when-graphs-are-a-matter-of-life-and-death" rel="noreferrer" target="_blank">https://www.newyorker.com/magazine/2021/06/21/when-graphs-are-a-matter-of-life-and-death</a><br>
<br>
In the bufferbloat effort I’ve fought time and time again for folk to stop throwing out data above the 95 percentile, and at the very least plot everything they threw out to find patterns...<br>
<br>
dslreports’ graphing tools, for example, throws out a ton of “outliers" … and the only reason why there is no data past 4 sec here, is that the test doesn’t run long enough. <br>
<br>
<a href="http://www.dslreports.com/speedtest/results/bufferbloat?up=1" rel="noreferrer" target="_blank">http://www.dslreports.com/speedtest/results/bufferbloat?up=1</a><br>
<br>
(been trying to get ahold of someone over there to buy their raw data for years now. They have the biggest - 8 years worth - collection)<br>
<br>
mlabs has a similar data reduction issue that they haven’t got around to fixing. <br>
<br>
And more recently we encountered a smoothing problem in wireshark that made a halt in packet processing look more like a normal tcp cwnd cut….<br>
<br>
_______________________________________________<br>
Starlink mailing list<br>
<a href="mailto:Starlink@lists.bufferbloat.net" target="_blank">Starlink@lists.bufferbloat.net</a><br>
<a href="https://lists.bufferbloat.net/listinfo/starlink" rel="noreferrer" target="_blank">https://lists.bufferbloat.net/listinfo/starlink</a><br>
</blockquote></div>