<div dir="ltr">ping from laptop<br><br><div>C:\Users\xeno>ping 192.168.1.105 -n 100</div><div><br></div><div>Pinging 192.168.1.105 with 32 bytes of data:</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=5ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=4ms TTL=128</div><div>Reply from <a href="http://192.168.1.105">192.168.1.105</a>: bytes=32 time=3ms TTL=128</div><div><br></div><div>Ping statistics for <a href="http://192.168.1.105">192.168.1.105</a>:</div><div>    Packets: Sent = 100, Received = 100, Lost = 0 (0% loss),</div><div>Approximate round trip times in milli-seconds:</div><div>    Minimum = 3ms, Maximum = 5ms, Average = 3ms<br><br></div></div><br><div class="gmail_quote"><div dir="ltr">On Fri, Nov 24, 2017 at 3:35 AM Neil Davies <<a href="mailto:neil.davies@pnsol.com">neil.davies@pnsol.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word"><div><blockquote type="cite"><div>On 24 Nov 2017, at 09:20, Hal Murray <<a href="mailto:hmurray@megapathdsl.net" target="_blank">hmurray@megapathdsl.net</a>> wrote:</div><br class="m_1018155418359910742Apple-interchange-newline"><div><div><br><a href="mailto:neil.davies@pnsol.com" target="_blank">neil.davies@pnsol.com</a> said:<br><blockquote type="cite">There are a few more issues - the relative drift between the two clocks<br>can be as high as 200ppm, though typically 50-75ppm is what we observe, but<br>this drift is monotonic.<br></blockquote><br>200 ppm seems pretty high, but not off scale.  If ntpd is running and not <br>getting confused by long queuing delays, it should correct the drift to well <br>under 1 ppm.  If you turn on loopstats, you can graph it.<br></div></div></blockquote><div><br></div></div></div><div style="word-wrap:break-word"><div><div>I’m saying that is the maximum rate of drift between two clocks even</div><div>when they are under NTP control. As you say below the clock rates</div><div>are not completely stable they are temperature dependent.</div><div>When we did this with the guys at CERN we could</div><div>correlate the results with the workload (see below for references).</div><div><br></div><div>We’ve got ~1M experiments using this approach across various networks, </div><div>the numbers are what we are seeing in practice. </div><div><br></div><div>The caveat is that, after a while (i.e several 100s) the clock drift can make</div><div>a significant difference (i.e a few ms) in the one-way delay estimation. </div></div></div><div style="word-wrap:break-word"><div><br><blockquote type="cite"><div><div><br>If you are blasting the network and adding long queuing delays, ntpd can <br>easily get confused.<br><br>There is another quirk to keep in mind.  The temperature coefficient of the <br>crystal is ballpark of 1 ppm per C.  Things can change significantly if an <br>idle system starts flinging lots of bits around.<br><br><br><blockquote type="cite">Also NTP can make changes at one (or both) ends - they show up as distinct<br>direction changes in the drift. <br></blockquote><br>I'm not sure what you mean by "direction change".  I'd expect a graph of the <br>time offset vs time to be linear and the slope would have a sharp change if <br>ntpd changed it's "drift" correction and/or maybe a rounded bend as a system <br>warmed up.<br></div></div></blockquote><div><br></div></div></div><div style="word-wrap:break-word"><div>Don’t forget you are measuring the difference in the rates between two NTP clocks,</div><div>hence the change when one of the NTP systems decides to change the drift rate</div><div>the relative rate can change direction.</div><div><br></div><div><blockquote type="cite"><div><div></div></div></blockquote></div></div><div style="word-wrap:break-word"><div><blockquote type="cite"><div><div><br>----------<br><br>Are you happy with whatever you are doing?   Should we try to set things up <br></div></div></blockquote></div></div><div style="word-wrap:break-word"><div><blockquote type="cite"><div><div>so ntpd works well enough?  How close would you like the times to be?  …<br><br></div></div></blockquote><br>Yep, we’re very happy - we don’t care that there is a linear clock drift (we</div><div>can correct for that) and the step changes are infrequent and can be eliminated</div><div>from the long term analysis.</div><div><br></div><div>You might find §4.4 (esp §4.4.5) and §5.6 in </div><div><a href="https://cds.cern.ch/record/1504817/files/CERN-THESIS-2013-004.pdf" target="_blank">https://cds.cern.ch/record/1504817/files/CERN-THESIS-2013-004.pdf</a> </div><div>interesting.  It illustrates these sort of issues. </div></div><div style="word-wrap:break-word"><div><br></div><div><br><blockquote type="cite"><div><div><br><br><br>-- <br>These are my opinions.  I hate spam.<br><br><br><br></div></div></blockquote></div><br></div>_______________________________________________<br>
Bloat mailing list<br>
<a href="mailto:Bloat@lists.bufferbloat.net" target="_blank">Bloat@lists.bufferbloat.net</a><br>
<a href="https://lists.bufferbloat.net/listinfo/bloat" rel="noreferrer" target="_blank">https://lists.bufferbloat.net/listinfo/bloat</a><br>
</blockquote></div><div dir="ltr">-- <br></div><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">Caleb Cushing<div><br></div><div><a href="http://xenoterracide.com">http://xenoterracide.com</a></div></div></div>