<br>I eventually took the time to track our bug down using iostat at Brad's suggestion.&nbsp; We had an application bug that occasionally generated a very large multi-get request (10,000 keys).&nbsp; I discovered the bug when I noticed the realloc in try_read_network was increasing the buffer to 1MB.&nbsp; The server got tied up processing the request, which caused various problems as other machines in the cluster timed the machine out and marked it failed.
<br><br>A nice to have feature would be a limit to the number of keys memcached would attempt to process in a single multiple get request.<br><br>Chris<br><br><br><br><div><span class="gmail_quote">On 11/7/06, <b class="gmail_sendername">
Brett G. Durrett</b> &lt;<a href="mailto:brett@imvu.com">brett@imvu.com</a>&gt; wrote:</span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<br>I don't believe we are using either &quot;stats cachedump&quot; or &quot;stats sizes&quot;.<br>While trying to isolate the problem I disabled all monitoring scripts,<br>which only use the &quot;stats&quot; command.&nbsp;&nbsp;It is possible (but highly
<br>unlikely) that a diagnostic tool was running from another host, but the<br>timing of these failures suggest it is something other than a monitoring<br>script.<br><br>Oddly enough, the behavior seemed to go away when I opened a telnet
<br>session to the memcached port and issued the 'stats' command... I assume<br>this was just a coincidence.<br><br>B-<br><br>Steven Grimm wrote:<br><br>&gt; Are you by any chance using the &quot;stats cachedump&quot; or &quot;stats sizes&quot;
<br>&gt; commands? Both of those will pause the server while they run; they are<br>&gt; intended for occasional debugging use rather than regular production use.<br>&gt;<br>&gt; -Steve<br>&gt;<br>&gt;<br>&gt; Chris Hondl wrote:
<br>&gt;<br>&gt;&gt;<br>&gt;&gt; We've had memcached deployed at IMVU for about 9 months now.&nbsp;&nbsp;It<br>&gt;&gt; works great, scales easily, never goes down, and totally saved us as<br>&gt;&gt; traffic on our site went up and up.
<br>&gt;&gt;<br>&gt;&gt; We are now seeing a problem where one of our memcached hosts<br>&gt;&gt; periodically stops handling requests for several seconds.&nbsp;&nbsp;This<br>&gt;&gt; particular host has a traffic pattern with about 30k get requests per
<br>&gt;&gt; second, a small number of set requests, all data values stored are<br>&gt;&gt; small (booleans), and 90+% of the gets return a cache miss.<br>&gt;&gt;<br>&gt;&gt; Watching the machine it looks like it is actually memcached that is
<br>&gt;&gt; experiencing the delays and using all of the CPU.&nbsp;&nbsp;We tried disabling<br>&gt;&gt; all non-critical resources and still saw the pauses.&nbsp;&nbsp;When we do see<br>&gt;&gt; CPU get used up for 3-5 seconds, typically the number of processes
<br>&gt;&gt; waiting for time goes to 2 or 3 and if you look at top, the memcached<br>&gt;&gt; process CPU utilization goes from ~30% to 99+%.<br>&gt;&gt;<br>&gt;&gt; Has anyone else seen behavior like this?<br>&gt;&gt;<br>
&gt;&gt; Chris<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt; Normal:<br>&gt;&gt; top - 13:00:00 up 123 days, 14:02,&nbsp;&nbsp;4 users,&nbsp;&nbsp;load average: 0.36,<br>&gt;&gt; 0.52, 0.43<br>&gt;&gt; Tasks:&nbsp;&nbsp;51 total,&nbsp;&nbsp; 3 running,&nbsp;&nbsp;48 sleeping,&nbsp;&nbsp; 0 stopped,&nbsp;&nbsp; 0 zombie
<br>&gt;&gt; Cpu(s): 22.3% us,&nbsp;&nbsp;5.0% sy,&nbsp;&nbsp;0.0% ni, 68.8% id,&nbsp;&nbsp;0.0% wa,&nbsp;&nbsp;0.0% hi,<br>&gt;&gt; 4.0% si<br>&gt;&gt; Mem:&nbsp;&nbsp; 3969768k total,&nbsp;&nbsp; 260392k used,&nbsp;&nbsp;3709376k free,&nbsp;&nbsp;&nbsp;&nbsp;22176k buffers<br>&gt;&gt; Swap:&nbsp;&nbsp;6144852k total,&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0k used,&nbsp;&nbsp;6144852k free,&nbsp;&nbsp;&nbsp;&nbsp;60380k cached
<br>&gt;&gt;<br>&gt;&gt;&nbsp;&nbsp; PID USER&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;PR&nbsp;&nbsp;NI&nbsp;&nbsp;VIRT&nbsp;&nbsp;RES&nbsp;&nbsp;SHR S %CPU %MEM&nbsp;&nbsp;&nbsp;&nbsp;TIME+&nbsp;&nbsp;COMMAND<br>&gt;&gt; * 6465 root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;16&nbsp;&nbsp; 0&nbsp;&nbsp;108m&nbsp;&nbsp;81m 1380 R 28.0&nbsp;&nbsp;2.1&nbsp;&nbsp; 7:25.40 memcached*<br>&gt;&gt;&nbsp;&nbsp;6829 root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;16&nbsp;&nbsp; 0&nbsp;&nbsp;1876&nbsp;&nbsp;928 1672 R&nbsp;&nbsp;
0.7&nbsp;&nbsp;0.0&nbsp;&nbsp; 0:00.11 top<br>&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp; 1 root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;16&nbsp;&nbsp; 0&nbsp;&nbsp;1504&nbsp;&nbsp;512 1352 S&nbsp;&nbsp;0.0&nbsp;&nbsp;0.0&nbsp;&nbsp; 0:13.55 init<br>&gt;&gt;<br>&gt;&gt; Problem:<br>&gt;&gt;<br>&gt;&gt; top - 13:00:42 up 123 days, 14:03,&nbsp;&nbsp;4 users,&nbsp;&nbsp;load average: 0.31
,<br>&gt;&gt; 0.49, 0.42<br>&gt;&gt; Tasks:&nbsp;&nbsp;52 total,&nbsp;&nbsp; 2 running,&nbsp;&nbsp;50 sleeping,&nbsp;&nbsp; 0 stopped,&nbsp;&nbsp; 0 zombie<br>&gt;&gt; Cpu(s): 98.3% us,&nbsp;&nbsp;0.3% sy,&nbsp;&nbsp;0.0% ni,&nbsp;&nbsp;0.0% id,&nbsp;&nbsp;0.0% wa,&nbsp;&nbsp;0.0% hi,<br>&gt;&gt; 1.3% si<br>&gt;&gt; Mem:&nbsp;&nbsp; 3969768k total,&nbsp;&nbsp; 265136k used,&nbsp;&nbsp;3704632k free,&nbsp;&nbsp;&nbsp;&nbsp;22176k buffers
<br>&gt;&gt; Swap:&nbsp;&nbsp;6144852k total,&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0k used,&nbsp;&nbsp;6144852k free,&nbsp;&nbsp;&nbsp;&nbsp;60388k cached<br>&gt;&gt;<br>&gt;&gt;&nbsp;&nbsp; PID USER&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;PR&nbsp;&nbsp;NI&nbsp;&nbsp;VIRT&nbsp;&nbsp;RES&nbsp;&nbsp;SHR S %CPU %MEM&nbsp;&nbsp;&nbsp;&nbsp;TIME+&nbsp;&nbsp;COMMAND<br>&gt;&gt; * 6465 root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;20&nbsp;&nbsp; 0&nbsp;&nbsp;110m&nbsp;&nbsp;82m 1380 R 
99.6&nbsp;&nbsp;2.1&nbsp;&nbsp; 7:40.27 memcached*<br>&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp; 1 root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;16&nbsp;&nbsp; 0&nbsp;&nbsp;1504&nbsp;&nbsp;512 1352 S&nbsp;&nbsp;0.0&nbsp;&nbsp;0.0&nbsp;&nbsp; 0:13.55 init<br>&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp; 2 root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;34&nbsp;&nbsp;19&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0 S&nbsp;&nbsp;0.0&nbsp;&nbsp;0.0&nbsp;&nbsp; 0:00.04 ksoftirqd/0<br>&gt;&gt;<br>&gt;&gt;<br>
&gt;&gt;<br>&gt;&gt;<br>&gt;&gt; procs -----------memory---------- ---swap-- -----io---- --system--<br>&gt;&gt; ----cpu----<br>&gt;&gt;&nbsp;&nbsp;r&nbsp;&nbsp;b&nbsp;&nbsp; swpd&nbsp;&nbsp; free&nbsp;&nbsp; buff&nbsp;&nbsp;cache&nbsp;&nbsp; si&nbsp;&nbsp; so&nbsp;&nbsp;&nbsp;&nbsp;bi&nbsp;&nbsp;&nbsp;&nbsp;bo&nbsp;&nbsp; in&nbsp;&nbsp;&nbsp;&nbsp;cs us<br>&gt;&gt; sy id wa
<br>&gt;&gt;&nbsp;&nbsp;2&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3713424&nbsp;&nbsp;22176&nbsp;&nbsp;60332&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 22&nbsp;&nbsp;9 69&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3713296&nbsp;&nbsp;22176&nbsp;&nbsp;60332&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 23&nbsp;&nbsp;9 68&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;2&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3713360&nbsp;&nbsp;22176&nbsp;&nbsp;60332&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0
<br>&gt;&gt; 22 10 68&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3713312&nbsp;&nbsp;22176&nbsp;&nbsp;60332&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 24 10 66&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3713312&nbsp;&nbsp;22176&nbsp;&nbsp;60332&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 22 12 66&nbsp;&nbsp;0
<br>&gt;&gt;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3713320&nbsp;&nbsp;22176&nbsp;&nbsp;60332&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 23 11 66&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3713320&nbsp;&nbsp;22176&nbsp;&nbsp;60332&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;25&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 23&nbsp;&nbsp;8 69&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;2&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3713336&nbsp;&nbsp;22176&nbsp;&nbsp;60332&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;17&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0
<br>&gt;&gt; 22 10 68&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3713400&nbsp;&nbsp;22176&nbsp;&nbsp;60332&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 25 10 65&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3713400&nbsp;&nbsp;22176&nbsp;&nbsp;60336&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 24 10 66&nbsp;&nbsp;0
<br>&gt;&gt;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3713400&nbsp;&nbsp;22176&nbsp;&nbsp;60336&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 22&nbsp;&nbsp;8 70&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3713336&nbsp;&nbsp;22176&nbsp;&nbsp;60336&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 24&nbsp;&nbsp;8 68&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3713272&nbsp;&nbsp;22176&nbsp;&nbsp;60336&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;24&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0
<br>&gt;&gt; 22 11 67&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3713272&nbsp;&nbsp;22176&nbsp;&nbsp;60336&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 24 10 66&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3713208&nbsp;&nbsp;22176&nbsp;&nbsp;60336&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 23&nbsp;&nbsp;9 68&nbsp;&nbsp;0
<br>&gt;&gt;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3713208&nbsp;&nbsp;22176&nbsp;&nbsp;60336&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 20 10 70&nbsp;&nbsp;0<br>&gt;&gt; * 2&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3711032&nbsp;&nbsp;22176&nbsp;&nbsp;60336&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 73&nbsp;&nbsp;2 25&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;2&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3705720&nbsp;&nbsp;22176&nbsp;&nbsp;60340&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 132&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0
<br>&gt;&gt; 98&nbsp;&nbsp;2&nbsp;&nbsp;0&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;2&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3703544&nbsp;&nbsp;22176&nbsp;&nbsp;60344&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 99&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;2&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3706488&nbsp;&nbsp;22176&nbsp;&nbsp;60344&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 97&nbsp;&nbsp;3&nbsp;&nbsp;0&nbsp;&nbsp;0
<br>&gt;&gt;&nbsp;&nbsp;2&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3711416&nbsp;&nbsp;22176&nbsp;&nbsp;60348&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 98&nbsp;&nbsp;2&nbsp;&nbsp;0&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;2&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3709624&nbsp;&nbsp;22176&nbsp;&nbsp;60348&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 99&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;2&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3708848&nbsp;&nbsp;22176&nbsp;&nbsp;60348&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;72&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0
<br>&gt;&gt; 98&nbsp;&nbsp;2&nbsp;&nbsp;0&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;2&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3712048&nbsp;&nbsp;22176&nbsp;&nbsp;60348&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 87&nbsp;&nbsp;3 10&nbsp;&nbsp;0*<br>&gt;&gt;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3712048&nbsp;&nbsp;22176&nbsp;&nbsp;60348&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 16&nbsp;&nbsp;2 82&nbsp;&nbsp;0
<br>&gt;&gt;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3712048&nbsp;&nbsp;22176&nbsp;&nbsp;60348&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 15&nbsp;&nbsp;1 84&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3712048&nbsp;&nbsp;22176&nbsp;&nbsp;60348&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 15&nbsp;&nbsp;3 82&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3712048&nbsp;&nbsp;22176&nbsp;&nbsp;60348&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;54&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0
<br>&gt;&gt; 15&nbsp;&nbsp;2 83&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3712048&nbsp;&nbsp;22176&nbsp;&nbsp;60348&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 15&nbsp;&nbsp;2 83&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3712056&nbsp;&nbsp;22176&nbsp;&nbsp;60348&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 15&nbsp;&nbsp;2 83&nbsp;&nbsp;0
<br>&gt;&gt;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3712056&nbsp;&nbsp;22176&nbsp;&nbsp;60348&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 17&nbsp;&nbsp;2 81&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3712056&nbsp;&nbsp;22176&nbsp;&nbsp;60348&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&gt; 14&nbsp;&nbsp;3 83&nbsp;&nbsp;0<br>&gt;&gt;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 3712056&nbsp;&nbsp;22176&nbsp;&nbsp;60348&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;12&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0
<br>&gt;&gt; 16&nbsp;&nbsp;2 82&nbsp;&nbsp;0<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt; --<br>&gt;&gt; <a href="http://avatars.imvu.com/chris">http://avatars.imvu.com/chris</a><br>&gt;<br>&gt;<br></blockquote></div><br><br clear="all"><br>
-- <br><a href="http://avatars.imvu.com/chris">http://avatars.imvu.com/chris</a>