<div bgcolor="#ffffff" text="#000000"><br>We've had memcached deployed at IMVU for about 9 months now.&nbsp; It works great, scales easily, never goes down, and totally saved us as traffic on our site went up and up.<br><br>We are now seeing a problem where one of our memcached hosts periodically stops handling requests for several seconds.&nbsp; This particular host has a traffic pattern with about 30k get requests per second, a small number of set requests, all data values stored are small (booleans), and 90+% of the gets return a cache miss.
<br><br>Watching the machine it looks like it is actually memcached that is
experiencing the delays and using all of the CPU.&nbsp; We tried disabling
all non-critical resources and still saw the pauses.&nbsp; When we do see
CPU get used up for 3-5 seconds, typically the number of processes
waiting for time goes to 2 or 3 and if you look at top, the
memcached process CPU utilization goes from ~30% to 99+%.<br><br>Has anyone else seen behavior like this? <br><br>Chris<br><br><br>
<br>
Normal:<br>
<tt>top - 13:00:00 up 123 days, 14:02,&nbsp; 4 users,&nbsp; load average: 0.36,
0.52, 0.43<br>
Tasks:&nbsp; 51 total,&nbsp;&nbsp; 3 running,&nbsp; 48 sleeping,&nbsp;&nbsp; 0 stopped,&nbsp;&nbsp; 0 zombie<br>
Cpu(s): 22.3% us,&nbsp; 5.0% sy,&nbsp; 0.0% ni, 68.8% id,&nbsp; 0.0% wa,&nbsp; 0.0% hi,&nbsp;
4.0% si<br>
Mem:&nbsp;&nbsp; 3969768k total,&nbsp;&nbsp; 260392k used,&nbsp; 3709376k free,&nbsp;&nbsp;&nbsp; 22176k buffers<br>
Swap:&nbsp; 6144852k total,&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0k used,&nbsp; 6144852k free,&nbsp;&nbsp;&nbsp; 60380k cached<br>
<br>
&nbsp; PID USER&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; PR&nbsp; NI&nbsp; VIRT&nbsp; RES&nbsp; SHR S %CPU %MEM&nbsp;&nbsp;&nbsp; TIME+&nbsp; COMMAND<br>
<font color="#006600"><b>&nbsp;6465 root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 16&nbsp;&nbsp; 0&nbsp; 108m&nbsp; 81m 1380 R 28.0&nbsp;
2.1&nbsp;&nbsp; 7:25.40 memcached</b></font><br>
&nbsp;6829 root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 16&nbsp;&nbsp; 0&nbsp; 1876&nbsp; 928 1672 R&nbsp; 0.7&nbsp; 0.0&nbsp;&nbsp; 0:00.11 top<br>
&nbsp;&nbsp;&nbsp; 1 root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 16&nbsp;&nbsp; 0&nbsp; 1504&nbsp; 512 1352 S&nbsp; 0.0&nbsp; 0.0&nbsp;&nbsp; 0:13.55 init</tt><br>
<br>
Problem:<br>
<br>
<tt>top - 13:00:42 up 123 days, 14:03,&nbsp; 4 users,&nbsp; load average: 0.31,
0.49, 0.42<br>
Tasks:&nbsp; 52 total,&nbsp;&nbsp; 2 running,&nbsp; 50 sleeping,&nbsp;&nbsp; 0 stopped,&nbsp;&nbsp; 0 zombie<br>
Cpu(s): 98.3% us,&nbsp; 0.3% sy,&nbsp; 0.0% ni,&nbsp; 0.0% id,&nbsp; 0.0% wa,&nbsp; 0.0% hi,&nbsp;
1.3% si<br>
Mem:&nbsp;&nbsp; 3969768k total,&nbsp;&nbsp; 265136k used,&nbsp; 3704632k free,&nbsp;&nbsp;&nbsp; 22176k buffers<br>
Swap:&nbsp; 6144852k total,&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0k used,&nbsp; 6144852k free,&nbsp;&nbsp;&nbsp; 60388k cached<br>
<br>
&nbsp; PID USER&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; PR&nbsp; NI&nbsp; VIRT&nbsp; RES&nbsp; SHR S %CPU %MEM&nbsp;&nbsp;&nbsp; TIME+&nbsp; COMMAND<br>
<font color="#cc0000"><b>&nbsp;6465 root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 20&nbsp;&nbsp; 0&nbsp; 110m&nbsp; 82m 1380 R 99.6&nbsp;
2.1&nbsp;&nbsp; 7:40.27 memcached</b></font><br>
&nbsp;&nbsp;&nbsp; 1 root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 16&nbsp;&nbsp; 0&nbsp; 1504&nbsp; 512 1352 S&nbsp; 0.0&nbsp; 0.0&nbsp;&nbsp; 0:13.55 init<br>
&nbsp;&nbsp;&nbsp; 2 root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 34&nbsp; 19&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0 S&nbsp; 0.0&nbsp; 0.0&nbsp;&nbsp; 0:00.04 ksoftirqd/0</tt><br>
<br>
<br>
<br>
<br>
<tt>procs -----------memory---------- ---swap-- -----io---- --system--
----cpu----<br>
&nbsp;r&nbsp; b&nbsp;&nbsp; swpd&nbsp;&nbsp; free&nbsp;&nbsp; buff&nbsp; cache&nbsp;&nbsp; si&nbsp;&nbsp; so&nbsp;&nbsp;&nbsp; bi&nbsp;&nbsp;&nbsp; bo&nbsp;&nbsp; in&nbsp;&nbsp;&nbsp; cs us
sy id wa<br>
&nbsp;2&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3713424&nbsp; 22176&nbsp; 60332&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 22&nbsp;
9 69&nbsp; 0<br>
&nbsp;1&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3713296&nbsp; 22176&nbsp; 60332&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 23&nbsp;
9 68&nbsp; 0<br>
&nbsp;2&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3713360&nbsp; 22176&nbsp; 60332&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 22
10 68&nbsp; 0<br>
&nbsp;1&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3713312&nbsp; 22176&nbsp; 60332&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 24
10 66&nbsp; 0<br>
&nbsp;1&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3713312&nbsp; 22176&nbsp; 60332&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 22
12 66&nbsp; 0<br>
&nbsp;1&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3713320&nbsp; 22176&nbsp; 60332&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 23
11 66&nbsp; 0<br>
&nbsp;1&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3713320&nbsp; 22176&nbsp; 60332&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 25&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 23&nbsp;
8 69&nbsp; 0<br>
&nbsp;2&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3713336&nbsp; 22176&nbsp; 60332&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 17&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 22
10 68&nbsp; 0<br>
&nbsp;1&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3713400&nbsp; 22176&nbsp; 60332&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 25
10 65&nbsp; 0<br>
&nbsp;1&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3713400&nbsp; 22176&nbsp; 60336&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 24
10 66&nbsp; 0<br>
&nbsp;1&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3713400&nbsp; 22176&nbsp; 60336&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 22&nbsp;
8 70&nbsp; 0<br>
&nbsp;1&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3713336&nbsp; 22176&nbsp; 60336&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 24&nbsp;
8 68&nbsp; 0<br>
&nbsp;1&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3713272&nbsp; 22176&nbsp; 60336&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 24&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 22
11 67&nbsp; 0<br>
&nbsp;1&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3713272&nbsp; 22176&nbsp; 60336&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 24
10 66&nbsp; 0<br>
&nbsp;1&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3713208&nbsp; 22176&nbsp; 60336&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 23&nbsp;
9 68&nbsp; 0<br>
&nbsp;1&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3713208&nbsp; 22176&nbsp; 60336&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 20
10 70&nbsp; 0<br>
<font color="#cc0000"><b>&nbsp;2&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3711032&nbsp; 22176&nbsp; 60336&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;
0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 73&nbsp; 2 25&nbsp; 0<br>
&nbsp;2&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3705720&nbsp; 22176&nbsp; 60340&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 132&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 98&nbsp;
2&nbsp; 0&nbsp; 0<br>
&nbsp;2&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3703544&nbsp; 22176&nbsp; 60344&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 99&nbsp;
1&nbsp; 0&nbsp; 0<br>
&nbsp;2&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3706488&nbsp; 22176&nbsp; 60344&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 97&nbsp;
3&nbsp; 0&nbsp; 0<br>
&nbsp;2&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3711416&nbsp; 22176&nbsp; 60348&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 98&nbsp;
2&nbsp; 0&nbsp; 0<br>
&nbsp;2&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3709624&nbsp; 22176&nbsp; 60348&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 99&nbsp;
1&nbsp; 0&nbsp; 0<br>
&nbsp;2&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3708848&nbsp; 22176&nbsp; 60348&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 72&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 98&nbsp;
2&nbsp; 0&nbsp; 0<br>
&nbsp;2&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3712048&nbsp; 22176&nbsp; 60348&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 87&nbsp;
3 10&nbsp; 0</b></font><br>
&nbsp;1&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3712048&nbsp; 22176&nbsp; 60348&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 16&nbsp;
2 82&nbsp; 0<br>
&nbsp;1&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3712048&nbsp; 22176&nbsp; 60348&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 15&nbsp;
1 84&nbsp; 0<br>
&nbsp;1&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3712048&nbsp; 22176&nbsp; 60348&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 15&nbsp;
3 82&nbsp; 0<br>
&nbsp;1&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3712048&nbsp; 22176&nbsp; 60348&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 54&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 15&nbsp;
2 83&nbsp; 0<br>
&nbsp;1&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3712048&nbsp; 22176&nbsp; 60348&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 15&nbsp;
2 83&nbsp; 0<br>
&nbsp;1&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3712056&nbsp; 22176&nbsp; 60348&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 15&nbsp;
2 83&nbsp; 0<br>
&nbsp;1&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3712056&nbsp; 22176&nbsp; 60348&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 17&nbsp;
2 81&nbsp; 0<br>
&nbsp;1&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3712056&nbsp; 22176&nbsp; 60348&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 14&nbsp;
3 83&nbsp; 0<br>
&nbsp;1&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 3712056&nbsp; 22176&nbsp; 60348&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 12&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0 16&nbsp;
2 82&nbsp; 0<br>
</tt><br>
</div>


<br clear="all"><br>-- <br><a href="http://avatars.imvu.com/chris">http://avatars.imvu.com/chris</a>