My experience:<br>2 perlbal -&gt; 2 trackers -&gt; 2 apache/mod_php -&gt; 2 mysql (1 master, 1 replication slave) <br>2 storage node ( 8 sata 300g disks total)<br>now store 2139276 files (include html, jpg ,xml...all files in my blog service)
<br><br>Checking devices...<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; host device&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; size(G)&nbsp;&nbsp;&nbsp; used(G)&nbsp;&nbsp;&nbsp; free(G)&nbsp;&nbsp; use%<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ---- --------------- ---------- ---------- ---------- ------<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; [ 1] dev1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 267.556&nbsp;&nbsp;&nbsp;&nbsp; 25.126
&nbsp;&nbsp;&nbsp; 242.430&nbsp;&nbsp; 9.39%<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; [ 1] dev2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 275.073&nbsp;&nbsp;&nbsp;&nbsp; 25.821&nbsp;&nbsp;&nbsp; 249.252&nbsp;&nbsp; 9.39%<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; [ 1] dev3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 275.073&nbsp;&nbsp;&nbsp;&nbsp; 25.467&nbsp;&nbsp;&nbsp; 249.606&nbsp;&nbsp; 9.26%<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; [ 1] dev4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 275.073&nbsp;&nbsp;&nbsp;&nbsp; 25.885&nbsp;&nbsp;&nbsp; 249.188
&nbsp;&nbsp; 9.41%<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; [ 2] dev11&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 264.183&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4.712&nbsp;&nbsp;&nbsp; 259.471&nbsp;&nbsp; 1.78%<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; [ 2] dev12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 279.450&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4.941&nbsp;&nbsp;&nbsp; 274.509&nbsp;&nbsp; 1.77%<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; [ 2] dev7&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 275.073&nbsp;&nbsp;&nbsp;&nbsp; 39.244&nbsp;&nbsp;&nbsp; 235.829&nbsp; 14.27%
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; [ 2] dev8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 275.073&nbsp;&nbsp;&nbsp;&nbsp; 39.258&nbsp;&nbsp;&nbsp; 235.816&nbsp; 14.27%<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ---- --------------- ---------- ---------- ---------- ------<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; total:&nbsp; 2186.555&nbsp;&nbsp;&nbsp; 190.453&nbsp;&nbsp; 1996.102&nbsp;&nbsp; 8.71%<br>Works fine, and you can find that dev11 dev12 is replaced 2 disks failed last month.
<br>Since min devcount=2 so, we didn't lose any files.<br>And the dev weight setting , let us balanced the files write to all disks.<br>But I've found the write speed is not fast enough for my service.<br>So I'm redesigning my storage node.
<br>Must lower power, lower price, and get more and more spindles as we can.<br>The reference is Petabox using in <a href="http://www.archive.org">http://www.archive.org</a> (<a href="http://www.archive.org/web/petabox.php">
http://www.archive.org/web/petabox.php</a>).<br>I think the mysql will not the bottlenack, but single point failure maybe the problem.<br>I've not found good opensource solution to do auto fail-over with mysql node.<br><br>
And I must thank livejournal provide us a good storage solution!<br><br><br>