普通の HTTP のリクエストを投げる場合は用意されたものをそのまま使えばいいのですが、HTTPS で通信を行いたい場合は、サイトによっては証明書が必要だったりします。

素のままの状態で、例えば https://mixi.jp/ にアクセスすると、次のようなエラーでアクセスすることができません。

% curl 'https://mixi.jp/'
curl: (60) SSL certificate problem, verify that the CA cert is OK. Details:
error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed
More details here: http://curl.haxx.se/docs/sslcerts.html
 
curl performs SSL certificate verification by default, using a "bundle"
 of Certificate Authority (CA) public keys (CA certs). The default
 bundle is named curl-ca-bundle.crt; you can specify an alternate file
 using the --cacert option.
If this HTTPS server uses a certificate signed by a CA represented in
 the bundle, the certificate verification probably failed due to a
 problem with the certificate (it might be expired, or the name might
 not match the domain name in the URL).
If you'd like to turn off curl's verification of the certificate, use
 the -k (or --insecure) option.

cURL – Details on Server SSL Certificates によると、cURL には初期状態では証明書が入っていないようです。

Until 7.18.0, curl bundled a severely outdated ca bundle file that was installed by default. These days, the curl archives include no ca certs at all. You need to get them elsewhere.

なので、必要に応じて証明書を追加してやります。

上記の cURL のドキュメントによると、証明書を取得する方法はいくつかあるようなのですが、どれもうまくいかなかったので、試行錯誤の結果、うまくいった方法をここに書いておくことにします。

まず、お目当てのページに普通のウェブブラウザでアクセスします。ここでは Mac の Firefox を使うことにします。

ここで、右下にある鍵マークをダブルクリックして、Page Info の窓を出します。

Security タブに View Certificate というボタンがあるので、それをクリックし、詳細画面を出します。

Certificate Fields のどこかをクリックして選択しておいて、左下の Export ボタンをクリックします。

証明書の保存形式を聞かれるので、X.509 Certificate with chain (PEM)を選択します。ここが重要です。
1つ上の X.509 Certificate (PEM) でよさそうですが、これだとうまくかないです。
ただの PEM だと証明書が1つしか入っていませんが、with chain の方だと3つ入っていて、これが何らかの意味があるみたいです。

証明書に適当な名前をつけて保存します。ここでは mixi.crt としておきます。

必要な証明書を入手したら、これを既存の証明書ファイルに追加してやります。
上記の cURL のドキュメントによると、cURL では証明書を一切持っていないと書いてありましたが、FreeBSD の ports や CentOS の rpm で入るパッケージにはいくつかの証明書が入っていました。

FreeBSD の cURL は、証明書を /usr/local/share/curl/curl-ca-bundle.crt から読み込んでいるので、ここに先ほどの mixi.crt を追加してやります。

# cat mixi.crt >> /usr/local/share/curl/curl-ca-bundle.crt

curl-ca-bundle.crt は root でないと書き込めないので、root 権限で作業するなり、一時的のパーミッションを変更するなりして作業をします。

curl-ca-bundle.crt の PATH は cRUL をコンパイルする時にオプションで指定できるようになっていて、システムによって PATH が違う場合があります。
FreeBSD では /usr/local/share/curl/curl-ca-bundle.crt に設定されていて curl の ports パッケージに含まれていましたが、CentOS では /usr/share/ssl/certs/ca-bundle.crt に設定されていて、curl ではなく openssl のパッケージに含まれていました。

curl-ca-bundle.crt の PATH がわからない時には、libcurl.so の中を直接覗いてやると、それらしい文字列が含まれています。

% strings /usr/local/lib/libcurl.so.4 | grep bundle
/usr/local/share/curl/curl-ca-bundle.crt

証明書を追加した後では、ちゃんとアクセスできるようになります。

以上、curl で https でアクセスするための証明書を追加する方法でした。

さて、iPhone を契約すると i.softbank.jp ドメインのメールアドレスがもらえるわけですが、このメールは imap を使って読み、smtp を使って送信する普通のメールなので、iPhone 上だけでなく、imap が使える MUA ならば PC など他の端末でもメールを読み書きすることができます。

例えば Emacs 上で動作する MUA である Mew で iPhone のメールを読むためには、~/.mew.el に次のように設定します。

(setq mew-name "Jog Note")
(setq mew-user "jognote")
(setq mew-mail-domain "i.softbank.jp")
(setq mew-smtp-server "smtp.softbank.jp")
(setq mew-smtp-port "587")
(setq mew-smtp-user "jognote")
(setq mew-proto "%")
(setq mew-imap-user "jognote")
(setq mew-imap-server "imap.softbank.jp")
(setq mew-fcc "%Sent Messages")

iPhone の smtp は通常の 25 番ポートではなく 587 番ポートで動作しているので、mew-smtp-port でポート番号を指定します。また、iPhone の smtp はメールを送信するためにユーザ認証を行うので、mew-smtp-user にユーザ名を指定します。

mew-fcc に %Sent Messages を設定しておくと、送信したメールが %Sent Messages に保存され、Mew で書いたメールも iPhone で読めるようになります。これを設定しないと Mew が動作しているマシンの +backup に保存されます。

これで emacs -f mew もしくは Emacs を起動した後で M-x mew とすれば Mew で iPhone のメールを読み書きできるようになります。

Xen のバーチャルマシンは DomainU と呼ばれていて、DomainU の作成方法としてはここで紹介されているように virt-install を使う方法が一般的なようです。
しかし virt-install はいろいろな仮想化技術をラップするライブラリである libvirt を使っていて、Xen の DomainU を作成するために Xen 以外のソフトウエアのお世話になるのは少々大袈裟な気がします。

なので Xen の機能のみ使って DomainU を作成できればと思い、調べてみました。基本的にはここにある方法で作業を進めていきます。

以下は CentOS 5.0 が動いている Domain0 上で CentOS 4.6 がインストールされた DomainU を作成するための手順です。

DomainU を新規に作成する場合には OS のインストーラを DomainU として走らせる必要があり、まずはインストーラのための DomainU の設定ファイルを作成します。
インストーラのための設定ファイルを /etc/xen/centos4.installation として以下のように作成します。
ちなみに /etc/xen は root 以外はディレクトリの中に入ることもできないので、実際に作業をする時には sudo bash などして root 権限でシェルを立ち上げてから作業をしたほうがやりやすいでしょう。

kernel = "/var/lib/xen/images/vmlinuz-CentOS4.6-Installer"
ramdisk = "/var/lib/xen/images/initrd-CentOS4.6-Installer.img"
extra = "text ks=http://somewhere/devel-ks.cfg"
name = "centos4.dev"
memory = "256"
disk = [ 'tap:aio:/var/lib/xen/images/centos4.dev.img,xvda,w', ]
vif = [ 'mac=00:16:3e:5b:b3:ec, bridge=xenbr0', ]
uuid = "722e88f7-99bd-47ac-b644-89dab714ee22"
vcpus=1
on_reboot = 'destroy'
on_crash = 'destroy'

設定ファイルの記述については man xmdomain.cfg で調べることができます。このインストーラを走らせるための設定ファイルの要点を見ていきます。

まず kernel と ramdisk にはインストーラ用のものを指定します。これは CentOS のインストーラの ISO9660 イメージに含まれていて、/images/xen/{vmlinuz,initrd.img} がそれぞれカーネルとシステムイメージになります。
これらは例えば次のようにして ISO9660 イメージから取り出して、設定ファイルで指定した場所にコピーしておきます。

% sudo mount -o loop /path/to/CentOS-4.6-i386-binDVD.iso /mnt
% sudo cp /mnt/images/xen/vmlinuz /var/lib/xen/images/vmlinuz-CentOS4.6-Installer
% sudo cp /mnt/images/xen/initrd.img /var/lib/xen/images/initrd-CentOS4.6-Installer.img

次に extra にはインストーラを起動する時に指定するパラメータを指定します。ここではコンソールでインストールを行うので text と、後述するインスールの自動化のための Kickstart ファイルへの PATH を指定しておきます。

name はこの DomainU につける名前で、他とかぶらないようなわかりやすい名前を適当につけておきます。memory は 256 を指定しています。これ以上少ないと確かインストーラにメモリが少ないと怒られたり、インストールした後も運用上問題があったような気がするので、256MB 以上を割り当てたほうがいいでしょう。

disk では DomainU がハードディスクとして扱うためのイメージファイルを指定します。ここで指定したファイルは実際に存在しなければいけないので、インストーラを走らせる前に作成しておきます。
参考にしたCentOSのWikiの記述によると、virt-install では

# dd if=/dev/zero of=/srv/xen/mailserver.img oflag=direct bs=1M seek=2047 count=1

のようにして 2GB のファイルを作成する場合でも、作成する時点では最小限の大きさにしておいて、ファイルへの書き込みと共にサイズが成長していくような作り方をしているようですが、この方法で作成するとインストール中とか yum update してる時とかファイルサイズが大きくなるような作業をしている時に膨大な時間がかかります。確かOSのインストールに4時間ほどの時間がかかりました。なので

# dd if=/dev/zero of=/srv/xen/mailserver.img oflag=direct bs=1M count=2048

のようにして、あらかじめ所定の大きさのファイルを作成しておいたほうが快適に DomainU を使うことができます。
なおディスクイメージのサイズですが、コンパイラなどの開発環境や Apache や MySQL などの動作環境をインストールすると 4GB でもすぐにいっぱいになってしまうので、8GB くらいで作成しておいたほうが後々の使い勝手がよいです。次のようにして 8GB のディスクイメージを作成します。

% sudo dd if=/dev/zero of=/var/lib/xen/images/centos4.dev.img oflag=direct bs=1M count=8192

vif ではネットワークインターフェースの設定をします。mac に指定する mac address はここで紹介されている、次のような Python のスクリプトを使って生成します。最初の 0x00, 0x16, 0x3e, は Xen が取得しているベンダコードです。

#! /usr/bin/python
# macgen.py script generates a MAC address for Xen guests
#
import random
mac = [ 0x00, 0x16, 0x3e,
random.randint(0x00, 0x7f),
random.randint(0x00, 0xff),
random.randint(0x00, 0xff) ]
print ':'.join(map(lambda x: "%02x" % x, mac))

これを macgen.py などと適当な名前で保存して、次のようにして実行します。

% python macgen.py
00:16:3e:1b:82:61

uuid には同一の Domain0 上で実行する他の DomainU とかぶらない一意な値を指定します。これは uuidgen コマンドを用いて作成することができます。

% uuidgen
722e88f7-99bd-47ac-b644-89dab714ee22

on_reboot と on_crash には destroy を指定しておきます。こうしておくとインストーラが終了すると DomainU も終了してくれます。

RedHat 系の Linux のインストーラである Anaconda はKickstart と呼ばれる設定ファイルを用意しておくことにより、インストールの手順を自動化することができます。Kickstart についてはここが参考になります。
ここでは次の内容で Kickstart ファイルを作成します。

install
url --url http://somewhere/centos
lang en_US.UTF-8
network --device eth0 --bootproto static --ip 192.168.109.49 --netmask 255.255.255.0 --gateway 192.168.109.254 --nameserver 192.168.109.1
rootpw itsasecret
firewall --enabled --trust=eth0 --port=22:tcp,80:tcp
authconfig --enableshadow --enablemd5
selinux --disabled
timezone --utc Asia/Tokyo
bootloader --location=mbr --driveorder=xvda --append="console=xvc0"
reboot

# Partitioning
clearpart --all --initlabel --drives=xvda
part /boot --fstype ext3 --size=100 --ondisk=xvda
part / --fstype ext3 --size=1024 --grow
part swap --fstype swap --size=512

%packages
@core
@development-libs
@development-tools
@legacy-software-development

この Kickstart ファイルも要所を見ていきます。

url には CentOS のインストールイメージがあるところを指定しておきます。外部のサイトを指定してもよいですが、それだとネットワークの回線が細いとインストールに時間がかかるので、インストーラの ISO9660 のイメージをダウンロードしておいて、上述のように ISO9660 イメージをシステムにマウントして、インストールイメージが入っているディレクトリが http で見えるように設定しておくといいでしょう。

lang には en_US.UTF-8 を指定します。日本語が通らないかもしれないコンソールで作業をすることが多いので、必ず表示できる設定を選んでおいたほうがよいかと思います。ただ、何故かここで un_US.UTF-8 を選んだのにインストールの時には確認のプロンプトが表示されました。ここは自動化しないのですかね。

network には静的にアドレスを割り振るように設定しました。DHCP Client にするための設定は上述のWikiに詳しい解説があります。

root のパスワードもここで指定します。

firewall は iptables の設定です。ここでは ssh と http の通信は通すように設定しておきます。

selinux は使わないので disabled を指定しておきます。

timezone は Asia/Tokyo を指定します。ここで指定できる値は、既にOSが入っている環境なら /usr/share/zoneinfo の中にあるファイルの名前を見れば一覧できます。

ハードディスクのパーティッションの切り方は clearpert と part によって指定します。
まずは全てのパーティッションを削除します。そして /boot に 100MB、スワップに 512MB、/ に残りの容量を割り当てます。
最近の RedHat 系の Linux はデフォルトで LVM を使ってパーティッションを構成していますが、DomainU として運用する場合、LVM のディスクイメージを Domain0 から見る場合に手順がいろいろと面倒なので、古典的な方法でパーティッションを切った方が運用しやすいです。
Domain0 から LVM で構成されたディスクイメージをマウントするための方法としてはこのへんが参考になります。

パッケージは必要最小限のものだけインストールします。本当に必要最小限のものだけなら core のみを指定すればいいのですが、それだと gcc をはじめとした開発環境がインストールされないので、development-libs, development-tools, legacy-software-development も指定しておきます。

作成した Kickstart ファイルは、インストーラが動く DomainU から http で見えるところに置いておきます。

ここまでできたら、インストーラを動かすための DomainU を作成します。

% sudo xm create -c /etc/xen/centos4.installation

Kickstart に記述した手順で次々とインストーラの画面が切り替わっていきます。

インストールが終了したら、DomainU の設定ファイルをインストーラ用のものから実際に運用するものに置き換えます。修正個所は次の通りです。

--- centos4.dev.installer     2008-06-04 16:14:33.000000000 +0900
+++ centos4.dev       2008-06-04 15:41:19.000000000 +0900
-kernel = "/var/lib/xen/images/vmlinuz-CentOS4.6-Installer"
-ramdisk = "/var/lib/xen/images/initrd-CentOS4.6-Installer.img"
-extra = "text ks=http://somewhare/devel-ks.cfg"
 name = "centos4.dev"
 memory = "256"
 disk = [ 'tap:aio:/var/lib/xen/images/centos4.dev.img,xvda,w', ]
 vif = [ 'mac=00:16:3e:5b:b3:ec, bridge=xenbr0', ]
 uuid = "722e88f7-99bd-47ac-b644-89dab714ee22"
+bootloader="/usr/bin/pygrub"
 vcpus=1
-on_reboot = 'destroy'
-on_crash = 'destroy'
+on_reboot = 'restart'
+on_crash = 'restart'

kernel と ramdisk の指定をやめて bootloader を指定します。これでハードディスクイメージにインストールされたカーネルから起動するようになります。extra もインストーラのための指定で実運用には必要ないので削除します。on_reboot と on_crash には restart を指定しておきます。

設定ファイルを作成したら、次のようにして起動します。

% sudo xm create -c /etc/xen/centos4

これでインストールした OS が正常に起動すれば DomainU 作成完了です。

以上、virt-install のお世話にならず Xen の機能のみを使って DomainU を作成する方法でした。

基本的には handbook にある通りに作業をすればよいわけですが、物理的に完全に隔離された場所にサーバがあり、コンソールはおろか、リセットスイッチさえ押せないので、全ての作業をリモートから行う必要があります。

handbook の手順だと、一旦シングルユーザモードでの再起動が必要になりますが、リモートでアップグレードを行う場合には、そうするわけにはいきません。
マシンに接続されているキーボードにアクセスすることができないので、ブートマネージャにシングルユーザモードで起動する旨を伝えることもできないし、仮にさくらの人に何とかしてもらうことにして、シングルユーザモードで起動しても、telnet や ssh で中に入ることはできません。
シングルユーザモードですから、直接 root で作業をするしかないのです。

ということで、途中でシングルユーザモードでの再起動をしないで全ての作業を行う、というのが、今回のアップグレードの要になります。

さて、作業の手順です。

まずは cvsup を用いて最新版のソースを取ってきます。
/usr/share/examples/cvsup/standard-supfile あたりを参考に、次の内容でファイルを用意します。

*default host=cvsup2.jp.FreeBSD.org
*default base=/var/db
*default prefix=/usr
*default release=cvs tag=RELENG_6_3
*default delete use-rel-suffix

src-all

余談ですが、host として指定した cvsup2.jp.FreeBSD.org は、実はYahoo! JAPANのサーバだったりします^^;
Yahoo! JAPAN は FreeBSD のヘビーユーザとしても有名ですね。

; <<>> DiG 9.3.4-P1 <<>> cvsup2.jp.FreeBSD.org
;; global options:  printcmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 6497
;; flags: qr rd ra; QUERY: 1, ANSWER: 2, AUTHORITY: 0, ADDITIONAL: 0

;; QUESTION SECTION:
;cvsup2.jp.FreeBSD.org.         IN      A

;; ANSWER SECTION:
cvsup2.jp.FreeBSD.org.  3600    IN      CNAME   mukku.bsd.yahoo.co.jp.
mukku.bsd.yahoo.co.jp.  900     IN      A       203.216.196.85

;; Query time: 5 msec
;; SERVER: 210.188.224.10#53(210.188.224.10)
;; WHEN: Tue May 13 19:05:18 2008
;; MSG SIZE  rcvd: 90

作成したファイルを引数に指定して cvsup を実行。

% sudo cvsup -L 2 -g ~/releng_6_3-supfile

/usr/src 以下が 6.3-RELEASE の状態になります。

FreeBSD のソースからのアップグレードを解説しているサイトでは、いろんなところで /usr/src/UPDATINGM を熟読するように、と書いてあります。
でも、とてもじゃないけど全部熟読して理解できるほど FreeBSD に精通していないので、さらっと全体を眺めることにしました。

ここからは、作業のログを取っておくことにします。script コマンドを使うと、それ以降に端末に流れる文字をファイルに記録しておくことができます。

% script ~/upgrade.log

カーネルには GENERIC の設定をそのまま使うので、特にパラメータは指定することなく次のように実行します。

% cd /usr/src
% sudo make buildworld
% sudo make buildkernel
% sudo make installkernel
% sudo make installworld

どうやら 6.x からは audit グループが必要なようで、audit グループが無い状態で installworld しようとしたら、次のエラーが出て先に進めませんでした。

ERROR: Required audit group is missing, see /usr/src/UPDATING.
*** Error code 1 [#uea0ff7f]

Stop in /usr/src.
*** Error code 1 [#ca3dda06]

Stop in /usr/src.

他の 6.x 系のサーバの /etc/group を参考にしながら、次のようにしてグループを作成しました。

% sudo pw groupadd audit -g 77

ちなみに、audit のことはちゃんと /usr/src/UPDATING に書いてありました。

本来であれば installkernel の後でシングルユーザモードで起動して、その後に installworld, mergemaster とするそうですが、ここでは一気にやってしまうことにします。

installworld が済んだら mergemaster の実行に移ります。
これを実行することにより /etc 以下を新しいバージョンに対応させます。

基本的には i を押して、新しいファイルをインストールするのですが、/etc/group とか自分で編集した記憶があるファイルは上書きしてしまわないように注意が必要です。
diff 形式で差分が表示されているので、古いファイルを元に新しいファイルの内容を加えたり、新しいファイルに古い設定を加えたりしてマージします。
特に /etc/master.passwd のマージは要注意です。

mergemaster で m によるマージの作業は、癖があってとても使いやすいとは言えないものでした。
それでも、l とか l とか el とか押しながら、何度も途中で最初から編集をやり直しながら、マージしたファイルをインストールしていきます。

mergemaster が完了したら、OS を再起動します。
ここで、もしかして何かの設定がおかしくて ssh で入れないことも考えられるので、telnet でのログインを有効にしておきます。

FreeBSD では telnet は inetd 経由で起動されるので、/etc/inetd.conf を次のように設定しておきます。

% diff -cu inetd.conf.orig inetd.conf
--- inetd.conf.orig    2008-05-14 12:48:16.000000000 +0900
+++ inetd.conf 2008-05-14 13:16:16.000000000 +0900
@@ -12,7 +12,7 @@
 #ftp  stream  tcp6    nowait  root    /usr/libexec/lukemftpd  ftpd -l -r
 #ssh  stream  tcp     nowait  root    /usr/sbin/sshd          sshd -i -4
 #ssh  stream  tcp6    nowait  root    /usr/sbin/sshd          sshd -i -6
-#telnet       stream  tcp     nowait  root    /usr/libexec/telnetd    telnetd
+telnet        stream  tcp     nowait  root    /usr/libexec/telnetd    telnetd
 #telnet       stream  tcp6    nowait  root    /usr/libexec/telnetd    telnetd
 #shell        stream  tcp     nowait  root    /usr/libexec/rshd       rshd
 #shell        stream  tcp6    nowait  root    /usr/libexec/rshd       rshd

いよいよ再起動です。ちゃんと OS が上がってくるか緊張します。

% sudo /sbin/shutdown -r now

1,2分くらいして、ping が返ってくるようになりました。
無事 ssh でもログインできるようです。
uname -a して OS のバージョンが新しくなっていることを確認します。

FreeBSD localhost 6.3-RELEASE-p2 FreeBSD 6.3-RELEASE-p2 #0: Tue May 13 10:43:20 JST 2008     root@localhost:/usr/obj/usr/src/sys/GENERIC  i386

OS のバージョンが上がっていることを確認できたら、再起動前に設定した telnet のポートをすぐに閉じます。
/etc/inetd.conf の該当行をコメントアウトし、

% sudo kill -HUP `sudo cat /var/run/inetd.pid`

のようにして SIGHUP を送れば OK です。

OS のバージョンアップの次は、ports の再コンパイルです。
GENERIC では COMPAT_FREEBSD5 が設定されているので、FreeBSD 5.x 系のバイナリもそのまま動くと思われがちですが、中には動かないものもあるので、インストールされている ports は全て再コンパイルしてインストールすることにします。

まずは ports collection のアップデート。

% sudo cvsup -L 2 -h cvsup2.jp.FreeBSD.org /usr/share/examples/cvsup/ports-supfile

次に現在インストールされているパッケージの整合性のチェック。

% sudo pkgdb -F

もし pkgdb -F で

--->  Checking the package registry database
[Updating the pkgdb <format:bdb_btree> in /var/db/pkg ... /var/db/pkg/pkgdb.db: unexpected file type or format -- Invalid argument; rebuild needed] [Rebuilding the pkgdb
<format:bdb_btree> in /var/db/pkg ... /var/db/pkg/pkgdb.db: unexpected file type or format -- Invalid argument: Cannot update the pkgdb!]: Cannot update the pkgdb!]
</format:bdb_btree></format:bdb_btree>

のようなエラーが出た場合には、

% sudo rm /var/db/pkg/pkgdb.db /usr/ports/INDEX*.db
% sudo pkgdb -fu

とすればよさそうです。

一気にアップグレード。

% sudo portupgrade -afr

ports を含め、インストールされている全てのバイナリが新しくなったら、古いバイナリは削除してやります。

% cd /usr/src
% sudo make check-old
% sudo make delete-old
% sudo make delete-old-libs

アップグレートが完了したら、新しい OS のバイナリを作るための作業ディレクトリである /usr/obj も削除すると、/usr の空き容量が増えます。調べてみると、けっこうな容量を使っています。

% du -sh /usr/obj
734M    /usr/obj

handbook によると、

# cd /usr/obj
# chflags -R noschg *
# rm -rf *

とあり、schg フラグを落としてから削除するようにとのことだが、実際にどれくらい schg フラグが立っているファイルがあるのかと調べてみると、

% find /usr/obj -flags schg

1つも見つかりませんでした。なので chflags しないで直接削除しても大丈夫そうです。

また、GENERIC をそのまま使ってビルドした場合は、作ったバイナリがそのまま他のマシンでも使えるので、

% cd /usr; sudo tar zcf - obj src | ssh remotehost 'cd /usr; sudo tar zxf -'

のようにして他のマシンにもコピーすれば、コピーした先のマシンでは

% sudo make installkernel
% sudo make installworld
% sudo mergemaster

だけを実行すればよく、時間の節約になります。

以上、完全リモート操作による FreeBSD のメジャーバージョンアップの手順でした。

システム構成を図にすると、次のような感じになっています。

ちなみにこの図はgliffyというブラウザ上で図が作成できるサービスのフリーアカウント版で作りました。

使用しているサーバは、さくらインターネットの専用サーバです。回線は10Mスタンダードで、OSはCentOS 4を使用しています。前にFreeBSDにMogileFSをインストールする記事を書きましたが、あれからいろいろ問題が起こり、安定運用させるためにはLinux上で動作させるほうが安心、ということで、CentOS上で稼働させることにしました。

外部からのリクエストを一手に引き受けるリバースプロキシは、MogileFSのサーバ群だけでなく、JogNote本体のサービスの入口でもあります。リバースプロキシにはnginxというhttpdを使用しています。

MogileFSは3台のマシンで動作しており、そのうち2台でデュアルマスタによる冗長化をしたMySQLと、MogileFSを便利に使うためのラッパーAPIが動作しています。このラッパーAPIは、写真のアップロードやサムネイルの生成、アクセストークン付きのURLの発行などを行います。

ウェブ上の情報を探してた限りだと、現在のところMogileFSを用いてウェブサービスを運用しているところは、そんなに多くないように思います。JogNoteの一部としてMogileFSを運用し、そこで得たノウハウをここで紹介できたらいいなと思っています。

さて、今回はMogileFS上の device が突然壊れた場合でもちゃんと冗長化機能が働いているかどうかの実験をしたいと思います。

多くの場合、あるファイルは2個所に存在していれば十分な冗長性が確保できると考えられます。仮に片方のストレージが物理的に壊れてしまっても、もう片方が生きていればファイルの消失は避けられます。2台のストレージが同時に壊れる可能性は、そんなに高くはないでしょう。

MogileFSで2個所のストレージを定義するためには、device を2つ作成する必要があります。

しかし、本当に2つで大丈夫でしょうか？

仮に2つの device うちの1つが壊れたとします。すると、この時にMogileFS上には各々のデータは1つしか存在しないことになります。1つの device が壊れている間に追加されるデータもまた、1つしか作成されていないことになります。

すぐに壊れた device を復旧することができればいいですが、常にそうできるとも限らないので、device は3つ以上あると運用上都合がよいと考えられます。3つのうち1つが壊れてしまっても、壊れたことがわかった時点ですぐにその device をMogileFSから切り離せば(device の状態を dead にする)、その device に保存されていたデータはMogileFSの冗長化機能によって他の2つの device のどちらかに作成されます。この間に新たに追加されるデータもまた、この2つの device 上に作成されます。そして、2つの device で運用できている間に壊れた device を復旧して、また3つの構成に戻せばよいのです。

では、MogileFS上に3つの device を作成してみます。
まずは現在の状態をチェックしてみます。

% sudo -u mogile mogadm --trackers=127.0.0.1:6001 check
Checking trackers...
  127.0.0.1:6001 ... OK

Checking hosts...
No devices found on tracker(s).

まだ host も device も登録していないので、何も表示されています。
では、host を登録してみます。

% sudo -u mogile mogadm --trackers=127.0.0.1:6001 host add localhost --status=alive
% sudo -u mogile mogadm --trackers=127.0.0.1:6001 check
Checking trackers...
  127.0.0.1:6001 ... OK

Checking hosts...
  [ 1] localhost ... OK

Checking devices...
  host device         size(G)    used(G)    free(G)   use%   ob state   I/O%
  ---- ------------ ---------- ---------- ---------- ------ ---------- -----
  ---- ------------ ---------- ---------- ---------- ------
             total:     0.000      0.000      0.000   0.00%

localhostで動作する mogstored を host に登録することができました。--status オプションに alive を指定したので、OK になっています。--status オプションを指定しないとデフォルトでは down です。

続いて device を登録してみます。mogadm コマンドを実行する前に、実際にファイルを格納するためのディレクトリを作成しておきます。

% sudo -u mogile mkdir -p /home/mogile/var/mogdata/dev{1,2,3}

ディレクトリを作成したら、mogadm コマンドにて device を登録します。

% sudo -u mogile mogadm --trackers=127.0.0.1:6001 device add localhost 1 --status=alive
% sudo -u mogile mogadm --trackers=127.0.0.1:6001 device add localhost 2 --status=alive
% sudo -u mogile mogadm --trackers=127.0.0.1:6001 device add localhost 3 --status=alive
% sudo -u mogile mogadm --trackers=127.0.0.1:6001 check
Checking trackers...
  127.0.0.1:6001 ... OK

Checking hosts...
  [ 1] localhost ... OK

Checking devices...
  host device         size(G)    used(G)    free(G)   use%   ob state   I/O%
  ---- ------------ ---------- ---------- ---------- ------ ---------- -----
  [ 1] dev1            62.495      8.305     54.190  13.29%  writeable   0.0
  [ 1] dev2            62.495      8.305     54.190  13.29%  writeable   0.0
  [ 1] dev3            62.495      8.305     54.190  13.29%  writeable   0.0
  ---- ------------ ---------- ---------- ---------- ------
             total:   187.486     24.915    162.571  13.29%

ちゃと登録できているようです。

それでは domain と class を登録してみます。

% sudo -u mogile mogadm --trackers=127.0.0.1:6001 domain add testdomain
% sudo -u mogile mogadm --trackers=127.0.0.1:6001 domain list
 domain               class                mindevcount
-------------------- -------------------- -------------
 testdomain           default                   2
% mogadm --trackers=127.0.0.1:6001 class add testdomain testclass
% mogadm --trackers=127.0.0.1:6001 class list
 domain               class                mindevcount
-------------------- -------------------- -------------
 testdomain           default                   2
 testdomain           testclass                 2

mindevcount はMogileFS上に最低いくつのコピーを作成するか、という値です。ここでは2なので、2個所にファイルが保存される、ということになります。コピーを作成する数を明示的に指定するためには --mindevcount=3 のようにしてオプションを指定します。

さて、下準備ができたところで、実際にファイルを置いてみましょう。
MogileFS ClientはPerlによるAPIが用意されていますが、プログラムを組まなくても mogtool という付属のツールを使えばとりあえずファイルを置いたり消したりするくらいのことはできます。
では、ファイルを置いてみます。

% echo 'hello mogilefs.' > hellomogilefs.txt
% sudo -u mogile mogtool --trackers=127.0.0.1:6001 --domain=testdomain --class=testclass inject hellomogilefs.txt hellomogilefs
file hellomogilefs: 6effbe3656628417f044194d21ae8559, len = 16
Spawned child 1461 to deal with chunk number 1.
        chunk 1 saved in 0.14 seconds.
Child 1461 successfully finished with chunk 1.
Beginning replication wait: 1
% sudo -u mogile mogtool --trackers=127.0.0.1:6001 --domain=testdomain --class=testclass locate hellomogilefs

http://127.0.0.1:7500/dev1/0/000/000/0000000002.fid

http://127.0.0.1:7500/dev3/0/000/000/0000000002.fid

#2 paths found

2個所にファイルが置かれたことがわかります。

では dev1 が壊れたことにして、dev1 のstatusを dead にしてみます。

% sudo -u mogile mogadm --trackers=127.0.0.1:6001 device mark localhost dev1 dead
% sudo -u mogile mogadm --trackers=127.0.0.1:6001 check
Checking trackers...
  127.0.0.1:6001 ... OK

Checking hosts...
  [ 1] localhost ... OK

Checking devices...
  host device         size(G)    used(G)    free(G)   use%   ob state   I/O%
  ---- ------------ ---------- ---------- ---------- ------ ---------- -----
  [ 1] dev2            62.495      8.306     54.190  13.29%  writeable   0.0
  [ 1] dev3            62.495      8.306     54.190  13.29%  writeable   0.0
  ---- ------------ ---------- ---------- ---------- ------
             total:   124.991     16.611    108.380  13.29%

dev1 がなくなりました。dev1 に置かれていたファイルはどうなったでしょうか。

% sudo -u mogile mogtool --trackers=127.0.0.1:6001 --domain=testdomain --class=testclass locate hellomogilefs

http://127.0.0.1:7500/dev2/0/000/000/0000000002.fid

http://127.0.0.1:7500/dev3/0/000/000/0000000002.fid

#2 paths found

ちゃんと dev2 にコピーされていました。

以上、MogileFSのレプリケーション機能がちゃんと動作することが確認できました。画像などデータベースに格納するには大きいデータを冗長性を考慮して保持したい場合には便利なシステムだと思います。

1台のマシンを使って複数台で構成されるMogileFSの環境を作るために、 mogstored を異なるポートで複数起動しようとしたのですが、そこで手詰まりとなりました。1つのホストで動かすことのできる mogstored は1つだけのようです。

次のように2つ分の mogstored の設定ファイルと docroot で指定したディレクトリを用意して、 mogstored を起動させました。

/home/mogile/etc/mogstored1.conf

httplisten=0.0.0.0:7500
mgmtlisten=0.0.0.0:7501
docroot=/home/mogile/var/mogdata1

/home/mogile/etc/mogstored2.conf

httplisten=0.0.0.0:7502
mgmtlisten=0.0.0.0:7503
docroot=/home/mogile/var/mogdata2

% sudo -u mogile mkdir -p /home/mogile/var/mogdata{1,2}
% sudo mogstored --daemonize --config=/home/mogile/etc/mogstored1.conf
% sudo mogstored --daemonize --config=/home/mogile/etc/mogstored2.conf

とりあえず起動はします。

% ps auxww | grep mogstored
root    89967  0.0  2.5 11560 11028  ??  S     3:18PM   0:00.45 mogstored (perl)
root    89968  0.0  0.6  3124  2596  ??  S     3:18PM   0:00.05 mogstored [diskusage] (perl)
root    89969  0.0  0.6  3140  2608  ??  S     3:18PM   0:00.15 mogstored [iostat] (perl)
root    89970  0.0  1.1  5240  4736  ??  S     3:18PM   0:00.16 mogstored [fidsizes] (perl)
root    89974  0.0  2.5 11560 11048  ??  S     3:18PM   0:00.47 mogstored (perl)
root    89975  0.0  0.6  3124  2596  ??  S     3:18PM   0:00.05 mogstored [diskusage] (perl)
root    89976  0.0  0.6  3140  2608  ??  S     3:18PM   0:00.14 mogstored [iostat] (perl)
root    89978  0.0  1.1  5240  4736  ??  S     3:18PM   0:00.16 mogstored [fidsizes] (perl)

この状態で2つのStorage ServerをTrackerに登録しようとしたところでコケます。
1つ目は登録できます。当然ですね。

% sudo -u mogile mogadm --trackers=127.0.0.1:6001 host add localhost --port=7500
% sudo -u mogile mogadm --trackers=127.0.0.1:6001 check
Checking trackers...
  127.0.0.1:6001 ... OK

Checking hosts...
  [ 1] localhost ... skipping; status = down
No devices found on tracker(s).

2つ目は次のようなエラーを吐いて登録できません。

% sudo -u mogile mogadm --trackers=127.0.0.1:6001 host add localhost --port=7502
Host already exists.

ホスト名がかぶってるからいけないのかと思い、 /etc/hosts に次のような記述を追加して、再度登録しようかと思いましたけど、やっぱり駄目です。

% cat /etc/hosts | grep mogstored
127.0.0.1               mogstored1.localhost
127.0.0.1               mogstored2.localhost
% sudo -u mogile mogadm --trackers=127.0.0.1:6001 host add mogstored2.localhost --port=7502
Failure creating host: dup Duplicate name/number used.

今度はエラーメッセージは違いますけど、やっぱり登録できません。インストールしたり設定をいじってみたところ、1台のホストで複数台の mogstored が動作してもよさそうなのですが、登録できないことにはしょうがありません。

では、どの段階で登録をはじいているのか、ソースコードを追ってみました。

まず、Failure creating host: dup Duplicate name/number used. のエラーですが、これは MogileFS/Worker/Query.pm の中の err_line というサブルーチンで定義されています。

# first argument: error code.
# second argument: optional error text.  text will be taken from code if no text provided.
sub err_line {
    my MogileFS::Worker::Query $self = shift;

    my $err_code = shift;
    my $err_text = shift || {
        'dup' => "Duplicate name/number used.",
        'after_mismatch' => "Pattern does not match the after-value?",
        'bad_params' => "Invalid parameters to command; please see documentation",
        'class_exists' => "That class already exists in that domain",
        'class_has_files' => "Class still has files, uanble to delete",
        'class_not_found' => "Class not found",
        'db' => "Database error",
        'domain_has_files' => "Domain still has files, uanble to delete",
        'domain_exists' => "That domain already exists",
        'domain_not_empty' => "Domain still has classes, unable to delete",
        'domain_not_found' => "Domain not found",
        'failure' => "Operation failed",
        'host_exists' => "That host already exists",
        'host_mismatch' => "The device specified doesn't belong to the host specified",
        'host_not_empty' => "Unable to delete host; it contains devices still",
        'host_not_found' => "Host not found",
        'invalid_chars' => "Patterns must not contain backslashes (\\) or percent signs (%).",
        'invalid_checker_level' => "Checker level invalid.  Please see documentation on this command.",
        'invalid_mindevcount' => "The mindevcount must be at least 1",
        'key_exists' => "Target key name already exists; can't overwrite.",
        'no_class' => "No class provided",
        'no_devices' => "No devices found to store file",
        'no_domain' => "No domain provided",
        'no_host' => "No host provided",
        'no_ip' => "IP required to create host",
        'no_port' => "Port required to create host",
        'none_match' => "No keys match that pattern and after-value (if any).",
        'plugin_aborted' => "Action aborted by plugin",
        'state_too_high' => "Status cannot go from dead to alive; must use down",
        'unknown_command' => "Unknown server command",
        'unknown_host' => "Host not found",
        'unknown_state' => "Invalid/unknown state",
        'unreg_domain' => "Domain name invalid/not found",
    }->{$err_code} || $err_code;

    my $delay = '';
    if ($self->{querystarttime}) {
        $delay = sprintf("%.4f ", Time::HiRes::tv_interval($self->{querystarttime}));
        $self->{querystarttime} = undef;
    }

    my $id = defined $self->{reqid} ? "$self->{reqid} " : '';

    $self->send_to_parent("${id}${delay}ERR $err_code " . eurl($err_text));
    return 0;
}

dup というのは、このエラーのキーのようですね。
では、このエラーを吐き出しているところを調べてみます。

MogileFS/Store.pm に create_host というホストを登録するのではないかと思われるサブルーチンを発見しました。

# return ne hostid, or throw 'dup' on error.
# NOTE: you need to put them into the initial 'down' state.
sub create_host {
    my ($self, $hostname, $ip) = @_;
    my $dbh = $self->dbh;
    # racy! lazy. no, better: portable! how often does this happen? :)
    my $hid = ($dbh->selectrow_array('SELECT MAX(hostid) FROM host') || 0) + 1;
    my $rv = $self->conddup(sub {
        $dbh->do("INSERT INTO host (hostid, hostname, hostip, status) ".
                 "VALUES (?, ?, ?, 'down')",
                 undef, $hid, $hostname, $ip);
    });
    return $hid if $rv;
    die "db failure";
}

同じファイルにある conddup というサブルーチンで INSERT クエリを発行しているので、conddup が dup を投げるのでしょう。

conddup は次の通り。やはりここでthrowされています。

# run a subref (presumably a database update) in an eval, because you expect it to
# maybe fail on duplicate key error, and throw a dup exception for you, else return
# its return value
sub conddup {
    my ($self, $code) = @_;
    my $rv = eval { $code->(); };
    throw("dup") if $self->was_duplicate_error;
    return $rv;
}

では、なぜ INSERT に失敗して dup が throw されてしまったのでしょうか。DBのスキーマを見てみることにします。

% mysql --host=127.0.0.1 --port=13306 -u mogile -p mogilefs
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 54
Server version: 5.0.45-log MySQL Community Server (GPL)

Type 'help;' or '\h' for help. Type '\c' to clear the buffer.

mysql> show fields from host;
+---------------+-----------------------------+------+-----+---------+-------+
| Field         | Type                        | Null | Key | Default | Extra |
+---------------+-----------------------------+------+-----+---------+-------+
| hostid        | mediumint(8) unsigned       | NO   | PRI |         |       |
| status        | enum('alive','dead','down') | YES  |     | NULL    |       |
| http_port     | mediumint(8) unsigned       | YES  |     | 7500    |       |
| http_get_port | mediumint(8) unsigned       | YES  |     | NULL    |       |
| hostname      | varchar(40)                 | YES  | UNI | NULL    |       |
| hostip        | varchar(15)                 | YES  | UNI | NULL    |       |
| altip         | varchar(15)                 | YES  | UNI | NULL    |       |
| altmask       | varchar(18)                 | YES  |     | NULL    |       |
+---------------+-----------------------------+------+-----+---------+-------+
8 rows in set (0.00 sec)

なるほど。hostname がユニークキーになっていますね。これでは登録できません。

ここを手動でUNIQUE制約を外してしまうこともできますが、きっと何か理由があってUNIQUEにしていることと思うのでこのままにしておいて、1つのホスト内で複数の mogstored を動作させるのは諦めました。

今度はLinux上にXenのDomainUを複数用意して、そこでMogileFSの冗長化実験をしたいと思います。

MogileFSについてのもっと詳しい説明は、以下のページがとても参考になります。

• Six Apart – Tech Talk Blog: 分散ファイルシステム MogileFS について
• Six Apart – Tech Talk Blog: MogileFS のインストールと初期設定

ちなみに、MogileFSはmemcachedで有名なDanga InteractiveのBrad Fitzpatrickさんが開発したものです。

MogileFSはPerlで書かれており、CPANにも登録されているので、CPAN経由でインストールするのが楽そうです。

ですが、MogileFSについてよく知らないし、他の現在運用中の何かと競合してしまっても困るので、完全に独立したディレクトリにPerlをインストールして、そこにsvnから取ってきた最新のMogileFSをインストールすることにしました。
MogileFSのインストール方法は本家のwikiが参考になります。
また、MogileFSの司令塔であるTrackerは非root権限で動作させる必要があるので、MogileFSのための専用のアカウントを作成することにします。

% sudo groupadd mogile -g 60056
% sudo useradd mogile -u 60056 -g mogile -s /usr/sbin/nologin

ユーザmogileのホームディレクトリは /home/mogile になるので、/home/mogile 以下にMogileFS環境を構築していきます。

まずはPerlを /home/mogile/perl にインストールします。

CPANからPerlのソースを取ってきて展開します。

% sudo -u mogile mkdir /home/mogile/src
% cd /home/mogile/src
% sudo -u mogile wget 'http://www.cpan.org/src/perl-5.10.0.tar.gz'
% sudo -u mogile tar zxvf perl-5.10.0.tar.gz
% cd perl-5.10.0

多くのオープンソースのツールに付属する autoconf による configure ではなくて、Configure という独自のシェルスクリプトを走らせることによりコンパイルオプションの設定をします。

% sudo -u mogile ./Configure -des \
> -Dmyhostname=localhost -Dperladmin=mogile@localhost \
> -Dcc=/usr/bin/gcc -Dprefix=/home/mogile/perl \
> -Dusethreads -Duseithreads -Duselargefiles

-des は、基本的にデフォルトの設定を使うという意味のオプションです。これを指定しないと、うんざりするくらいの量の質問に答えることになります。
-Dusethreads -Duseithreads を指定してスレッドを有効にします。スレッドを有効にしておかないと、後でCPANからインストールするIO::AIOのインストールが途中で失敗します。
その他のオプションについてはportsのMakefileやCentOSのspecファイルなんかを参考にして適当に指定します。

Configure でコンパイルオプションの設定をしたら、make してバイナリを作ります。

% sudo -u mogilge make

make が終了したら make test も実行します。いくつかのテストでコケますが、気にしないことにします。

% sudo -u mogile make test

make install でprefixに指定したPATHにインストールします。ここでは /home/mogile/perl にインストールされます。

% sudo -u mogile make install

実行中のシェルで /home/mogile/perl/bin/perl が一番先に検索されるようにPATHを通しておきます。

% export PATH="/home/mogile/perl/bin:$PATH"

which したり perl -v したりして、所定の場所のPerlが呼び出されて、バージョンが 5.10.0 になっていれば大丈夫です。

% which perl
/home/mogile/perl/bin/perl
% perl -v

This is perl, v5.10.0 built for i386-freebsd-thread-multi

Copyright 1987-2007, Larry Wall

Perl may be copied only under the terms of either the Artistic License or the
GNU General Public License, which may be found in the Perl 5 source kit.

Complete documentation for Perl, including FAQ lists, should be found on
this system using "man perl" or "perldoc perl".  If you have access to the
Internet, point your browser at http://www.perl.org/, the Perl Home Page.

Perl本体のインストールが済んだら、MogileFSを動作させるために必要なモジュールをCPANからインストールします。

• YAML
• IO::AIO
• Sys::Syscall
• Perlbal
• Net::Netmask
• Gearman::Server
• Gearman::Client::Async
• Gearman::Client
• Danga::Socket
• IO::WrapTie
• DBI
• DBD::mysql

素のままのPerlでMogileFSのServerをインストールしようとすると次のようにWarningが出ます。

% cd /home/mogile/src/mogilefs-src/server
% perl Makefile.PL
Checking if your kit is complete...
Looks good
Warning: prerequisite Danga::Socket 1.56 not found.
Warning: prerequisite Gearman::Client 1.07 not found.
Warning: prerequisite Gearman::Client::Async 0.93 not found.
Warning: prerequisite Gearman::Server 1.08 not found.
Warning: prerequisite Net::Netmask 0 not found.
Warning: prerequisite Perlbal 1.53 not found.
Warning: prerequisite Sys::Syscall 0.22 not found.
Writing Makefile for mogilefs-server

IO::WrapTie はClientをインストールする時に、IO::AIO は mogstored を起動する時に、DBI, DBD::mysql は mogilefsd を起動する時に、YAML はCPAN実行中のどこかで、それぞれ必要です。

また、CPANを最初に走らせるとCPANのための設定についていろいろ聞かれるので、これも適当に答えておきます。

モジュールをインストールする際にtestが失敗するためにインストールできないものがけっこうあります。ここではとりあえずインストールしたいので、

cpan> force install modulename

として強制的にインストールしてしまうことにします。

必要なモジュールのインストールが済んだら、いよいよMogileFSのインストールにうつります。

まずは、svnからソースをチェックアウトしてきます。

% cd /home/mogile/src
% sudo -u mogile svn checkout http://code.sixapart.com/svn/mogilefs/trunk mogilefs-src

Server,Client,Utilsの順番でインストールしていきます。この段階でまだ足りないモジュールがあるようなら、随時インストールすることにします。
また、MogileFSも make test で失敗しますが、これも気にせずインストールしてしまうことにします。

Serverのインストール。

% cd /home/mogile/src/mogilefs-src/server
% sudo -u mogile perl Makefile.PL
% sudo -u mogile make
% sudo -u mogile make test
% sudo -u mogile make install

Clientのインストール。

% cd /home/mogile/src/mogilefs-src/api/perl/MogileFS-Client
% sudo -u mogile perl Makefile.PL
% sudo -u mogile make
% sudo -u mogile make test
% sudo -u mogile make install

Utilsのインストール。

% cd /home/mogile/src/mogilefs-src/utils
% sudo -u mogile perl Makefile.PL
% sudo -u mogile make
% sudo -u mogile make test
% sudo -u mogile make install

これでインストールは完了です。

次はMogileFSを動作させるための設定をします。

MogileFSを動作させるためには、以下の3つの設定が必要です。

• Database(mysqld)
• Tracker(mogilefsd)
• Storage Server(mogstored)

Databaseの設定は、MogileFS付属の mogdbsetup というツールを使って行います。
例えば localhost 上の 13306 番ポートで動作している mysqld にMogileFS用のデータベースを作成するためには、次のように引数を指定して実行します。
--yes オプションを指定すると、全ての質問にyesと答え、--verbose オプションは実際にツールが実行しているSQL文などをターミナルに表示します。

% sudo -u mogile mogdbsetup --dbhost=127.0.0.1 --dbport=13306 \
> --dbname=mogilefs --dbuser=mogile --dbpassword=sekrit \
> --yes --verbose

Trackerの設定は mogilefsd.conf に必要事項を記述することによって行います。
デフォルトでは /etc/mogilefs/mogilefsd.conf が読まれますが、-c オプションによって mogilefsd.conf
の場所を指定できます。
/home/mogile/etc/mogilefsd.conf を以下の内容で作成します。

db_dsn DBI:mysql:mogilefs;host=127.0.0.1;port=13306
db_user mogile
db_pass sekrit
conf_port 6001
listener_jobs 5

次のようにして mofilefsd を起動します。

% sudo -u mogile mogilefsd -c /home/mogile/etc/mogilefsd.conf --daemon

Storage Serverの設定は mogstored.conf で行います。
デフォルトでは /etc/mogilefs/mogstored.conf が読まれますが、mogilefsd と同じく --config オプションによりconfの場所を指定することができます。
/home/mogile/etc/mogstored.conf を以下の内容で作成します。

httplisten=0.0.0.0:7500
mgmtlisten=0.0.0.0:7501
docroot=/home/mogile/var/mogdata

docroot に指定したディレクトリを作成します。

% sudo -u mogilefs mkdir /home/mogile/var/mogdata

次のようにして mogstored を起動します。mogstored はroot権限で起動します。

% sudo mogstored --daemonize --config=/home/mogile/etc/mogstored.conf

MogileFSの設定をするためには mogadm というツールを使います。
早速 mogadm を使用してTrackerに接続してみます。

% mogadm --trackers=127.0.0.1:6001 check
Checking trackers...
  127.0.0.1:6001 ... OK

Checking hosts...
No devices found on tracker(s).

まだ hosts の設定をしていないので何もデバイスが無いと言われていますが、
Trackerはちゃんと動作しているようです。

これでシステムとしてのMogileFSは出来上がりです。

2008年2月26日をもって「バージョン7.0.1.0未満」のWindows版Yahoo!メッセンジャー、および「バージョン2.5」のMacintosh版Yahoo!メッセンジャーのサポートを終了させていただきました。

とあるので、これまでSHIFT-JISとUTF8と両方の文字コードをサポートしていたけど、これからはUTF8一本に統一します、ということかもしれないですね。

仕事でもプライベートでもメッセンジャーを愛用していて、これが使えなくなってしまうととても不便です。

なので、これを回避するためのパッチを作ってみました。

#
# old_revision [d77adf1b9a4b44f121620f20e2643602e3f6776e]
#
# patch "libpurple/protocols/yahoo/util.c"
#  from [6a72fcc2054413ee7791e5c5cc62b6b18f4bcce0]
#    to [2a3725bcc455684e1c1bb42bd4982cc322732f38]
#
============================================================
--- libpurple/protocols/yahoo/util.c    6a72fcc2054413ee7791e5c5cc62b6b18f4bcce0
+++ libpurple/protocols/yahoo/util.c    2a3725bcc455684e1c1bb42bd4982cc322732f38
@@ -114,18 +114,15 @@ char *yahoo_string_encode(PurpleConnecti
        char *ret;
        const char *to_codeset;

-       if (yd->jp && utf8 && *utf8)
-               *utf8 = FALSE;
+       if (yd->jp)
+               return g_strdup(str);

        if (utf8 && *utf8) /* FIXME: maybe don't use utf8 if it'll fit in latin1 */
                return g_strdup(str);

-       if (yd->jp)
-               to_codeset = "SHIFT_JIS";
-       else
-               to_codeset = purple_account_get_string(purple_connection_get_account(gc), "local_charset",  "ISO-8859-1");
+       to_codeset = purple_account_get_string(purple_connection_get_account(gc), "local_charset",  "ISO-8859-1");
+       ret = g_convert_with_fallback(str, -1, to_codeset, "UTF-8", "?", NULL, NULL, NULL);

-       ret = g_convert_with_fallback(str, -1, to_codeset, "UTF-8", "?", NULL, NULL, NULL);
        if (ret)
                return ret;
        else

やっていることは簡単。これまでYahoo!JAPAN MessengerだったらメッセージをSHIFT-JISに変換して送信していたものを、今度からはUTF8のまま送るようにしただけです。

このパッチをあてて作ったWindowsバイナリを置いておくので、よかったら使ってみてください。

このツールの中でやっていることが知りたくてソースを読んでいたのですが、気になる記述がありました。

  'status')
    # First, check to see if pid file exists
    if test -s "$server_pid_file" ; then
      read mysqld_pid < $server_pid_file
      if kill -0 $mysqld_pid 2>/dev/null ; then
        log_success_msg "MySQL running ($mysqld_pid)"
        exit 0
      else
        log_failure_msg "MySQL is not running, but PID file exists"
        exit 1
      fi

これは、mysqldが動作しているのかどうかを調べるcase文の中なのですが、

'kill -0 $mysqld_pid'

mysqldのプロセスに対してシグナル 0 を送信しています。このシグナル 0 って何ですかね？
FreeBSDで /usr/include/sys/signal.h の中を見て 0 が何かを探したのですが、見つけることができませんでした。

OS側でシグナル 0 に対する定義が無いとすれば、アプリケーション側で 0 に対して何か特別な扱いをしているのかもしれません。そこで、MySQLのダウンロードページからバージョン5.0.51aのソースをダウンロードして、MySQLの中を追ってみることにしました。

sql/mysqld.cc の pthread_handler_t signal_hand(void *arg) という関数が、送られてきたシグナルをトラップするための関数のようです。さて、この中の処理を追っていくと、

    default:
#ifdef EXTRA_DEBUG
      sql_print_warning("Got signal: %d  error: %d",sig,error); /* purecov: tested */
#endif
      break;                                    /* purecov: tested */

ちゃんと名前のついたシグナルについては上のほうの case 文で行うべき処理の記述があるのですが、0 についてはなくて、default でまとめて引き受けられてしまうようです。そして、default の中では特に何もしていません。

つまり、MySQLは未定義のシグナルを受け取ると「何もしない」ということでした。
mysql.serverの中で行われている kill -0 は、指定された番号のプロセスが本当に存在するのかどうかを確認するため行っている、ということのようです。

前後の処理の流れから、おそらくそうであろう、と予想はしていましたが、気になって深追いしてみました。