redmineのインストールは本家をご覧ください。
面倒な方には自動インストーラー付きのツールも出ているので、そちらもどうぞ。

Ruby環境はrbenvで1.9.3にしてあります。
相変わらずPassengerのビルドで失敗して、どうしたもんかとググっていたら解決しました。

まず自分でnginxのソースをダウンロードして展開します。

$wget http://nginx.org/download/nginx-1.3.4.tar.gz
$tar zxvf nginx-1.3.4.tar.gz

後はインストールモジュールを実行して、全自動でインストールするか、自分で指定するか聞かれるので、2で自分で指定を選びます。

$sudo passenger-install-nginx-module

ソースのパスは先程展開したnginxのパスを指定、インストール先はお好みでどうぞ。
ここがミソで途中configureに何か足すかと聞かれますので、下記を指定します。

--with-ld-opt="-L /usr/local/lib"

これでnginxとpassengerの連携モジュールがビルドされますので、Passenger連携設定をconfに追記すればOKです。
#インストールの最後にこれをconfに書けと表示されます

Redmine Backlogsは公式のままで良いかと思いきや、git checkoutするとinstallコマンドで失敗しますので、cloneしてそのまま素通りしてください。
#v0.9.9で失敗したのですが、その下は試していません