Documentation/filesystems/orangefs.txt

   1 ORANGEFS
   2 ========
   3
   4 OrangeFS is an LGPL userspace scale-out parallel storage system. It is ideal
   5 for large storage problems faced by HPC, BigData, Streaming Video,
   6 Genomics, Bioinformatics.
   7
   8 Orangefs, originally called PVFS, was first developed in 1993 by
   9 Walt Ligon and Eric Blumer as a parallel file system for Parallel
  10 Virtual Machine (PVM) as part of a NASA grant to study the I/O patterns
  11 of parallel programs.
  12
  13 Orangefs features include:
  14
  15   * Distributes file data among multiple file servers
  16   * Supports simultaneous access by multiple clients
  17   * Stores file data and metadata on servers using local file system
  18     and access methods
  19   * Userspace implementation is easy to install and maintain
  20   * Direct MPI support
  21   * Stateless
  22
  23
  24 MAILING LIST
  25 ============
  26
  27 http://beowulf-underground.org/mailman/listinfo/pvfs2-users
  28
  29
  30 DOCUMENTATION
  31 =============
  32
  33 http://www.orangefs.org/documentation/
  34
  35
  36 USERSPACE FILESYSTEM SOURCE
  37 ===========================
  38
  39 http://www.orangefs.org/download
  40
  41 Orangefs versions prior to 2.9.3 would not be compatible with the
  42 upstream version of the kernel client.
  43
  44
  45 BUILDING THE USERSPACE FILESYSTEM ON A SINGLE SERVER
  46 ====================================================
  47
  48 When Orangefs is upstream, "--with-kernel" shouldn't be needed, but
  49 until then the path to where the kernel with the Orangefs kernel client
  50 patch was built is needed to ensure that pvfs2-client-core (the bridge
  51 between kernel space and user space) will build properly. You can omit
  52 --prefix if you don't care that things are sprinkled around in
  53 /usr/local.
  54
  55 ./configure --prefix=/opt/ofs --with-kernel=/path/to/orangefs/kernel
  56
  57 make
  58
  59 make install
  60
  61 Create an orangefs config file:
  62 /opt/ofs/bin/pvfs2-genconfig /etc/pvfs2.conf
  63
  64   for "Enter hostnames", use the hostname, don't let it default to
  65   localhost.
  66
  67 create a pvfs2tab file in /etc:
  68 cat /etc/pvfs2tab
  69 tcp://myhostname:3334/orangefs /mymountpoint pvfs2 defaults,noauto 0 0
  70
  71 create the mount point you specified in the tab file if needed:
  72 mkdir /mymountpoint
  73
  74 bootstrap the server:
  75 /opt/ofs/sbin/pvfs2-server /etc/pvfs2.conf -f
  76
  77 start the server:
  78 /opt/osf/sbin/pvfs2-server /etc/pvfs2.conf
  79
  80 Now the server is running. At this point you might like to
  81 prove things are working with:
  82
  83 /opt/osf/bin/pvfs2-ls /mymountpoint
  84
  85 You might not want to enforce selinux, it doesn't seem to matter by
  86 linux 3.11...
  87
  88 If stuff seems to be working, turn on the client core:
  89 /opt/osf/sbin/pvfs2-client -p /opt/osf/sbin/pvfs2-client-core
  90
  91 Mount your filesystem.
  92 mount -t pvfs2 tcp://myhostname:3334/orangefs /mymountpoint
  93
  94
  95 OPTIONS
  96 =======
  97
  98 The following mount options are accepted:
  99
 100   acl
 101     Allow the use of Access Control Lists on files and directories.
 102
 103   intr
 104     Some operations between the kernel client and the user space
 105     filesystem can be interruptible, such as changes in debug levels
 106     and the setting of tunable parameters.
 107
 108   local_lock
 109     Enable posix locking from the perspective of "this" kernel. The
 110     default file_operations lock action is to return ENOSYS. Posix
 111     locking kicks in if the filesystem is mounted with -o local_lock.
 112     Distributed locking is being worked on for the future.
 113
 114
 115 DEBUGGING
 116 =========
 117
 118 If you want the debug (GOSSIP) statments in a particular
 119 source file (inode.c for example) go to syslog:
 120
 121   echo inode > /sys/kernel/debug/orangefs/kernel-debug
 122
 123 No debugging (the default):
 124
 125   echo none > /sys/kernel/debug/orangefs/kernel-debug
 126
 127 Debugging from several source files:
 128
 129   echo inode,dir > /sys/kernel/debug/orangefs/kernel-debug
 130
 131 All debugging:
 132
 133   echo all > /sys/kernel/debug/orangefs/kernel-debug
 134
 135 Get a list of all debugging keywords:
 136
 137   cat /sys/kernel/debug/orangefs/debug-help