done AbstractFileSystem 抽象类

Author: O1.4

hadoop_common_fs_source_analyse.md

@@ -1387,6 +1387,224 @@ LocalFileSystem 从ChecksumFileSystem 类派生，主要实现其它一些支持
 LocalFileSystem 有一个属性rfs，用来表原生的文件系统。LocalFileSystem 重写了一些方法，
 如copyFromLocalFile 和copyToLocalFile 等。
 
+
+7 AbstractFileSystem 分析
+-------------------------
+在分析该类层次结构时，可以将AbstractFileSystem 与FileSystem 对应，FilterFs 与FilerFileSystem 对应，
+ChecksumFs与ChecksumFileSystem 对应，LocalFs与LocalFileSystem 对应，RawLocalFs与RawLocalFileSystem 对应。
+他们完成的功能及其相似。
+
+###7.1  AbstractFileSystem 抽象类
+AbstractFileSystem 是0.21 版本新出现的API，应该是用来替代FileSystem 的。
+该类为 Hadoop文件系统的实现提供了一个接口。AbstractFileSystem 是一个抽象类。
+它与FileSystem 有很多同名的方法。这些同名的方法完成相同的功能。
+比如 get，create 等等。其它的方法大都是抽象方法。
+
+图7-1:
+![img](./images/7-1.jpg)
+
+get 方法调用了createFileSystm 方法实现。
+而createFileSystm 方法实现与FileSystm的createFileSystm 可以说是完全一样。
+create 方法首先解析参数，然后调用createInternal 抽象方法。
+
+###7.2  FilterFs抽象类
+图7-2:
+
+![img](./images/7-2.png)
+
+FilterFs也是一个抽象类，它同FilterFileSystem 完全一样，只是拥有一个AbstractFileSystem类型的属性myFs。
+FilterFs将其作为基本的文件系统。FilterFs类几乎将所有重写的方法交给了其内部保存的myFs来处理。
+但在交给 myFs处理之前，自己可以做一些处理，以此来实现过滤。如：
+
+```java
+public FSDataOutputStream createInternal(Path f,
+    EnumSet<CreateFlag> flag, FsPermission absolutePermission, int bufferSize,
+    short replication, long blockSize, Progressable progress,
+    ChecksumOpt checksumOpt, boolean createParent) 
+      throws IOException, UnresolvedLinkException {
+    checkPath(f);
+    return myFs.createInternal(f, flag, absolutePermission, bufferSize,
+        replication, blockSize, progress, checksumOpt, createParent);
+  }
+```
+
+###7.3  ChecksumFs抽象类
+ChecksumFs抽象类的实现与ChecksumFileSystem 的实现完全一样。
+只是ChecksumFs使用的是ChecksumFs.ChecksumFSInputStream ，
+而ChecksumFileSystem使用的是ChecksumFileSystem.ChecksumFSInputStream。
+
+图7-3:
+
+![img](./images/7-3.png)
+
+###7.4  LocalFs类
+LocalFs仅仅有两个构造函数。如图7-4:
+
+![img][7-4.png]
+
+DelegateToFileSystem抽象类:
+
+![img][7-5.png]
+
+###7.5 DelegateToFileSystem
+顾名思义，DelegateToFileSystem 是一个代理类。
+它简单的将所有的操作交给 FileSystm类型的属性fsImpl 来处理。
+
+目前Hadoop源码中只有FtpFs和RawLocalFs是从其派生的。
+
+###7.6 FileContext类
+FileContext 类是0.21 版中提供的新的API，它为应用程序编写者提供了访问Hadoop文件系统的接口，例如create open list等方法。
+
+类图如图7-6:
+
+![img][7-6.jpg]
+
+#####7.6.1 Hadoop中的路径
+
+* Hadoop中使用Path 来表示一个文件路径。Path 中含有文件所在的URI 。
+* Hadoop支持URI 名字空间和URI 名字。Hadoop中URI 名字非常灵活，使用者可以在不知道
+* 服务器地址或名字的情况下，访问默认的文件系统。默认的文件系统通过配置文件来制定。
+
+Hadoop中路径名有三种形式：
+1. 完全限定的URI ：scheme://authority/path
+2. 以斜杠开头的路径：/path  表示相对于默认的文件系统，即相当于default-scheme:// default-authority/path
+3. 相对路径：path  相对于工作目录
+   完全限定的URI 和以斜杠开头的路径称为绝对路径。
+   但如下形式的路径则是非法的：scheme:foo/bar
+
+Hadoop 中文件和目录的路径用 Path 类表示。Path 的表示与 Unix 路径相似,使用’/’来分隔目
+录,而不是’\’。Path类图如图7-7:
+
+![img][7-7.jpg]
+
+####7.6.2 server side属性
+所有的文件系统实例(例如文件系统的部署)都有默认属性。这些属性叫做 server side (SS)
+defaults。像 create 这样的操作允许选择多种属性:要么当做参数传给它,要么使用 SS 属性。
+
+SS 属性由 FsServerDefaults 表示, 如图7-8:
+
+![img][7-8.jpg]
+
+与文件系统有关的 SS 属性有
+
+* the home directory (default is "/user/userName")
+* the initial wd (only for local fs)
+* replication factor 分片因子
+* block size
+* buffer size
+* bytesPerChecksum (if used).
+
+###7.6.3 FileContext
+FileContext 由默认文件系统、工作目录和umask 定义。
+
+获得一个FileContext 可以使用FileContext 的静态方法： getFileContext();getLocalFSFileContext()
+
+getFileContext  有多重重载的形式。但最终都是调用了如下函数：
+
+```java
+  /**
+   * Protected Static Factory methods for getting a FileContexts
+   * that take a AbstractFileSystem as input. To be used for testing.
+   */
+
+  /**
+   * Create a FileContext with specified FS as default using the specified
+   * config.
+   * 
+   * @param defFS
+   * @param aConf
+   * @return new FileContext with specifed FS as default.
+   */
+  public static FileContext getFileContext(final AbstractFileSystem defFS,
+                    final Configuration aConf) {
+    return new FileContext(defFS, FsPermission.getUMask(aConf), aConf);
+  }
+  
+  /**
+   * Create a FileContext for specified file system using the default config.
+   * 
+   * @param defaultFS
+   * @return a FileContext with the specified AbstractFileSystem
+   *                 as the default FS.
+   */
+  protected static FileContext getFileContext(
+    final AbstractFileSystem defaultFS) {
+    return getFileContext(defaultFS, new Configuration());
+  }
+
+```
+
+public void setWorkingDirectory(final  Path newWDir) throws IOException 用来设置工作目录。
+
+FileContext 中的很多方法是用来取代FileSystem 中的方法的。
+包括create，mkdir，delete，open ，setReplication ，rename ，
+setPermission ，setOwner ，setTimes ，getFileStatus，
+getFileLinkStatus，getLinkTarget ，getFileBlockLocations等方法在AbstractFileSystem 中都有对应的方法。
+这些方法的实现具有相同的形式。比如open 方法的代码如下：
+
+```java
+  /**
+   * Opens an FSDataInputStream at the indicated Path.
+   * 
+   * @param f the file name to open
+   * @param bufferSize the size of the buffer to be used.
+   * 
+   * @throws AccessControlException If access is denied
+   * @throws FileNotFoundException If file <code>f</code> does not exist
+   * @throws UnsupportedFileSystemException If file system for <code>f</code> is
+   *           not supported
+   * @throws IOException If an I/O error occurred
+   * 
+   * Exceptions applicable to file systems accessed over RPC:
+   * @throws RpcClientException If an exception occurred in the RPC client
+   * @throws RpcServerException If an exception occurred in the RPC server
+   * @throws UnexpectedServerException If server implementation throws 
+   *           undeclared exception to RPC server
+   */
+  public FSDataInputStream open(final Path f, final int bufferSize)
+      throws AccessControlException, FileNotFoundException,
+      UnsupportedFileSystemException, IOException {
+    final Path absF = fixRelativePart(f);
+    return new FSLinkResolver<FSDataInputStream>() {
+      @Override
+      public FSDataInputStream next(final AbstractFileSystem fs, final Path p) 
+        throws IOException, UnresolvedLinkException {
+        return fs.open(p, bufferSize);
+      }
+    }.resolve(this, absF);
+  }
+```
+
+内部FSLinkResolver<T>抽象模板使用来解析路径中的符号链接的。
+public abstract T next(final AbstractFileSystem fs, final Path p)为其抽象方法。
+resolve 方法如下：
+
+```java
+  /**
+   * Resolves all symbolic links in the specified path.
+   * Returns the new path object.
+   */
+  protected Path resolve(final Path f) throws FileNotFoundException,
+      UnresolvedLinkException, AccessControlException, IOException {
+    return new FSLinkResolver<Path>() {
+      @Override
+      public Path next(final AbstractFileSystem fs, final Path p) 
+        throws IOException, UnresolvedLinkException {
+        return fs.resolvePath(p);
+      }
+    }.resolve(this, f);
+  }
+```
+
+FileContext 的getFSofPath 方法用来获得支持指定路径path 的文件系统。
+该方法首先检查路径path 是不是属于默认文件系统支持的路径，
+如果是则返回 FileContext.defaultFS 属性；否则AbstractFileSystem.get来获取对应的文件系统。
+
+在获得文件系统fs 之后，resolve 会调用next 方法，并返回其结果。
+如果出现异常，则解析路径中的符号链接，再次调用next 。
+
+总的来说，FileContext.open 是通过调用AbstractFileSystem.open来实现的。
+
   [3-1.jpg]: ./images/3-1.jpg
   [4-1.png]: ./images/4-1.png
   [4-2.png]: ./images/4-2.png
@@ -1402,3 +1620,10 @@ LocalFileSystem 有一个属性rfs，用来表原生的文件系统。LocalFileS
   [5-7.jpg]: ./images/5-7.jpg
   [5-8.jpg]: ./images/5-8.jpg
   [5-9.jpg]: ./images/5-9.jpg
+  [7-4.png]: ./images/7-4.png
+  [7-5.png]: ./images/7-5.png
+  [7-6.jpg]: ./images/7-6.jpg
+  [7-7.jpg]: ./images/7-7.jpg
+  [7-8.jpg]: ./images/7-8.jpg
+
+