fs/xfs/xfs_reflink.c

   1 /*
   2  * Copyright (C) 2016 Oracle.  All Rights Reserved.
   3  *
   4  * Author: Darrick J. Wong <darrick.wong@oracle.com>
   5  *
   6  * This program is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU General Public License
   8  * as published by the Free Software Foundation; either version 2
   9  * of the License, or (at your option) any later version.
  10  *
  11  * This program is distributed in the hope that it would be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * along with this program; if not, write the Free Software Foundation,
  18  * Inc.,  51 Franklin St, Fifth Floor, Boston, MA  02110-1301, USA.
  19  */
  20 #include "xfs.h"
  21 #include "xfs_fs.h"
  22 #include "xfs_shared.h"
  23 #include "xfs_format.h"
  24 #include "xfs_log_format.h"
  25 #include "xfs_trans_resv.h"
  26 #include "xfs_mount.h"
  27 #include "xfs_defer.h"
  28 #include "xfs_da_format.h"
  29 #include "xfs_da_btree.h"
  30 #include "xfs_inode.h"
  31 #include "xfs_trans.h"
  32 #include "xfs_inode_item.h"
  33 #include "xfs_bmap.h"
  34 #include "xfs_bmap_util.h"
  35 #include "xfs_error.h"
  36 #include "xfs_dir2.h"
  37 #include "xfs_dir2_priv.h"
  38 #include "xfs_ioctl.h"
  39 #include "xfs_trace.h"
  40 #include "xfs_log.h"
  41 #include "xfs_icache.h"
  42 #include "xfs_pnfs.h"
  43 #include "xfs_btree.h"
  44 #include "xfs_refcount_btree.h"
  45 #include "xfs_refcount.h"
  46 #include "xfs_bmap_btree.h"
  47 #include "xfs_trans_space.h"
  48 #include "xfs_bit.h"
  49 #include "xfs_alloc.h"
  50 #include "xfs_quota_defs.h"
  51 #include "xfs_quota.h"
  52 #include "xfs_btree.h"
  53 #include "xfs_bmap_btree.h"
  54 #include "xfs_reflink.h"
  55 #include "xfs_iomap.h"
  56 #include "xfs_rmap_btree.h"
  57 #include "xfs_sb.h"
  58 #include "xfs_ag_resv.h"
  59
  60 /*
  61  * Copy on Write of Shared Blocks
  62  *
  63  * XFS must preserve "the usual" file semantics even when two files share
  64  * the same physical blocks.  This means that a write to one file must not
  65  * alter the blocks in a different file; the way that we'll do that is
  66  * through the use of a copy-on-write mechanism.  At a high level, that
  67  * means that when we want to write to a shared block, we allocate a new
  68  * block, write the data to the new block, and if that succeeds we map the
  69  * new block into the file.
  70  *
  71  * XFS provides a "delayed allocation" mechanism that defers the allocation
  72  * of disk blocks to dirty-but-not-yet-mapped file blocks as long as
  73  * possible.  This reduces fragmentation by enabling the filesystem to ask
  74  * for bigger chunks less often, which is exactly what we want for CoW.
  75  *
  76  * The delalloc mechanism begins when the kernel wants to make a block
  77  * writable (write_begin or page_mkwrite).  If the offset is not mapped, we
  78  * create a delalloc mapping, which is a regular in-core extent, but without
  79  * a real startblock.  (For delalloc mappings, the startblock encodes both
  80  * a flag that this is a delalloc mapping, and a worst-case estimate of how
  81  * many blocks might be required to put the mapping into the BMBT.)  delalloc
  82  * mappings are a reservation against the free space in the filesystem;
  83  * adjacent mappings can also be combined into fewer larger mappings.
  84  *
  85  * As an optimization, the CoW extent size hint (cowextsz) creates
  86  * outsized aligned delalloc reservations in the hope of landing out of
  87  * order nearby CoW writes in a single extent on disk, thereby reducing
  88  * fragmentation and improving future performance.
  89  *
  90  * D: --RRRRRRSSSRRRRRRRR--- (data fork)
  91  * C: ------DDDDDDD--------- (CoW fork)
  92  *
  93  * When dirty pages are being written out (typically in writepage), the
  94  * delalloc reservations are converted into unwritten mappings by
  95  * allocating blocks and replacing the delalloc mapping with real ones.
  96  * A delalloc mapping can be replaced by several unwritten ones if the
  97  * free space is fragmented.
  98  *
  99  * D: --RRRRRRSSSRRRRRRRR---
 100  * C: ------UUUUUUU---------
 101  *
 102  * We want to adapt the delalloc mechanism for copy-on-write, since the
 103  * write paths are similar.  The first two steps (creating the reservation
 104  * and allocating the blocks) are exactly the same as delalloc except that
 105  * the mappings must be stored in a separate CoW fork because we do not want
 106  * to disturb the mapping in the data fork until we're sure that the write
 107  * succeeded.  IO completion in this case is the process of removing the old
 108  * mapping from the data fork and moving the new mapping from the CoW fork to
 109  * the data fork.  This will be discussed shortly.
 110  *
 111  * For now, unaligned directio writes will be bounced back to the page cache.
 112  * Block-aligned directio writes will use the same mechanism as buffered
 113  * writes.
 114  *
 115  * Just prior to submitting the actual disk write requests, we convert
 116  * the extents representing the range of the file actually being written
 117  * (as opposed to extra pieces created for the cowextsize hint) to real
 118  * extents.  This will become important in the next step:
 119  *
 120  * D: --RRRRRRSSSRRRRRRRR---
 121  * C: ------UUrrUUU---------
 122  *
 123  * CoW remapping must be done after the data block write completes,
 124  * because we don't want to destroy the old data fork map until we're sure
 125  * the new block has been written.  Since the new mappings are kept in a
 126  * separate fork, we can simply iterate these mappings to find the ones
 127  * that cover the file blocks that we just CoW'd.  For each extent, simply
 128  * unmap the corresponding range in the data fork, map the new range into
 129  * the data fork, and remove the extent from the CoW fork.  Because of
 130  * the presence of the cowextsize hint, however, we must be careful
 131  * only to remap the blocks that we've actually written out --  we must
 132  * never remap delalloc reservations nor CoW staging blocks that have
 133  * yet to be written.  This corresponds exactly to the real extents in
 134  * the CoW fork:
 135  *
 136  * D: --RRRRRRrrSRRRRRRRR---
 137  * C: ------UU--UUU---------
 138  *
 139  * Since the remapping operation can be applied to an arbitrary file
 140  * range, we record the need for the remap step as a flag in the ioend
 141  * instead of declaring a new IO type.  This is required for direct io
 142  * because we only have ioend for the whole dio, and we have to be able to
 143  * remember the presence of unwritten blocks and CoW blocks with a single
 144  * ioend structure.  Better yet, the more ground we can cover with one
 145  * ioend, the better.
 146  */
 147
 148 /*
 149  * Given an AG extent, find the lowest-numbered run of shared blocks
 150  * within that range and return the range in fbno/flen.  If
 151  * find_end_of_shared is true, return the longest contiguous extent of
 152  * shared blocks.  If there are no shared extents, fbno and flen will
 153  * be set to NULLAGBLOCK and 0, respectively.
 154  */
 155 int
 156 xfs_reflink_find_shared(
 157         struct xfs_mount        *mp,
 158         xfs_agnumber_t          agno,
 159         xfs_agblock_t           agbno,
 160         xfs_extlen_t            aglen,
 161         xfs_agblock_t           *fbno,
 162         xfs_extlen_t            *flen,
 163         bool                    find_end_of_shared)
 164 {
 165         struct xfs_buf          *agbp;
 166         struct xfs_btree_cur    *cur;
 167         int                     error;
 168
 169         error = xfs_alloc_read_agf(mp, NULL, agno, 0, &agbp);
 170         if (error)
 171                 return error;
 172
 173         cur = xfs_refcountbt_init_cursor(mp, NULL, agbp, agno, NULL);
 174
 175         error = xfs_refcount_find_shared(cur, agbno, aglen, fbno, flen,
 176                         find_end_of_shared);
 177
 178         xfs_btree_del_cursor(cur, error ? XFS_BTREE_ERROR : XFS_BTREE_NOERROR);
 179
 180         xfs_buf_relse(agbp);
 181         return error;
 182 }
 183
 184 /*
 185  * Trim the mapping to the next block where there's a change in the
 186  * shared/unshared status.  More specifically, this means that we
 187  * find the lowest-numbered extent of shared blocks that coincides with
 188  * the given block mapping.  If the shared extent overlaps the start of
 189  * the mapping, trim the mapping to the end of the shared extent.  If
 190  * the shared region intersects the mapping, trim the mapping to the
 191  * start of the shared extent.  If there are no shared regions that
 192  * overlap, just return the original extent.
 193  */
 194 int
 195 xfs_reflink_trim_around_shared(
 196         struct xfs_inode        *ip,
 197         struct xfs_bmbt_irec    *irec,
 198         bool                    *shared,
 199         bool                    *trimmed)
 200 {
 201         xfs_agnumber_t          agno;
 202         xfs_agblock_t           agbno;
 203         xfs_extlen_t            aglen;
 204         xfs_agblock_t           fbno;
 205         xfs_extlen_t            flen;
 206         int                     error = 0;
 207
 208         /* Holes, unwritten, and delalloc extents cannot be shared */
 209         if (!xfs_is_reflink_inode(ip) || !xfs_bmap_is_real_extent(irec)) {
 210                 *shared = false;
 211                 return 0;
 212         }
 213
 214         trace_xfs_reflink_trim_around_shared(ip, irec);
 215
 216         agno = XFS_FSB_TO_AGNO(ip->i_mount, irec->br_startblock);
 217         agbno = XFS_FSB_TO_AGBNO(ip->i_mount, irec->br_startblock);
 218         aglen = irec->br_blockcount;
 219
 220         error = xfs_reflink_find_shared(ip->i_mount, agno, agbno,
 221                         aglen, &fbno, &flen, true);
 222         if (error)
 223                 return error;
 224
 225         *shared = *trimmed = false;
 226         if (fbno == NULLAGBLOCK) {
 227                 /* No shared blocks at all. */
 228                 return 0;
 229         } else if (fbno == agbno) {
 230                 /*
 231                  * The start of this extent is shared.  Truncate the
 232                  * mapping at the end of the shared region so that a
 233                  * subsequent iteration starts at the start of the
 234                  * unshared region.
 235                  */
 236                 irec->br_blockcount = flen;
 237                 *shared = true;
 238                 if (flen != aglen)
 239                         *trimmed = true;
 240                 return 0;
 241         } else {
 242                 /*
 243                  * There's a shared extent midway through this extent.
 244                  * Truncate the mapping at the start of the shared
 245                  * extent so that a subsequent iteration starts at the
 246                  * start of the shared region.
 247                  */
 248                 irec->br_blockcount = fbno - agbno;
 249                 *trimmed = true;
 250                 return 0;
 251         }
 252 }
 253
 254 /*
 255  * Trim the passed in imap to the next shared/unshared extent boundary, and
 256  * if imap->br_startoff points to a shared extent reserve space for it in the
 257  * COW fork.  In this case *shared is set to true, else to false.
 258  *
 259  * Note that imap will always contain the block numbers for the existing blocks
 260  * in the data fork, as the upper layers need them for read-modify-write
 261  * operations.
 262  */
 263 int
 264 xfs_reflink_reserve_cow(
 265         struct xfs_inode        *ip,
 266         struct xfs_bmbt_irec    *imap,
 267         bool                    *shared)
 268 {
 269         struct xfs_ifork        *ifp = XFS_IFORK_PTR(ip, XFS_COW_FORK);
 270         struct xfs_bmbt_irec    got;
 271         int                     error = 0;
 272         bool                    eof = false, trimmed;
 273         xfs_extnum_t            idx;
 274
 275         /*
 276          * Search the COW fork extent list first.  This serves two purposes:
 277          * first this implement the speculative preallocation using cowextisze,
 278          * so that we also unshared block adjacent to shared blocks instead
 279          * of just the shared blocks themselves.  Second the lookup in the
 280          * extent list is generally faster than going out to the shared extent
 281          * tree.
 282          */
 283
 284         if (!xfs_iext_lookup_extent(ip, ifp, imap->br_startoff, &idx, &got))
 285                 eof = true;
 286         if (!eof && got.br_startoff <= imap->br_startoff) {
 287                 trace_xfs_reflink_cow_found(ip, imap);
 288                 xfs_trim_extent(imap, got.br_startoff, got.br_blockcount);
 289
 290                 *shared = true;
 291                 return 0;
 292         }
 293
 294         /* Trim the mapping to the nearest shared extent boundary. */
 295         error = xfs_reflink_trim_around_shared(ip, imap, shared, &trimmed);
 296         if (error)
 297                 return error;
 298
 299         /* Not shared?  Just report the (potentially capped) extent. */
 300         if (!*shared)
 301                 return 0;
 302
 303         /*
 304          * Fork all the shared blocks from our write offset until the end of
 305          * the extent.
 306          */
 307         error = xfs_qm_dqattach_locked(ip, 0);
 308         if (error)
 309                 return error;
 310
 311         error = xfs_bmapi_reserve_delalloc(ip, XFS_COW_FORK, imap->br_startoff,
 312                         imap->br_blockcount, 0, &got, &idx, eof);
 313         if (error == -ENOSPC || error == -EDQUOT)
 314                 trace_xfs_reflink_cow_enospc(ip, imap);
 315         if (error)
 316                 return error;
 317
 318         trace_xfs_reflink_cow_alloc(ip, &got);
 319         return 0;
 320 }
 321
 322 /* Convert part of an unwritten CoW extent to a real one. */
 323 STATIC int
 324 xfs_reflink_convert_cow_extent(
 325         struct xfs_inode                *ip,
 326         struct xfs_bmbt_irec            *imap,
 327         xfs_fileoff_t                   offset_fsb,
 328         xfs_filblks_t                   count_fsb,
 329         struct xfs_defer_ops            *dfops)
 330 {
 331         xfs_fsblock_t                   first_block;
 332         int                             nimaps = 1;
 333
 334         if (imap->br_state == XFS_EXT_NORM)
 335                 return 0;
 336
 337         xfs_trim_extent(imap, offset_fsb, count_fsb);
 338         trace_xfs_reflink_convert_cow(ip, imap);
 339         if (imap->br_blockcount == 0)
 340                 return 0;
 341         return xfs_bmapi_write(NULL, ip, imap->br_startoff, imap->br_blockcount,
 342                         XFS_BMAPI_COWFORK | XFS_BMAPI_CONVERT, &first_block,
 343                         0, imap, &nimaps, dfops);
 344 }
 345
 346 /* Convert all of the unwritten CoW extents in a file's range to real ones. */
 347 int
 348 xfs_reflink_convert_cow(
 349         struct xfs_inode        *ip,
 350         xfs_off_t               offset,
 351         xfs_off_t               count)
 352 {
 353         struct xfs_bmbt_irec    got;
 354         struct xfs_defer_ops    dfops;
 355         struct xfs_mount        *mp = ip->i_mount;
 356         struct xfs_ifork        *ifp = XFS_IFORK_PTR(ip, XFS_COW_FORK);
 357         xfs_fileoff_t           offset_fsb = XFS_B_TO_FSBT(mp, offset);
 358         xfs_fileoff_t           end_fsb = XFS_B_TO_FSB(mp, offset + count);
 359         xfs_extnum_t            idx;
 360         bool                    found;
 361         int                     error = 0;
 362
 363         xfs_ilock(ip, XFS_ILOCK_EXCL);
 364
 365         /* Convert all the extents to real from unwritten. */
 366         for (found = xfs_iext_lookup_extent(ip, ifp, offset_fsb, &idx, &got);
 367              found && got.br_startoff < end_fsb;
 368              found = xfs_iext_get_extent(ifp, ++idx, &got)) {
 369                 error = xfs_reflink_convert_cow_extent(ip, &got, offset_fsb,
 370                                 end_fsb - offset_fsb, &dfops);
 371                 if (error)
 372                         break;
 373         }
 374
 375         /* Finish up. */
 376         xfs_iunlock(ip, XFS_ILOCK_EXCL);
 377         return error;
 378 }
 379
 380 /* Allocate all CoW reservations covering a range of blocks in a file. */
 381 int
 382 xfs_reflink_allocate_cow(
 383         struct xfs_inode        *ip,
 384         struct xfs_bmbt_irec    *imap,
 385         bool                    *shared,
 386         uint                    *lockmode)
 387 {
 388         struct xfs_mount        *mp = ip->i_mount;
 389         xfs_fileoff_t           offset_fsb = imap->br_startoff;
 390         xfs_filblks_t           count_fsb = imap->br_blockcount;
 391         struct xfs_bmbt_irec    got;
 392         struct xfs_defer_ops    dfops;
 393         struct xfs_trans        *tp = NULL;
 394         xfs_fsblock_t           first_block;
 395         int                     nimaps, error = 0;
 396         bool                    trimmed;
 397         xfs_filblks_t           resaligned;
 398         xfs_extlen_t            resblks = 0;
 399         xfs_extnum_t            idx;
 400
 401 retry:
 402         ASSERT(xfs_is_reflink_inode(ip));
 403         ASSERT(xfs_isilocked(ip, XFS_ILOCK_EXCL | XFS_ILOCK_SHARED));
 404
 405         /*
 406          * Even if the extent is not shared we might have a preallocation for
 407          * it in the COW fork.  If so use it.
 408          */
 409         if (xfs_iext_lookup_extent(ip, ip->i_cowfp, offset_fsb, &idx, &got) &&
 410             got.br_startoff <= offset_fsb) {
 411                 *shared = true;
 412
 413                 /* If we have a real allocation in the COW fork we're done. */
 414                 if (!isnullstartblock(got.br_startblock)) {
 415                         xfs_trim_extent(&got, offset_fsb, count_fsb);
 416                         *imap = got;
 417                         goto convert;
 418                 }
 419
 420                 xfs_trim_extent(imap, got.br_startoff, got.br_blockcount);
 421         } else {
 422                 error = xfs_reflink_trim_around_shared(ip, imap, shared, &trimmed);
 423                 if (error || !*shared)
 424                         goto out;
 425         }
 426
 427         if (!tp) {
 428                 resaligned = xfs_aligned_fsb_count(imap->br_startoff,
 429                         imap->br_blockcount, xfs_get_cowextsz_hint(ip));
 430                 resblks = XFS_DIOSTRAT_SPACE_RES(mp, resaligned);
 431
 432                 xfs_iunlock(ip, *lockmode);
 433                 error = xfs_trans_alloc(mp, &M_RES(mp)->tr_write, resblks, 0, 0, &tp);
 434                 *lockmode = XFS_ILOCK_EXCL;
 435                 xfs_ilock(ip, *lockmode);
 436
 437                 if (error)
 438                         return error;
 439
 440                 error = xfs_qm_dqattach_locked(ip, 0);
 441                 if (error)
 442                         goto out;
 443                 goto retry;
 444         }
 445
 446         error = xfs_trans_reserve_quota_nblks(tp, ip, resblks, 0,
 447                         XFS_QMOPT_RES_REGBLKS);
 448         if (error)
 449                 goto out;
 450
 451         xfs_trans_ijoin(tp, ip, 0);
 452
 453         xfs_defer_init(&dfops, &first_block);
 454         nimaps = 1;
 455
 456         /* Allocate the entire reservation as unwritten blocks. */
 457         error = xfs_bmapi_write(tp, ip, imap->br_startoff, imap->br_blockcount,
 458                         XFS_BMAPI_COWFORK | XFS_BMAPI_PREALLOC, &first_block,
 459                         resblks, imap, &nimaps, &dfops);
 460         if (error)
 461                 goto out_bmap_cancel;
 462
 463         /* Finish up. */
 464         error = xfs_defer_finish(&tp, &dfops, NULL);
 465         if (error)
 466                 goto out_bmap_cancel;
 467
 468         error = xfs_trans_commit(tp);
 469         if (error)
 470                 return error;
 471 convert:
 472         return xfs_reflink_convert_cow_extent(ip, imap, offset_fsb, count_fsb,
 473                         &dfops);
 474 out_bmap_cancel:
 475         xfs_defer_cancel(&dfops);
 476         xfs_trans_unreserve_quota_nblks(tp, ip, (long)resblks, 0,
 477                         XFS_QMOPT_RES_REGBLKS);
 478 out:
 479         if (tp)
 480                 xfs_trans_cancel(tp);
 481         return error;
 482 }
 483
 484 /*
 485  * Find the CoW reservation for a given byte offset of a file.
 486  */
 487 bool
 488 xfs_reflink_find_cow_mapping(
 489         struct xfs_inode                *ip,
 490         xfs_off_t                       offset,
 491         struct xfs_bmbt_irec            *imap)
 492 {
 493         struct xfs_ifork                *ifp = XFS_IFORK_PTR(ip, XFS_COW_FORK);
 494         xfs_fileoff_t                   offset_fsb;
 495         struct xfs_bmbt_irec            got;
 496         xfs_extnum_t                    idx;
 497
 498         ASSERT(xfs_isilocked(ip, XFS_ILOCK_EXCL | XFS_ILOCK_SHARED));
 499         ASSERT(xfs_is_reflink_inode(ip));
 500
 501         offset_fsb = XFS_B_TO_FSBT(ip->i_mount, offset);
 502         if (!xfs_iext_lookup_extent(ip, ifp, offset_fsb, &idx, &got))
 503                 return false;
 504         if (got.br_startoff > offset_fsb)
 505                 return false;
 506
 507         trace_xfs_reflink_find_cow_mapping(ip, offset, 1, XFS_IO_OVERWRITE,
 508                         &got);
 509         *imap = got;
 510         return true;
 511 }
 512
 513 /*
 514  * Trim an extent to end at the next CoW reservation past offset_fsb.
 515  */
 516 void
 517 xfs_reflink_trim_irec_to_next_cow(
 518         struct xfs_inode                *ip,
 519         xfs_fileoff_t                   offset_fsb,
 520         struct xfs_bmbt_irec            *imap)
 521 {
 522         struct xfs_ifork                *ifp = XFS_IFORK_PTR(ip, XFS_COW_FORK);
 523         struct xfs_bmbt_irec            got;
 524         xfs_extnum_t                    idx;
 525
 526         if (!xfs_is_reflink_inode(ip))
 527                 return;
 528
 529         /* Find the extent in the CoW fork. */
 530         if (!xfs_iext_lookup_extent(ip, ifp, offset_fsb, &idx, &got))
 531                 return;
 532
 533         /* This is the extent before; try sliding up one. */
 534         if (got.br_startoff < offset_fsb) {
 535                 if (!xfs_iext_get_extent(ifp, idx + 1, &got))
 536                         return;
 537         }
 538
 539         if (got.br_startoff >= imap->br_startoff + imap->br_blockcount)
 540                 return;
 541
 542         imap->br_blockcount = got.br_startoff - imap->br_startoff;
 543         trace_xfs_reflink_trim_irec(ip, imap);
 544 }
 545
 546 /*
 547  * Cancel CoW reservations for some block range of an inode.
 548  *
 549  * If cancel_real is true this function cancels all COW fork extents for the
 550  * inode; if cancel_real is false, real extents are not cleared.
 551  */
 552 int
 553 xfs_reflink_cancel_cow_blocks(
 554         struct xfs_inode                *ip,
 555         struct xfs_trans                **tpp,
 556         xfs_fileoff_t                   offset_fsb,
 557         xfs_fileoff_t                   end_fsb,
 558         bool                            cancel_real)
 559 {
 560         struct xfs_ifork                *ifp = XFS_IFORK_PTR(ip, XFS_COW_FORK);
 561         struct xfs_bmbt_irec            got, del;
 562         xfs_extnum_t                    idx;
 563         xfs_fsblock_t                   firstfsb;
 564         struct xfs_defer_ops            dfops;
 565         int                             error = 0;
 566
 567         if (!xfs_is_reflink_inode(ip))
 568                 return 0;
 569         if (!xfs_iext_lookup_extent(ip, ifp, offset_fsb, &idx, &got))
 570                 return 0;
 571
 572         while (got.br_startoff < end_fsb) {
 573                 del = got;
 574                 xfs_trim_extent(&del, offset_fsb, end_fsb - offset_fsb);
 575                 trace_xfs_reflink_cancel_cow(ip, &del);
 576
 577                 if (isnullstartblock(del.br_startblock)) {
 578                         error = xfs_bmap_del_extent_delay(ip, XFS_COW_FORK,
 579                                         &idx, &got, &del);
 580                         if (error)
 581                                 break;
 582                 } else if (del.br_state == XFS_EXT_UNWRITTEN || cancel_real) {
 583                         xfs_trans_ijoin(*tpp, ip, 0);
 584                         xfs_defer_init(&dfops, &firstfsb);
 585
 586                         /* Free the CoW orphan record. */
 587                         error = xfs_refcount_free_cow_extent(ip->i_mount,
 588                                         &dfops, del.br_startblock,
 589                                         del.br_blockcount);
 590                         if (error)
 591                                 break;
 592
 593                         xfs_bmap_add_free(ip->i_mount, &dfops,
 594                                         del.br_startblock, del.br_blockcount,
 595                                         NULL);
 596
 597                         /* Update quota accounting */
 598                         xfs_trans_mod_dquot_byino(*tpp, ip, XFS_TRANS_DQ_BCOUNT,
 599                                         -(long)del.br_blockcount);
 600
 601                         /* Roll the transaction */
 602                         error = xfs_defer_finish(tpp, &dfops, ip);
 603                         if (error) {
 604                                 xfs_defer_cancel(&dfops);
 605                                 break;
 606                         }
 607
 608                         /* Remove the mapping from the CoW fork. */
 609                         xfs_bmap_del_extent_cow(ip, &idx, &got, &del);
 610                 }
 611
 612                 if (!xfs_iext_get_extent(ifp, ++idx, &got))
 613                         break;
 614         }
 615
 616         /* clear tag if cow fork is emptied */
 617         if (!ifp->if_bytes)
 618                 xfs_inode_clear_cowblocks_tag(ip);
 619
 620         return error;
 621 }
 622
 623 /*
 624  * Cancel CoW reservations for some byte range of an inode.
 625  *
 626  * If cancel_real is true this function cancels all COW fork extents for the
 627  * inode; if cancel_real is false, real extents are not cleared.
 628  */
 629 int
 630 xfs_reflink_cancel_cow_range(
 631         struct xfs_inode        *ip,
 632         xfs_off_t               offset,
 633         xfs_off_t               count,
 634         bool                    cancel_real)
 635 {
 636         struct xfs_trans        *tp;
 637         xfs_fileoff_t           offset_fsb;
 638         xfs_fileoff_t           end_fsb;
 639         int                     error;
 640
 641         trace_xfs_reflink_cancel_cow_range(ip, offset, count);
 642         ASSERT(xfs_is_reflink_inode(ip));
 643
 644         offset_fsb = XFS_B_TO_FSBT(ip->i_mount, offset);
 645         if (count == NULLFILEOFF)
 646                 end_fsb = NULLFILEOFF;
 647         else
 648                 end_fsb = XFS_B_TO_FSB(ip->i_mount, offset + count);
 649
 650         /* Start a rolling transaction to remove the mappings */
 651         error = xfs_trans_alloc(ip->i_mount, &M_RES(ip->i_mount)->tr_write,
 652                         0, 0, 0, &tp);
 653         if (error)
 654                 goto out;
 655
 656         xfs_ilock(ip, XFS_ILOCK_EXCL);
 657         xfs_trans_ijoin(tp, ip, 0);
 658
 659         /* Scrape out the old CoW reservations */
 660         error = xfs_reflink_cancel_cow_blocks(ip, &tp, offset_fsb, end_fsb,
 661                         cancel_real);
 662         if (error)
 663                 goto out_cancel;
 664
 665         error = xfs_trans_commit(tp);
 666
 667         xfs_iunlock(ip, XFS_ILOCK_EXCL);
 668         return error;
 669
 670 out_cancel:
 671         xfs_trans_cancel(tp);
 672         xfs_iunlock(ip, XFS_ILOCK_EXCL);
 673 out:
 674         trace_xfs_reflink_cancel_cow_range_error(ip, error, _RET_IP_);
 675         return error;
 676 }
 677
 678 /*
 679  * Remap parts of a file's data fork after a successful CoW.
 680  */
 681 int
 682 xfs_reflink_end_cow(
 683         struct xfs_inode                *ip,
 684         xfs_off_t                       offset,
 685         xfs_off_t                       count)
 686 {
 687         struct xfs_ifork                *ifp = XFS_IFORK_PTR(ip, XFS_COW_FORK);
 688         struct xfs_bmbt_irec            got, del;
 689         struct xfs_trans                *tp;
 690         xfs_fileoff_t                   offset_fsb;
 691         xfs_fileoff_t                   end_fsb;
 692         xfs_fsblock_t                   firstfsb;
 693         struct xfs_defer_ops            dfops;
 694         int                             error;
 695         unsigned int                    resblks;
 696         xfs_filblks_t                   rlen;
 697         xfs_extnum_t                    idx;
 698
 699         trace_xfs_reflink_end_cow(ip, offset, count);
 700
 701         /* No COW extents?  That's easy! */
 702         if (ifp->if_bytes == 0)
 703                 return 0;
 704
 705         offset_fsb = XFS_B_TO_FSBT(ip->i_mount, offset);
 706         end_fsb = XFS_B_TO_FSB(ip->i_mount, offset + count);
 707
 708         /*
 709          * Start a rolling transaction to switch the mappings.  We're
 710          * unlikely ever to have to remap 16T worth of single-block
 711          * extents, so just cap the worst case extent count to 2^32-1.
 712          * Stick a warning in just in case, and avoid 64-bit division.
 713          */
 714         BUILD_BUG_ON(MAX_RW_COUNT > UINT_MAX);
 715         if (end_fsb - offset_fsb > UINT_MAX) {
 716                 error = -EFSCORRUPTED;
 717                 xfs_force_shutdown(ip->i_mount, SHUTDOWN_CORRUPT_INCORE);
 718                 ASSERT(0);
 719                 goto out;
 720         }
 721         resblks = XFS_NEXTENTADD_SPACE_RES(ip->i_mount,
 722                         (unsigned int)(end_fsb - offset_fsb),
 723                         XFS_DATA_FORK);
 724         error = xfs_trans_alloc(ip->i_mount, &M_RES(ip->i_mount)->tr_write,
 725                         resblks, 0, 0, &tp);
 726         if (error)
 727                 goto out;
 728
 729         xfs_ilock(ip, XFS_ILOCK_EXCL);
 730         xfs_trans_ijoin(tp, ip, 0);
 731
 732         /* If there is a hole at end_fsb - 1 go to the previous extent */
 733         if (!xfs_iext_lookup_extent(ip, ifp, end_fsb - 1, &idx, &got) ||
 734             got.br_startoff > end_fsb) {
 735                 ASSERT(idx > 0);
 736                 xfs_iext_get_extent(ifp, --idx, &got);
 737         }
 738
 739         /* Walk backwards until we're out of the I/O range... */
 740         while (got.br_startoff + got.br_blockcount > offset_fsb) {
 741                 del = got;
 742                 xfs_trim_extent(&del, offset_fsb, end_fsb - offset_fsb);
 743
 744                 /* Extent delete may have bumped idx forward */
 745                 if (!del.br_blockcount) {
 746                         idx--;
 747                         goto next_extent;
 748                 }
 749
 750                 ASSERT(!isnullstartblock(got.br_startblock));
 751
 752                 /*
 753                  * Don't remap unwritten extents; these are
 754                  * speculatively preallocated CoW extents that have been
 755                  * allocated but have not yet been involved in a write.
 756                  */
 757                 if (got.br_state == XFS_EXT_UNWRITTEN) {
 758                         idx--;
 759                         goto next_extent;
 760                 }
 761
 762                 /* Unmap the old blocks in the data fork. */
 763                 xfs_defer_init(&dfops, &firstfsb);
 764                 rlen = del.br_blockcount;
 765                 error = __xfs_bunmapi(tp, ip, del.br_startoff, &rlen, 0, 1,
 766                                 &firstfsb, &dfops);
 767                 if (error)
 768                         goto out_defer;
 769
 770                 /* Trim the extent to whatever got unmapped. */
 771                 if (rlen) {
 772                         xfs_trim_extent(&del, del.br_startoff + rlen,
 773                                 del.br_blockcount - rlen);
 774                 }
 775                 trace_xfs_reflink_cow_remap(ip, &del);
 776
 777                 /* Free the CoW orphan record. */
 778                 error = xfs_refcount_free_cow_extent(tp->t_mountp, &dfops,
 779                                 del.br_startblock, del.br_blockcount);
 780                 if (error)
 781                         goto out_defer;
 782
 783                 /* Map the new blocks into the data fork. */
 784                 error = xfs_bmap_map_extent(tp->t_mountp, &dfops, ip, &del);
 785                 if (error)
 786                         goto out_defer;
 787
 788                 /* Remove the mapping from the CoW fork. */
 789                 xfs_bmap_del_extent_cow(ip, &idx, &got, &del);
 790
 791                 error = xfs_defer_finish(&tp, &dfops, ip);
 792                 if (error)
 793                         goto out_defer;
 794 next_extent:
 795                 if (!xfs_iext_get_extent(ifp, idx, &got))
 796                         break;
 797         }
 798
 799         error = xfs_trans_commit(tp);
 800         xfs_iunlock(ip, XFS_ILOCK_EXCL);
 801         if (error)
 802                 goto out;
 803         return 0;
 804
 805 out_defer:
 806         xfs_defer_cancel(&dfops);
 807         xfs_trans_cancel(tp);
 808         xfs_iunlock(ip, XFS_ILOCK_EXCL);
 809 out:
 810         trace_xfs_reflink_end_cow_error(ip, error, _RET_IP_);
 811         return error;
 812 }
 813
 814 /*
 815  * Free leftover CoW reservations that didn't get cleaned out.
 816  */
 817 int
 818 xfs_reflink_recover_cow(
 819         struct xfs_mount        *mp)
 820 {
 821         xfs_agnumber_t          agno;
 822         int                     error = 0;
 823
 824         if (!xfs_sb_version_hasreflink(&mp->m_sb))
 825                 return 0;
 826
 827         for (agno = 0; agno < mp->m_sb.sb_agcount; agno++) {
 828                 error = xfs_refcount_recover_cow_leftovers(mp, agno);
 829                 if (error)
 830                         break;
 831         }
 832
 833         return error;
 834 }
 835
 836 /*
 837  * Reflinking (Block) Ranges of Two Files Together
 838  *
 839  * First, ensure that the reflink flag is set on both inodes.  The flag is an
 840  * optimization to avoid unnecessary refcount btree lookups in the write path.
 841  *
 842  * Now we can iteratively remap the range of extents (and holes) in src to the
 843  * corresponding ranges in dest.  Let drange and srange denote the ranges of
 844  * logical blocks in dest and src touched by the reflink operation.
 845  *
 846  * While the length of drange is greater than zero,
 847  *    - Read src's bmbt at the start of srange ("imap")
 848  *    - If imap doesn't exist, make imap appear to start at the end of srange
 849  *      with zero length.
 850  *    - If imap starts before srange, advance imap to start at srange.
 851  *    - If imap goes beyond srange, truncate imap to end at the end of srange.
 852  *    - Punch (imap start - srange start + imap len) blocks from dest at
 853  *      offset (drange start).
 854  *    - If imap points to a real range of pblks,
 855  *         > Increase the refcount of the imap's pblks
 856  *         > Map imap's pblks into dest at the offset
 857  *           (drange start + imap start - srange start)
 858  *    - Advance drange and srange by (imap start - srange start + imap len)
 859  *
 860  * Finally, if the reflink made dest longer, update both the in-core and
 861  * on-disk file sizes.
 862  *
 863  * ASCII Art Demonstration:
 864  *
 865  * Let's say we want to reflink this source file:
 866  *
 867  * ----SSSSSSS-SSSSS----SSSSSS (src file)
 868  *   <-------------------->
 869  *
 870  * into this destination file:
 871  *
 872  * --DDDDDDDDDDDDDDDDDDD--DDD (dest file)
 873  *        <-------------------->
 874  * '-' means a hole, and 'S' and 'D' are written blocks in the src and dest.
 875  * Observe that the range has different logical offsets in either file.
 876  *
 877  * Consider that the first extent in the source file doesn't line up with our
 878  * reflink range.  Unmapping  and remapping are separate operations, so we can
 879  * unmap more blocks from the destination file than we remap.
 880  *
 881  * ----SSSSSSS-SSSSS----SSSSSS
 882  *   <------->
 883  * --DDDDD---------DDDDD--DDD
 884  *        <------->
 885  *
 886  * Now remap the source extent into the destination file:
 887  *
 888  * ----SSSSSSS-SSSSS----SSSSSS
 889  *   <------->
 890  * --DDDDD--SSSSSSSDDDDD--DDD
 891  *        <------->
 892  *
 893  * Do likewise with the second hole and extent in our range.  Holes in the
 894  * unmap range don't affect our operation.
 895  *
 896  * ----SSSSSSS-SSSSS----SSSSSS
 897  *            <---->
 898  * --DDDDD--SSSSSSS-SSSSS-DDD
 899  *                 <---->
 900  *
 901  * Finally, unmap and remap part of the third extent.  This will increase the
 902  * size of the destination file.
 903  *
 904  * ----SSSSSSS-SSSSS----SSSSSS
 905  *                  <----->
 906  * --DDDDD--SSSSSSS-SSSSS----SSS
 907  *                       <----->
 908  *
 909  * Once we update the destination file's i_size, we're done.
 910  */
 911
 912 /*
 913  * Ensure the reflink bit is set in both inodes.
 914  */
 915 STATIC int
 916 xfs_reflink_set_inode_flag(
 917         struct xfs_inode        *src,
 918         struct xfs_inode        *dest)
 919 {
 920         struct xfs_mount        *mp = src->i_mount;
 921         int                     error;
 922         struct xfs_trans        *tp;
 923
 924         if (xfs_is_reflink_inode(src) && xfs_is_reflink_inode(dest))
 925                 return 0;
 926
 927         error = xfs_trans_alloc(mp, &M_RES(mp)->tr_ichange, 0, 0, 0, &tp);
 928         if (error)
 929                 goto out_error;
 930
 931         /* Lock both files against IO */
 932         if (src->i_ino == dest->i_ino)
 933                 xfs_ilock(src, XFS_ILOCK_EXCL);
 934         else
 935                 xfs_lock_two_inodes(src, dest, XFS_ILOCK_EXCL);
 936
 937         if (!xfs_is_reflink_inode(src)) {
 938                 trace_xfs_reflink_set_inode_flag(src);
 939                 xfs_trans_ijoin(tp, src, XFS_ILOCK_EXCL);
 940                 src->i_d.di_flags2 |= XFS_DIFLAG2_REFLINK;
 941                 xfs_trans_log_inode(tp, src, XFS_ILOG_CORE);
 942                 xfs_ifork_init_cow(src);
 943         } else
 944                 xfs_iunlock(src, XFS_ILOCK_EXCL);
 945
 946         if (src->i_ino == dest->i_ino)
 947                 goto commit_flags;
 948
 949         if (!xfs_is_reflink_inode(dest)) {
 950                 trace_xfs_reflink_set_inode_flag(dest);
 951                 xfs_trans_ijoin(tp, dest, XFS_ILOCK_EXCL);
 952                 dest->i_d.di_flags2 |= XFS_DIFLAG2_REFLINK;
 953                 xfs_trans_log_inode(tp, dest, XFS_ILOG_CORE);
 954                 xfs_ifork_init_cow(dest);
 955         } else
 956                 xfs_iunlock(dest, XFS_ILOCK_EXCL);
 957
 958 commit_flags:
 959         error = xfs_trans_commit(tp);
 960         if (error)
 961                 goto out_error;
 962         return error;
 963
 964 out_error:
 965         trace_xfs_reflink_set_inode_flag_error(dest, error, _RET_IP_);
 966         return error;
 967 }
 968
 969 /*
 970  * Update destination inode size & cowextsize hint, if necessary.
 971  */
 972 STATIC int
 973 xfs_reflink_update_dest(
 974         struct xfs_inode        *dest,
 975         xfs_off_t               newlen,
 976         xfs_extlen_t            cowextsize,
 977         bool                    is_dedupe)
 978 {
 979         struct xfs_mount        *mp = dest->i_mount;
 980         struct xfs_trans        *tp;
 981         int                     error;
 982
 983         if (is_dedupe && newlen <= i_size_read(VFS_I(dest)) && cowextsize == 0)
 984                 return 0;
 985
 986         error = xfs_trans_alloc(mp, &M_RES(mp)->tr_ichange, 0, 0, 0, &tp);
 987         if (error)
 988                 goto out_error;
 989
 990         xfs_ilock(dest, XFS_ILOCK_EXCL);
 991         xfs_trans_ijoin(tp, dest, XFS_ILOCK_EXCL);
 992
 993         if (newlen > i_size_read(VFS_I(dest))) {
 994                 trace_xfs_reflink_update_inode_size(dest, newlen);
 995                 i_size_write(VFS_I(dest), newlen);
 996                 dest->i_d.di_size = newlen;
 997         }
 998
 999         if (cowextsize) {
1000                 dest->i_d.di_cowextsize = cowextsize;
1001                 dest->i_d.di_flags2 |= XFS_DIFLAG2_COWEXTSIZE;
1002         }
1003
1004         if (!is_dedupe) {
1005                 xfs_trans_ichgtime(tp, dest,
1006                                    XFS_ICHGTIME_MOD | XFS_ICHGTIME_CHG);
1007         }
1008         xfs_trans_log_inode(tp, dest, XFS_ILOG_CORE);
1009
1010         error = xfs_trans_commit(tp);
1011         if (error)
1012                 goto out_error;
1013         return error;
1014
1015 out_error:
1016         trace_xfs_reflink_update_inode_size_error(dest, error, _RET_IP_);
1017         return error;
1018 }
1019
1020 /*
1021  * Do we have enough reserve in this AG to handle a reflink?  The refcount
1022  * btree already reserved all the space it needs, but the rmap btree can grow
1023  * infinitely, so we won't allow more reflinks when the AG is down to the
1024  * btree reserves.
1025  */
1026 static int
1027 xfs_reflink_ag_has_free_space(
1028         struct xfs_mount        *mp,
1029         xfs_agnumber_t          agno)
1030 {
1031         struct xfs_perag        *pag;
1032         int                     error = 0;
1033
1034         if (!xfs_sb_version_hasrmapbt(&mp->m_sb))
1035                 return 0;
1036
1037         pag = xfs_perag_get(mp, agno);
1038         if (xfs_ag_resv_critical(pag, XFS_AG_RESV_AGFL) ||
1039             xfs_ag_resv_critical(pag, XFS_AG_RESV_METADATA))
1040                 error = -ENOSPC;
1041         xfs_perag_put(pag);
1042         return error;
1043 }
1044
1045 /*
1046  * Unmap a range of blocks from a file, then map other blocks into the hole.
1047  * The range to unmap is (destoff : destoff + srcioff + irec->br_blockcount).
1048  * The extent irec is mapped into dest at irec->br_startoff.
1049  */
1050 STATIC int
1051 xfs_reflink_remap_extent(
1052         struct xfs_inode        *ip,
1053         struct xfs_bmbt_irec    *irec,
1054         xfs_fileoff_t           destoff,
1055         xfs_off_t               new_isize)
1056 {
1057         struct xfs_mount        *mp = ip->i_mount;
1058         bool                    real_extent = xfs_bmap_is_real_extent(irec);
1059         struct xfs_trans        *tp;
1060         xfs_fsblock_t           firstfsb;
1061         unsigned int            resblks;
1062         struct xfs_defer_ops    dfops;
1063         struct xfs_bmbt_irec    uirec;
1064         xfs_filblks_t           rlen;
1065         xfs_filblks_t           unmap_len;
1066         xfs_off_t               newlen;
1067         int                     error;
1068
1069         unmap_len = irec->br_startoff + irec->br_blockcount - destoff;
1070         trace_xfs_reflink_punch_range(ip, destoff, unmap_len);
1071
1072         /* No reflinking if we're low on space */
1073         if (real_extent) {
1074                 error = xfs_reflink_ag_has_free_space(mp,
1075                                 XFS_FSB_TO_AGNO(mp, irec->br_startblock));
1076                 if (error)
1077                         goto out;
1078         }
1079
1080         /* Start a rolling transaction to switch the mappings */
1081         resblks = XFS_EXTENTADD_SPACE_RES(ip->i_mount, XFS_DATA_FORK);
1082         error = xfs_trans_alloc(mp, &M_RES(mp)->tr_write, resblks, 0, 0, &tp);
1083         if (error)
1084                 goto out;
1085
1086         xfs_ilock(ip, XFS_ILOCK_EXCL);
1087         xfs_trans_ijoin(tp, ip, 0);
1088
1089         /* If we're not just clearing space, then do we have enough quota? */
1090         if (real_extent) {
1091                 error = xfs_trans_reserve_quota_nblks(tp, ip,
1092                                 irec->br_blockcount, 0, XFS_QMOPT_RES_REGBLKS);
1093                 if (error)
1094                         goto out_cancel;
1095         }
1096
1097         trace_xfs_reflink_remap(ip, irec->br_startoff,
1098                                 irec->br_blockcount, irec->br_startblock);
1099
1100         /* Unmap the old blocks in the data fork. */
1101         rlen = unmap_len;
1102         while (rlen) {
1103                 xfs_defer_init(&dfops, &firstfsb);
1104                 error = __xfs_bunmapi(tp, ip, destoff, &rlen, 0, 1,
1105                                 &firstfsb, &dfops);
1106                 if (error)
1107                         goto out_defer;
1108
1109                 /*
1110                  * Trim the extent to whatever got unmapped.
1111                  * Remember, bunmapi works backwards.
1112                  */
1113                 uirec.br_startblock = irec->br_startblock + rlen;
1114                 uirec.br_startoff = irec->br_startoff + rlen;
1115                 uirec.br_blockcount = unmap_len - rlen;
1116                 unmap_len = rlen;
1117
1118                 /* If this isn't a real mapping, we're done. */
1119                 if (!real_extent || uirec.br_blockcount == 0)
1120                         goto next_extent;
1121
1122                 trace_xfs_reflink_remap(ip, uirec.br_startoff,
1123                                 uirec.br_blockcount, uirec.br_startblock);
1124
1125                 /* Update the refcount tree */
1126                 error = xfs_refcount_increase_extent(mp, &dfops, &uirec);
1127                 if (error)
1128                         goto out_defer;
1129
1130                 /* Map the new blocks into the data fork. */
1131                 error = xfs_bmap_map_extent(mp, &dfops, ip, &uirec);
1132                 if (error)
1133                         goto out_defer;
1134
1135                 /* Update quota accounting. */
1136                 xfs_trans_mod_dquot_byino(tp, ip, XFS_TRANS_DQ_BCOUNT,
1137                                 uirec.br_blockcount);
1138
1139                 /* Update dest isize if needed. */
1140                 newlen = XFS_FSB_TO_B(mp,
1141                                 uirec.br_startoff + uirec.br_blockcount);
1142                 newlen = min_t(xfs_off_t, newlen, new_isize);
1143                 if (newlen > i_size_read(VFS_I(ip))) {
1144                         trace_xfs_reflink_update_inode_size(ip, newlen);
1145                         i_size_write(VFS_I(ip), newlen);
1146                         ip->i_d.di_size = newlen;
1147                         xfs_trans_log_inode(tp, ip, XFS_ILOG_CORE);
1148                 }
1149
1150 next_extent:
1151                 /* Process all the deferred stuff. */
1152                 error = xfs_defer_finish(&tp, &dfops, ip);
1153                 if (error)
1154                         goto out_defer;
1155         }
1156
1157         error = xfs_trans_commit(tp);
1158         xfs_iunlock(ip, XFS_ILOCK_EXCL);
1159         if (error)
1160                 goto out;
1161         return 0;
1162
1163 out_defer:
1164         xfs_defer_cancel(&dfops);
1165 out_cancel:
1166         xfs_trans_cancel(tp);
1167         xfs_iunlock(ip, XFS_ILOCK_EXCL);
1168 out:
1169         trace_xfs_reflink_remap_extent_error(ip, error, _RET_IP_);
1170         return error;
1171 }
1172
1173 /*
1174  * Iteratively remap one file's extents (and holes) to another's.
1175  */
1176 STATIC int
1177 xfs_reflink_remap_blocks(
1178         struct xfs_inode        *src,
1179         xfs_fileoff_t           srcoff,
1180         struct xfs_inode        *dest,
1181         xfs_fileoff_t           destoff,
1182         xfs_filblks_t           len,
1183         xfs_off_t               new_isize)
1184 {
1185         struct xfs_bmbt_irec    imap;
1186         int                     nimaps;
1187         int                     error = 0;
1188         xfs_filblks_t           range_len;
1189
1190         /* drange = (destoff, destoff + len); srange = (srcoff, srcoff + len) */
1191         while (len) {
1192                 trace_xfs_reflink_remap_blocks_loop(src, srcoff, len,
1193                                 dest, destoff);
1194                 /* Read extent from the source file */
1195                 nimaps = 1;
1196                 xfs_ilock(src, XFS_ILOCK_EXCL);
1197                 error = xfs_bmapi_read(src, srcoff, len, &imap, &nimaps, 0);
1198                 xfs_iunlock(src, XFS_ILOCK_EXCL);
1199                 if (error)
1200                         goto err;
1201                 ASSERT(nimaps == 1);
1202
1203                 trace_xfs_reflink_remap_imap(src, srcoff, len, XFS_IO_OVERWRITE,
1204                                 &imap);
1205
1206                 /* Translate imap into the destination file. */
1207                 range_len = imap.br_startoff + imap.br_blockcount - srcoff;
1208                 imap.br_startoff += destoff - srcoff;
1209
1210                 /* Clear dest from destoff to the end of imap and map it in. */
1211                 error = xfs_reflink_remap_extent(dest, &imap, destoff,
1212                                 new_isize);
1213                 if (error)
1214                         goto err;
1215
1216                 if (fatal_signal_pending(current)) {
1217                         error = -EINTR;
1218                         goto err;
1219                 }
1220
1221                 /* Advance drange/srange */
1222                 srcoff += range_len;
1223                 destoff += range_len;
1224                 len -= range_len;
1225         }
1226
1227         return 0;
1228
1229 err:
1230         trace_xfs_reflink_remap_blocks_error(dest, error, _RET_IP_);
1231         return error;
1232 }
1233
1234 /*
1235  * Link a range of blocks from one file to another.
1236  */
1237 int
1238 xfs_reflink_remap_range(
1239         struct file             *file_in,
1240         loff_t                  pos_in,
1241         struct file             *file_out,
1242         loff_t                  pos_out,
1243         u64                     len,
1244         bool                    is_dedupe)
1245 {
1246         struct inode            *inode_in = file_inode(file_in);
1247         struct xfs_inode        *src = XFS_I(inode_in);
1248         struct inode            *inode_out = file_inode(file_out);
1249         struct xfs_inode        *dest = XFS_I(inode_out);
1250         struct xfs_mount        *mp = src->i_mount;
1251         bool                    same_inode = (inode_in == inode_out);
1252         xfs_fileoff_t           sfsbno, dfsbno;
1253         xfs_filblks_t           fsblen;
1254         xfs_extlen_t            cowextsize;
1255         ssize_t                 ret;
1256
1257         if (!xfs_sb_version_hasreflink(&mp->m_sb))
1258                 return -EOPNOTSUPP;
1259
1260         if (XFS_FORCED_SHUTDOWN(mp))
1261                 return -EIO;
1262
1263         /* Lock both files against IO */
1264         lock_two_nondirectories(inode_in, inode_out);
1265         if (same_inode)
1266                 xfs_ilock(src, XFS_MMAPLOCK_EXCL);
1267         else
1268                 xfs_lock_two_inodes(src, dest, XFS_MMAPLOCK_EXCL);
1269
1270         /* Check file eligibility and prepare for block sharing. */
1271         ret = -EINVAL;
1272         /* Don't reflink realtime inodes */
1273         if (XFS_IS_REALTIME_INODE(src) || XFS_IS_REALTIME_INODE(dest))
1274                 goto out_unlock;
1275
1276         /* Don't share DAX file data for now. */
1277         if (IS_DAX(inode_in) || IS_DAX(inode_out))
1278                 goto out_unlock;
1279
1280         ret = vfs_clone_file_prep_inodes(inode_in, pos_in, inode_out, pos_out,
1281                         &len, is_dedupe);
1282         if (ret <= 0)
1283                 goto out_unlock;
1284
1285         trace_xfs_reflink_remap_range(src, pos_in, len, dest, pos_out);
1286
1287         /* Set flags and remap blocks. */
1288         ret = xfs_reflink_set_inode_flag(src, dest);
1289         if (ret)
1290                 goto out_unlock;
1291
1292         dfsbno = XFS_B_TO_FSBT(mp, pos_out);
1293         sfsbno = XFS_B_TO_FSBT(mp, pos_in);
1294         fsblen = XFS_B_TO_FSB(mp, len);
1295         ret = xfs_reflink_remap_blocks(src, sfsbno, dest, dfsbno, fsblen,
1296                         pos_out + len);
1297         if (ret)
1298                 goto out_unlock;
1299
1300         /* Zap any page cache for the destination file's range. */
1301         truncate_inode_pages_range(&inode_out->i_data, pos_out,
1302                                    PAGE_ALIGN(pos_out + len) - 1);
1303
1304         /*
1305          * Carry the cowextsize hint from src to dest if we're sharing the
1306          * entire source file to the entire destination file, the source file
1307          * has a cowextsize hint, and the destination file does not.
1308          */
1309         cowextsize = 0;
1310         if (pos_in == 0 && len == i_size_read(inode_in) &&
1311             (src->i_d.di_flags2 & XFS_DIFLAG2_COWEXTSIZE) &&
1312             pos_out == 0 && len >= i_size_read(inode_out) &&
1313             !(dest->i_d.di_flags2 & XFS_DIFLAG2_COWEXTSIZE))
1314                 cowextsize = src->i_d.di_cowextsize;
1315
1316         ret = xfs_reflink_update_dest(dest, pos_out + len, cowextsize,
1317                         is_dedupe);
1318
1319 out_unlock:
1320         xfs_iunlock(src, XFS_MMAPLOCK_EXCL);
1321         if (!same_inode)
1322                 xfs_iunlock(dest, XFS_MMAPLOCK_EXCL);
1323         unlock_two_nondirectories(inode_in, inode_out);
1324         if (ret)
1325                 trace_xfs_reflink_remap_range_error(dest, ret, _RET_IP_);
1326         return ret;
1327 }
1328
1329 /*
1330  * The user wants to preemptively CoW all shared blocks in this file,
1331  * which enables us to turn off the reflink flag.  Iterate all
1332  * extents which are not prealloc/delalloc to see which ranges are
1333  * mentioned in the refcount tree, then read those blocks into the
1334  * pagecache, dirty them, fsync them back out, and then we can update
1335  * the inode flag.  What happens if we run out of memory? :)
1336  */
1337 STATIC int
1338 xfs_reflink_dirty_extents(
1339         struct xfs_inode        *ip,
1340         xfs_fileoff_t           fbno,
1341         xfs_filblks_t           end,
1342         xfs_off_t               isize)
1343 {
1344         struct xfs_mount        *mp = ip->i_mount;
1345         xfs_agnumber_t          agno;
1346         xfs_agblock_t           agbno;
1347         xfs_extlen_t            aglen;
1348         xfs_agblock_t           rbno;
1349         xfs_extlen_t            rlen;
1350         xfs_off_t               fpos;
1351         xfs_off_t               flen;
1352         struct xfs_bmbt_irec    map[2];
1353         int                     nmaps;
1354         int                     error = 0;
1355
1356         while (end - fbno > 0) {
1357                 nmaps = 1;
1358                 /*
1359                  * Look for extents in the file.  Skip holes, delalloc, or
1360                  * unwritten extents; they can't be reflinked.
1361                  */
1362                 error = xfs_bmapi_read(ip, fbno, end - fbno, map, &nmaps, 0);
1363                 if (error)
1364                         goto out;
1365                 if (nmaps == 0)
1366                         break;
1367                 if (!xfs_bmap_is_real_extent(&map[0]))
1368                         goto next;
1369
1370                 map[1] = map[0];
1371                 while (map[1].br_blockcount) {
1372                         agno = XFS_FSB_TO_AGNO(mp, map[1].br_startblock);
1373                         agbno = XFS_FSB_TO_AGBNO(mp, map[1].br_startblock);
1374                         aglen = map[1].br_blockcount;
1375
1376                         error = xfs_reflink_find_shared(mp, agno, agbno, aglen,
1377                                         &rbno, &rlen, true);
1378                         if (error)
1379                                 goto out;
1380                         if (rbno == NULLAGBLOCK)
1381                                 break;
1382
1383                         /* Dirty the pages */
1384                         xfs_iunlock(ip, XFS_ILOCK_EXCL);
1385                         fpos = XFS_FSB_TO_B(mp, map[1].br_startoff +
1386                                         (rbno - agbno));
1387                         flen = XFS_FSB_TO_B(mp, rlen);
1388                         if (fpos + flen > isize)
1389                                 flen = isize - fpos;
1390                         error = iomap_file_dirty(VFS_I(ip), fpos, flen,
1391                                         &xfs_iomap_ops);
1392                         xfs_ilock(ip, XFS_ILOCK_EXCL);
1393                         if (error)
1394                                 goto out;
1395
1396                         map[1].br_blockcount -= (rbno - agbno + rlen);
1397                         map[1].br_startoff += (rbno - agbno + rlen);
1398                         map[1].br_startblock += (rbno - agbno + rlen);
1399                 }
1400
1401 next:
1402                 fbno = map[0].br_startoff + map[0].br_blockcount;
1403         }
1404 out:
1405         return error;
1406 }
1407
1408 /* Clear the inode reflink flag if there are no shared extents. */
1409 int
1410 xfs_reflink_clear_inode_flag(
1411         struct xfs_inode        *ip,
1412         struct xfs_trans        **tpp)
1413 {
1414         struct xfs_mount        *mp = ip->i_mount;
1415         xfs_fileoff_t           fbno;
1416         xfs_filblks_t           end;
1417         xfs_agnumber_t          agno;
1418         xfs_agblock_t           agbno;
1419         xfs_extlen_t            aglen;
1420         xfs_agblock_t           rbno;
1421         xfs_extlen_t            rlen;
1422         struct xfs_bmbt_irec    map;
1423         int                     nmaps;
1424         int                     error = 0;
1425
1426         ASSERT(xfs_is_reflink_inode(ip));
1427
1428         fbno = 0;
1429         end = XFS_B_TO_FSB(mp, i_size_read(VFS_I(ip)));
1430         while (end - fbno > 0) {
1431                 nmaps = 1;
1432                 /*
1433                  * Look for extents in the file.  Skip holes, delalloc, or
1434                  * unwritten extents; they can't be reflinked.
1435                  */
1436                 error = xfs_bmapi_read(ip, fbno, end - fbno, &map, &nmaps, 0);
1437                 if (error)
1438                         return error;
1439                 if (nmaps == 0)
1440                         break;
1441                 if (!xfs_bmap_is_real_extent(&map))
1442                         goto next;
1443
1444                 agno = XFS_FSB_TO_AGNO(mp, map.br_startblock);
1445                 agbno = XFS_FSB_TO_AGBNO(mp, map.br_startblock);
1446                 aglen = map.br_blockcount;
1447
1448                 error = xfs_reflink_find_shared(mp, agno, agbno, aglen,
1449                                 &rbno, &rlen, false);
1450                 if (error)
1451                         return error;
1452                 /* Is there still a shared block here? */
1453                 if (rbno != NULLAGBLOCK)
1454                         return 0;
1455 next:
1456                 fbno = map.br_startoff + map.br_blockcount;
1457         }
1458
1459         /*
1460          * We didn't find any shared blocks so turn off the reflink flag.
1461          * First, get rid of any leftover CoW mappings.
1462          */
1463         error = xfs_reflink_cancel_cow_blocks(ip, tpp, 0, NULLFILEOFF, true);
1464         if (error)
1465                 return error;
1466
1467         /* Clear the inode flag. */
1468         trace_xfs_reflink_unset_inode_flag(ip);
1469         ip->i_d.di_flags2 &= ~XFS_DIFLAG2_REFLINK;
1470         xfs_inode_clear_cowblocks_tag(ip);
1471         xfs_trans_ijoin(*tpp, ip, 0);
1472         xfs_trans_log_inode(*tpp, ip, XFS_ILOG_CORE);
1473
1474         return error;
1475 }
1476
1477 /*
1478  * Clear the inode reflink flag if there are no shared extents and the size
1479  * hasn't changed.
1480  */
1481 STATIC int
1482 xfs_reflink_try_clear_inode_flag(
1483         struct xfs_inode        *ip)
1484 {
1485         struct xfs_mount        *mp = ip->i_mount;
1486         struct xfs_trans        *tp;
1487         int                     error = 0;
1488
1489         /* Start a rolling transaction to remove the mappings */
1490         error = xfs_trans_alloc(mp, &M_RES(mp)->tr_write, 0, 0, 0, &tp);
1491         if (error)
1492                 return error;
1493
1494         xfs_ilock(ip, XFS_ILOCK_EXCL);
1495         xfs_trans_ijoin(tp, ip, 0);
1496
1497         error = xfs_reflink_clear_inode_flag(ip, &tp);
1498         if (error)
1499                 goto cancel;
1500
1501         error = xfs_trans_commit(tp);
1502         if (error)
1503                 goto out;
1504
1505         xfs_iunlock(ip, XFS_ILOCK_EXCL);
1506         return 0;
1507 cancel:
1508         xfs_trans_cancel(tp);
1509 out:
1510         xfs_iunlock(ip, XFS_ILOCK_EXCL);
1511         return error;
1512 }
1513
1514 /*
1515  * Pre-COW all shared blocks within a given byte range of a file and turn off
1516  * the reflink flag if we unshare all of the file's blocks.
1517  */
1518 int
1519 xfs_reflink_unshare(
1520         struct xfs_inode        *ip,
1521         xfs_off_t               offset,
1522         xfs_off_t               len)
1523 {
1524         struct xfs_mount        *mp = ip->i_mount;
1525         xfs_fileoff_t           fbno;
1526         xfs_filblks_t           end;
1527         xfs_off_t               isize;
1528         int                     error;
1529
1530         if (!xfs_is_reflink_inode(ip))
1531                 return 0;
1532
1533         trace_xfs_reflink_unshare(ip, offset, len);
1534
1535         inode_dio_wait(VFS_I(ip));
1536
1537         /* Try to CoW the selected ranges */
1538         xfs_ilock(ip, XFS_ILOCK_EXCL);
1539         fbno = XFS_B_TO_FSBT(mp, offset);
1540         isize = i_size_read(VFS_I(ip));
1541         end = XFS_B_TO_FSB(mp, offset + len);
1542         error = xfs_reflink_dirty_extents(ip, fbno, end, isize);
1543         if (error)
1544                 goto out_unlock;
1545         xfs_iunlock(ip, XFS_ILOCK_EXCL);
1546
1547         /* Wait for the IO to finish */
1548         error = filemap_write_and_wait(VFS_I(ip)->i_mapping);
1549         if (error)
1550                 goto out;
1551
1552         /* Turn off the reflink flag if possible. */
1553         error = xfs_reflink_try_clear_inode_flag(ip);
1554         if (error)
1555                 goto out;
1556
1557         return 0;
1558
1559 out_unlock:
1560         xfs_iunlock(ip, XFS_ILOCK_EXCL);
1561 out:
1562         trace_xfs_reflink_unshare_error(ip, error, _RET_IP_);
1563         return error;
1564 }