arch/arm64/include/asm/tlb.h

   1 /*
   2  * Based on arch/arm/include/asm/tlb.h
   3  *
   4  * Copyright (C) 2002 Russell King
   5  * Copyright (C) 2012 ARM Ltd.
   6  *
   7  * This program is free software; you can redistribute it and/or modify
   8  * it under the terms of the GNU General Public License version 2 as
   9  * published by the Free Software Foundation.
  10  *
  11  * This program is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * along with this program.  If not, see <http://www.gnu.org/licenses/>.
  18  */
  19 #ifndef __ASM_TLB_H
  20 #define __ASM_TLB_H
  21
  22 #include <linux/pagemap.h>
  23 #include <linux/swap.h>
  24
  25 #ifdef CONFIG_HAVE_RCU_TABLE_FREE
  26
  27 #define tlb_remove_entry(tlb, entry)    tlb_remove_table(tlb, entry)
  28 static inline void __tlb_remove_table(void *_table)
  29 {
  30         free_page_and_swap_cache((struct page *)_table);
  31 }
  32 #else
  33 #define tlb_remove_entry(tlb, entry)    tlb_remove_page(tlb, entry)
  34 #endif /* CONFIG_HAVE_RCU_TABLE_FREE */
  35
  36 #include <asm-generic/tlb.h>
  37
  38 static inline void tlb_flush(struct mmu_gather *tlb)
  39 {
  40         struct vm_area_struct vma = { .vm_mm = tlb->mm, };
  41
  42         /*
  43          * The ASID allocator will either invalidate the ASID or mark
  44          * it as used.
  45          */
  46         if (tlb->fullmm)
  47                 return;
  48
  49         /*
  50          * The intermediate page table levels are already handled by
  51          * the __(pte|pmd|pud)_free_tlb() functions, so last level
  52          * TLBI is sufficient here.
  53          */
  54         __flush_tlb_range(&vma, tlb->start, tlb->end, true);
  55 }
  56
  57 static inline void __pte_free_tlb(struct mmu_gather *tlb, pgtable_t pte,
  58                                   unsigned long addr)
  59 {
  60         __flush_tlb_pgtable(tlb->mm, addr);
  61         pgtable_page_dtor(pte);
  62         tlb_remove_entry(tlb, pte);
  63 }
  64
  65 #if CONFIG_PGTABLE_LEVELS > 2
  66 static inline void __pmd_free_tlb(struct mmu_gather *tlb, pmd_t *pmdp,
  67                                   unsigned long addr)
  68 {
  69         __flush_tlb_pgtable(tlb->mm, addr);
  70         tlb_remove_entry(tlb, virt_to_page(pmdp));
  71 }
  72 #endif
  73
  74 #if CONFIG_PGTABLE_LEVELS > 3
  75 static inline void __pud_free_tlb(struct mmu_gather *tlb, pud_t *pudp,
  76                                   unsigned long addr)
  77 {
  78         __flush_tlb_pgtable(tlb->mm, addr);
  79         tlb_remove_entry(tlb, virt_to_page(pudp));
  80 }
  81 #endif
  82
  83 #endif