arch/arm/include/asm/atomic.h

   1 /*
   2  *  arch/arm/include/asm/atomic.h
   3  *
   4  *  Copyright (C) 1996 Russell King.
   5  *  Copyright (C) 2002 Deep Blue Solutions Ltd.
   6  *
   7  * This program is free software; you can redistribute it and/or modify
   8  * it under the terms of the GNU General Public License version 2 as
   9  * published by the Free Software Foundation.
  10  */
  11 #ifndef __ASM_ARM_ATOMIC_H
  12 #define __ASM_ARM_ATOMIC_H
  13
  14 #include <linux/compiler.h>
  15 #include <linux/prefetch.h>
  16 #include <linux/types.h>
  17 #include <linux/irqflags.h>
  18 #include <asm/barrier.h>
  19 #include <asm/cmpxchg.h>
  20
  21 #define ATOMIC_INIT(i)  { (i) }
  22
  23 #ifdef __KERNEL__
  24
  25 /*
  26  * On ARM, ordinary assignment (str instruction) doesn't clear the local
  27  * strex/ldrex monitor on some implementations. The reason we can use it for
  28  * atomic_set() is the clrex or dummy strex done on every exception return.
  29  */
  30 #define atomic_read(v)  (*(volatile int *)&(v)->counter)
  31 #define atomic_set(v,i) (((v)->counter) = (i))
  32
  33 #if __LINUX_ARM_ARCH__ >= 6
  34
  35 /*
  36  * ARMv6 UP and SMP safe atomic ops.  We use load exclusive and
  37  * store exclusive to ensure that these are atomic.  We may loop
  38  * to ensure that the update happens.
  39  */
  40 static inline void atomic_add(int i, atomic_t *v)
  41 {
  42         unsigned long tmp;
  43         int result;
  44
  45         prefetchw(&v->counter);
  46         __asm__ __volatile__("@ atomic_add\n"
  47 "1:     ldrex   %0, [%3]\n"
  48 "       add     %0, %0, %4\n"
  49 "       strex   %1, %0, [%3]\n"
  50 "       teq     %1, #0\n"
  51 "       bne     1b"
  52         : "=&r" (result), "=&r" (tmp), "+Qo" (v->counter)
  53         : "r" (&v->counter), "Ir" (i)
  54         : "cc");
  55 }
  56
  57 static inline int atomic_add_return(int i, atomic_t *v)
  58 {
  59         unsigned long tmp;
  60         int result;
  61
  62         smp_mb();
  63
  64         __asm__ __volatile__("@ atomic_add_return\n"
  65 "1:     ldrex   %0, [%3]\n"
  66 "       add     %0, %0, %4\n"
  67 "       strex   %1, %0, [%3]\n"
  68 "       teq     %1, #0\n"
  69 "       bne     1b"
  70         : "=&r" (result), "=&r" (tmp), "+Qo" (v->counter)
  71         : "r" (&v->counter), "Ir" (i)
  72         : "cc");
  73
  74         smp_mb();
  75
  76         return result;
  77 }
  78
  79 static inline void atomic_sub(int i, atomic_t *v)
  80 {
  81         unsigned long tmp;
  82         int result;
  83
  84         prefetchw(&v->counter);
  85         __asm__ __volatile__("@ atomic_sub\n"
  86 "1:     ldrex   %0, [%3]\n"
  87 "       sub     %0, %0, %4\n"
  88 "       strex   %1, %0, [%3]\n"
  89 "       teq     %1, #0\n"
  90 "       bne     1b"
  91         : "=&r" (result), "=&r" (tmp), "+Qo" (v->counter)
  92         : "r" (&v->counter), "Ir" (i)
  93         : "cc");
  94 }
  95
  96 static inline int atomic_sub_return(int i, atomic_t *v)
  97 {
  98         unsigned long tmp;
  99         int result;
 100
 101         smp_mb();
 102
 103         __asm__ __volatile__("@ atomic_sub_return\n"
 104 "1:     ldrex   %0, [%3]\n"
 105 "       sub     %0, %0, %4\n"
 106 "       strex   %1, %0, [%3]\n"
 107 "       teq     %1, #0\n"
 108 "       bne     1b"
 109         : "=&r" (result), "=&r" (tmp), "+Qo" (v->counter)
 110         : "r" (&v->counter), "Ir" (i)
 111         : "cc");
 112
 113         smp_mb();
 114
 115         return result;
 116 }
 117
 118 static inline int atomic_cmpxchg(atomic_t *ptr, int old, int new)
 119 {
 120         unsigned long oldval, res;
 121
 122         smp_mb();
 123
 124         do {
 125                 __asm__ __volatile__("@ atomic_cmpxchg\n"
 126                 "ldrex  %1, [%3]\n"
 127                 "mov    %0, #0\n"
 128                 "teq    %1, %4\n"
 129                 "strexeq %0, %5, [%3]\n"
 130                     : "=&r" (res), "=&r" (oldval), "+Qo" (ptr->counter)
 131                     : "r" (&ptr->counter), "Ir" (old), "r" (new)
 132                     : "cc");
 133         } while (res);
 134
 135         smp_mb();
 136
 137         return oldval;
 138 }
 139
 140 static inline void atomic_clear_mask(unsigned long mask, unsigned long *addr)
 141 {
 142         unsigned long tmp, tmp2;
 143
 144         prefetchw(addr);
 145         __asm__ __volatile__("@ atomic_clear_mask\n"
 146 "1:     ldrex   %0, [%3]\n"
 147 "       bic     %0, %0, %4\n"
 148 "       strex   %1, %0, [%3]\n"
 149 "       teq     %1, #0\n"
 150 "       bne     1b"
 151         : "=&r" (tmp), "=&r" (tmp2), "+Qo" (*addr)
 152         : "r" (addr), "Ir" (mask)
 153         : "cc");
 154 }
 155
 156 #else /* ARM_ARCH_6 */
 157
 158 #ifdef CONFIG_SMP
 159 #error SMP not supported on pre-ARMv6 CPUs
 160 #endif
 161
 162 static inline int atomic_add_return(int i, atomic_t *v)
 163 {
 164         unsigned long flags;
 165         int val;
 166
 167         raw_local_irq_save(flags);
 168         val = v->counter;
 169         v->counter = val += i;
 170         raw_local_irq_restore(flags);
 171
 172         return val;
 173 }
 174 #define atomic_add(i, v)        (void) atomic_add_return(i, v)
 175
 176 static inline int atomic_sub_return(int i, atomic_t *v)
 177 {
 178         unsigned long flags;
 179         int val;
 180
 181         raw_local_irq_save(flags);
 182         val = v->counter;
 183         v->counter = val -= i;
 184         raw_local_irq_restore(flags);
 185
 186         return val;
 187 }
 188 #define atomic_sub(i, v)        (void) atomic_sub_return(i, v)
 189
 190 static inline int atomic_cmpxchg(atomic_t *v, int old, int new)
 191 {
 192         int ret;
 193         unsigned long flags;
 194
 195         raw_local_irq_save(flags);
 196         ret = v->counter;
 197         if (likely(ret == old))
 198                 v->counter = new;
 199         raw_local_irq_restore(flags);
 200
 201         return ret;
 202 }
 203
 204 static inline void atomic_clear_mask(unsigned long mask, unsigned long *addr)
 205 {
 206         unsigned long flags;
 207
 208         raw_local_irq_save(flags);
 209         *addr &= ~mask;
 210         raw_local_irq_restore(flags);
 211 }
 212
 213 #endif /* __LINUX_ARM_ARCH__ */
 214
 215 #define atomic_xchg(v, new) (xchg(&((v)->counter), new))
 216
 217 static inline int __atomic_add_unless(atomic_t *v, int a, int u)
 218 {
 219         int c, old;
 220
 221         c = atomic_read(v);
 222         while (c != u && (old = atomic_cmpxchg((v), c, c + a)) != c)
 223                 c = old;
 224         return c;
 225 }
 226
 227 #define atomic_inc(v)           atomic_add(1, v)
 228 #define atomic_dec(v)           atomic_sub(1, v)
 229
 230 #define atomic_inc_and_test(v)  (atomic_add_return(1, v) == 0)
 231 #define atomic_dec_and_test(v)  (atomic_sub_return(1, v) == 0)
 232 #define atomic_inc_return(v)    (atomic_add_return(1, v))
 233 #define atomic_dec_return(v)    (atomic_sub_return(1, v))
 234 #define atomic_sub_and_test(i, v) (atomic_sub_return(i, v) == 0)
 235
 236 #define atomic_add_negative(i,v) (atomic_add_return(i, v) < 0)
 237
 238 #define smp_mb__before_atomic_dec()     smp_mb()
 239 #define smp_mb__after_atomic_dec()      smp_mb()
 240 #define smp_mb__before_atomic_inc()     smp_mb()
 241 #define smp_mb__after_atomic_inc()      smp_mb()
 242
 243 #ifndef CONFIG_GENERIC_ATOMIC64
 244 typedef struct {
 245         u64 __aligned(8) counter;
 246 } atomic64_t;
 247
 248 #define ATOMIC64_INIT(i) { (i) }
 249
 250 #ifdef CONFIG_ARM_LPAE
 251 static inline u64 atomic64_read(const atomic64_t *v)
 252 {
 253         u64 result;
 254
 255         __asm__ __volatile__("@ atomic64_read\n"
 256 "       ldrd    %0, %H0, [%1]"
 257         : "=&r" (result)
 258         : "r" (&v->counter), "Qo" (v->counter)
 259         );
 260
 261         return result;
 262 }
 263
 264 static inline void atomic64_set(atomic64_t *v, u64 i)
 265 {
 266         __asm__ __volatile__("@ atomic64_set\n"
 267 "       strd    %2, %H2, [%1]"
 268         : "=Qo" (v->counter)
 269         : "r" (&v->counter), "r" (i)
 270         );
 271 }
 272 #else
 273 static inline u64 atomic64_read(const atomic64_t *v)
 274 {
 275         u64 result;
 276
 277         __asm__ __volatile__("@ atomic64_read\n"
 278 "       ldrexd  %0, %H0, [%1]"
 279         : "=&r" (result)
 280         : "r" (&v->counter), "Qo" (v->counter)
 281         );
 282
 283         return result;
 284 }
 285
 286 static inline void atomic64_set(atomic64_t *v, u64 i)
 287 {
 288         u64 tmp;
 289
 290         prefetchw(&v->counter);
 291         __asm__ __volatile__("@ atomic64_set\n"
 292 "1:     ldrexd  %0, %H0, [%2]\n"
 293 "       strexd  %0, %3, %H3, [%2]\n"
 294 "       teq     %0, #0\n"
 295 "       bne     1b"
 296         : "=&r" (tmp), "=Qo" (v->counter)
 297         : "r" (&v->counter), "r" (i)
 298         : "cc");
 299 }
 300 #endif
 301
 302 static inline void atomic64_add(u64 i, atomic64_t *v)
 303 {
 304         u64 result;
 305         unsigned long tmp;
 306
 307         prefetchw(&v->counter);
 308         __asm__ __volatile__("@ atomic64_add\n"
 309 "1:     ldrexd  %0, %H0, [%3]\n"
 310 "       adds    %0, %0, %4\n"
 311 "       adc     %H0, %H0, %H4\n"
 312 "       strexd  %1, %0, %H0, [%3]\n"
 313 "       teq     %1, #0\n"
 314 "       bne     1b"
 315         : "=&r" (result), "=&r" (tmp), "+Qo" (v->counter)
 316         : "r" (&v->counter), "r" (i)
 317         : "cc");
 318 }
 319
 320 static inline u64 atomic64_add_return(u64 i, atomic64_t *v)
 321 {
 322         u64 result;
 323         unsigned long tmp;
 324
 325         smp_mb();
 326
 327         __asm__ __volatile__("@ atomic64_add_return\n"
 328 "1:     ldrexd  %0, %H0, [%3]\n"
 329 "       adds    %0, %0, %4\n"
 330 "       adc     %H0, %H0, %H4\n"
 331 "       strexd  %1, %0, %H0, [%3]\n"
 332 "       teq     %1, #0\n"
 333 "       bne     1b"
 334         : "=&r" (result), "=&r" (tmp), "+Qo" (v->counter)
 335         : "r" (&v->counter), "r" (i)
 336         : "cc");
 337
 338         smp_mb();
 339
 340         return result;
 341 }
 342
 343 static inline void atomic64_sub(u64 i, atomic64_t *v)
 344 {
 345         u64 result;
 346         unsigned long tmp;
 347
 348         prefetchw(&v->counter);
 349         __asm__ __volatile__("@ atomic64_sub\n"
 350 "1:     ldrexd  %0, %H0, [%3]\n"
 351 "       subs    %0, %0, %4\n"
 352 "       sbc     %H0, %H0, %H4\n"
 353 "       strexd  %1, %0, %H0, [%3]\n"
 354 "       teq     %1, #0\n"
 355 "       bne     1b"
 356         : "=&r" (result), "=&r" (tmp), "+Qo" (v->counter)
 357         : "r" (&v->counter), "r" (i)
 358         : "cc");
 359 }
 360
 361 static inline u64 atomic64_sub_return(u64 i, atomic64_t *v)
 362 {
 363         u64 result;
 364         unsigned long tmp;
 365
 366         smp_mb();
 367
 368         __asm__ __volatile__("@ atomic64_sub_return\n"
 369 "1:     ldrexd  %0, %H0, [%3]\n"
 370 "       subs    %0, %0, %4\n"
 371 "       sbc     %H0, %H0, %H4\n"
 372 "       strexd  %1, %0, %H0, [%3]\n"
 373 "       teq     %1, #0\n"
 374 "       bne     1b"
 375         : "=&r" (result), "=&r" (tmp), "+Qo" (v->counter)
 376         : "r" (&v->counter), "r" (i)
 377         : "cc");
 378
 379         smp_mb();
 380
 381         return result;
 382 }
 383
 384 static inline u64 atomic64_cmpxchg(atomic64_t *ptr, u64 old, u64 new)
 385 {
 386         u64 oldval;
 387         unsigned long res;
 388
 389         smp_mb();
 390
 391         do {
 392                 __asm__ __volatile__("@ atomic64_cmpxchg\n"
 393                 "ldrexd         %1, %H1, [%3]\n"
 394                 "mov            %0, #0\n"
 395                 "teq            %1, %4\n"
 396                 "teqeq          %H1, %H4\n"
 397                 "strexdeq       %0, %5, %H5, [%3]"
 398                 : "=&r" (res), "=&r" (oldval), "+Qo" (ptr->counter)
 399                 : "r" (&ptr->counter), "r" (old), "r" (new)
 400                 : "cc");
 401         } while (res);
 402
 403         smp_mb();
 404
 405         return oldval;
 406 }
 407
 408 static inline u64 atomic64_xchg(atomic64_t *ptr, u64 new)
 409 {
 410         u64 result;
 411         unsigned long tmp;
 412
 413         smp_mb();
 414
 415         __asm__ __volatile__("@ atomic64_xchg\n"
 416 "1:     ldrexd  %0, %H0, [%3]\n"
 417 "       strexd  %1, %4, %H4, [%3]\n"
 418 "       teq     %1, #0\n"
 419 "       bne     1b"
 420         : "=&r" (result), "=&r" (tmp), "+Qo" (ptr->counter)
 421         : "r" (&ptr->counter), "r" (new)
 422         : "cc");
 423
 424         smp_mb();
 425
 426         return result;
 427 }
 428
 429 static inline u64 atomic64_dec_if_positive(atomic64_t *v)
 430 {
 431         u64 result;
 432         unsigned long tmp;
 433
 434         smp_mb();
 435
 436         __asm__ __volatile__("@ atomic64_dec_if_positive\n"
 437 "1:     ldrexd  %0, %H0, [%3]\n"
 438 "       subs    %0, %0, #1\n"
 439 "       sbc     %H0, %H0, #0\n"
 440 "       teq     %H0, #0\n"
 441 "       bmi     2f\n"
 442 "       strexd  %1, %0, %H0, [%3]\n"
 443 "       teq     %1, #0\n"
 444 "       bne     1b\n"
 445 "2:"
 446         : "=&r" (result), "=&r" (tmp), "+Qo" (v->counter)
 447         : "r" (&v->counter)
 448         : "cc");
 449
 450         smp_mb();
 451
 452         return result;
 453 }
 454
 455 static inline int atomic64_add_unless(atomic64_t *v, u64 a, u64 u)
 456 {
 457         u64 val;
 458         unsigned long tmp;
 459         int ret = 1;
 460
 461         smp_mb();
 462
 463         __asm__ __volatile__("@ atomic64_add_unless\n"
 464 "1:     ldrexd  %0, %H0, [%4]\n"
 465 "       teq     %0, %5\n"
 466 "       teqeq   %H0, %H5\n"
 467 "       moveq   %1, #0\n"
 468 "       beq     2f\n"
 469 "       adds    %0, %0, %6\n"
 470 "       adc     %H0, %H0, %H6\n"
 471 "       strexd  %2, %0, %H0, [%4]\n"
 472 "       teq     %2, #0\n"
 473 "       bne     1b\n"
 474 "2:"
 475         : "=&r" (val), "+r" (ret), "=&r" (tmp), "+Qo" (v->counter)
 476         : "r" (&v->counter), "r" (u), "r" (a)
 477         : "cc");
 478
 479         if (ret)
 480                 smp_mb();
 481
 482         return ret;
 483 }
 484
 485 #define atomic64_add_negative(a, v)     (atomic64_add_return((a), (v)) < 0)
 486 #define atomic64_inc(v)                 atomic64_add(1LL, (v))
 487 #define atomic64_inc_return(v)          atomic64_add_return(1LL, (v))
 488 #define atomic64_inc_and_test(v)        (atomic64_inc_return(v) == 0)
 489 #define atomic64_sub_and_test(a, v)     (atomic64_sub_return((a), (v)) == 0)
 490 #define atomic64_dec(v)                 atomic64_sub(1LL, (v))
 491 #define atomic64_dec_return(v)          atomic64_sub_return(1LL, (v))
 492 #define atomic64_dec_and_test(v)        (atomic64_dec_return((v)) == 0)
 493 #define atomic64_inc_not_zero(v)        atomic64_add_unless((v), 1LL, 0LL)
 494
 495 #endif /* !CONFIG_GENERIC_ATOMIC64 */
 496 #endif
 497 #endif