NG4copy_page.S 1.5 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657
  1. /* NG4copy_page.S: Niagara-4 optimized copy page.
  2. *
  3. * Copyright (C) 2012 (davem@davemloft.net)
  4. */
  5. #include <asm/asi.h>
  6. #include <asm/page.h>
  7. .text
  8. .align 32
  9. .register %g2, #scratch
  10. .register %g3, #scratch
  11. .globl NG4copy_user_page
  12. NG4copy_user_page: /* %o0=dest, %o1=src, %o2=vaddr */
  13. prefetch [%o1 + 0x000], #n_reads_strong
  14. prefetch [%o1 + 0x040], #n_reads_strong
  15. prefetch [%o1 + 0x080], #n_reads_strong
  16. prefetch [%o1 + 0x0c0], #n_reads_strong
  17. set PAGE_SIZE, %g7
  18. prefetch [%o1 + 0x100], #n_reads_strong
  19. prefetch [%o1 + 0x140], #n_reads_strong
  20. prefetch [%o1 + 0x180], #n_reads_strong
  21. prefetch [%o1 + 0x1c0], #n_reads_strong
  22. 1:
  23. ldx [%o1 + 0x00], %o2
  24. subcc %g7, 0x40, %g7
  25. ldx [%o1 + 0x08], %o3
  26. ldx [%o1 + 0x10], %o4
  27. ldx [%o1 + 0x18], %o5
  28. ldx [%o1 + 0x20], %g1
  29. stxa %o2, [%o0] ASI_ST_BLKINIT_MRU_P
  30. add %o0, 0x08, %o0
  31. ldx [%o1 + 0x28], %g2
  32. stxa %o3, [%o0] ASI_ST_BLKINIT_MRU_P
  33. add %o0, 0x08, %o0
  34. ldx [%o1 + 0x30], %g3
  35. stxa %o4, [%o0] ASI_ST_BLKINIT_MRU_P
  36. add %o0, 0x08, %o0
  37. ldx [%o1 + 0x38], %o2
  38. add %o1, 0x40, %o1
  39. stxa %o5, [%o0] ASI_ST_BLKINIT_MRU_P
  40. add %o0, 0x08, %o0
  41. stxa %g1, [%o0] ASI_ST_BLKINIT_MRU_P
  42. add %o0, 0x08, %o0
  43. stxa %g2, [%o0] ASI_ST_BLKINIT_MRU_P
  44. add %o0, 0x08, %o0
  45. stxa %g3, [%o0] ASI_ST_BLKINIT_MRU_P
  46. add %o0, 0x08, %o0
  47. stxa %o2, [%o0] ASI_ST_BLKINIT_MRU_P
  48. add %o0, 0x08, %o0
  49. bne,pt %icc, 1b
  50. prefetch [%o1 + 0x200], #n_reads_strong
  51. retl
  52. membar #StoreLoad | #StoreStore
  53. .size NG4copy_user_page,.-NG4copy_user_page