OSchip
/
OpenBLAS
Not watched
1
0
Fork 0
Code
Releases 66 Wiki evaluate Activity
Issues 0 Pull Requests 0 Datasets Model Cloudbrain HPC
You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
Tree: 855945befb
Branches Tags
${ item.name }
Create branch ${ searchTerm }
from '855945befb'
${ noResults }
OpenBLAS/kernel/zarch/kernelMacros.S

1477 lines
45 kB
Raw Blame History 

  1. /*********************************KERNEL 8x4***********************************************/

  2. /*Zero C block Vectors*/

  3. .macro ZERO_CVEC_8x4

  4.     vzero  %v16  

  5.     vzero  %v17   

  6.     vzero  %v18   

  7.     vzero  %v19   

  8.     vzero  %v20   

  9.     vzero  %v21   

  10.     vzero  %v22   

  11.     vzero  %v23   

  12.     vzero  %v24   

  13.     vzero  %v25   

  14.     vzero  %v26   

  15.     vzero  %v27   

  16.     vzero  %v28   

  17.     vzero  %v29   

  18.     vzero  %v30   

  19.     vzero  %v31 

  20. .endm

  21. 

  22. /*Calculate for 8x4 C blocks*/

  23. .macro CALC_8x4  PTR_A_REG,PTR_B_REG

  24.         vlrepg %v7, 0(\PTR_B_REG)  

  25.         vlrepg %v1,8(\PTR_B_REG)    

  26.         vl  %v2, 0(\PTR_A_REG)     

  27.         vl  %v3, 16(\PTR_A_REG)     

  28.         vl  %v4, 32(\PTR_A_REG)   

  29.         vl  %v5, 48(\PTR_A_REG)      

  30.         vfmadb    %v16,%v2,%v7,%v16   

  31.         vfmadb    %v17,%v3,%v7,%v17   

  32.         vfmadb    %v18,%v4,%v7,%v18  

  33.         vfmadb    %v19,%v5,%v7,%v19     

  34.         vfmadb    %v20,%v2,%v1,%v20   

  35.         vfmadb    %v21,%v3,%v1,%v21 

  36.         vlrepg %v7,16(\PTR_B_REG)    

  37.         vfmadb    %v22,%v4,%v1,%v22  

  38.         vfmadb    %v23,%v5,%v1,%v23   

  39.         vlrepg %v1,24(\PTR_B_REG)     

  40.         vfmadb    %v24,%v2,%v7,%v24   

  41.         vfmadb    %v25,%v3,%v7,%v25   

  42.         vfmadb    %v26,%v4,%v7,%v26  

  43.         la \PTR_A_REG, 64(\PTR_A_REG)    

  44.         vfmadb    %v27,%v5,%v7,%v27        

  45.         vfmadb    %v28,%v2,%v1,%v28   

  46.         vfmadb    %v29,%v3,%v1,%v29   

  47.         la \PTR_B_REG, 32(\PTR_B_REG)    

  48.         vfmadb    %v30,%v4,%v1,%v30  

  49.         vfmadb    %v31,%v5,%v1,%v31  

  50. .endm

  51.  

  52. /*Calculate for 8x4_4 C blocks*/

  53. .macro CALC_8x4_4  PTR_A_REG,PTR_B_REG 

  54.         vlrepg %v7, 0(\PTR_B_REG)  

  55.         vlrepg %v1,8(\PTR_B_REG)    

  56.         vl  %v2, 0(\PTR_A_REG)     

  57.         vl  %v3, 16(\PTR_A_REG)     

  58.         vl  %v4, 32(\PTR_A_REG)   

  59.         vl  %v5, 48(\PTR_A_REG)      

  60.         vfmadb    %v16,%v2,%v7,%v16   

  61.         vfmadb    %v17,%v3,%v7,%v17   

  62.         vfmadb    %v18,%v4,%v7,%v18  

  63.         vfmadb    %v19,%v5,%v7,%v19     

  64.         vfmadb    %v20,%v2,%v1,%v20   

  65.         vfmadb    %v21,%v3,%v1,%v21 

  66.         vlrepg %v7,16(\PTR_B_REG)    

  67.         vfmadb    %v22,%v4,%v1,%v22  

  68.         vfmadb    %v23,%v5,%v1,%v23   

  69.         vlrepg %v1,24(\PTR_B_REG)     

  70.         vfmadb    %v24,%v2,%v7,%v24   

  71.         vfmadb    %v25,%v3,%v7,%v25   

  72.         vfmadb    %v26,%v4,%v7,%v26      

  73.         vfmadb    %v27,%v5,%v7,%v27        

  74.         vfmadb    %v28,%v2,%v1,%v28   

  75.         vfmadb    %v29,%v3,%v1,%v29      

  76.         vfmadb    %v30,%v4,%v1,%v30  

  77.         vfmadb    %v31,%v5,%v1,%v31  

  78. 

  79.         vlrepg %v7, 32(\PTR_B_REG)  

  80.         vlrepg %v1,40(\PTR_B_REG)    

  81.         vl  %v2, 64(\PTR_A_REG)     

  82.         vl  %v3, 80(\PTR_A_REG)     

  83.         vl  %v4, 96(\PTR_A_REG)   

  84.         vl  %v5, 112(\PTR_A_REG)      

  85.         vfmadb    %v16,%v2,%v7,%v16   

  86.         vfmadb    %v17,%v3,%v7,%v17   

  87.         vfmadb    %v18,%v4,%v7,%v18  

  88.         vfmadb    %v19,%v5,%v7,%v19     

  89.         vfmadb    %v20,%v2,%v1,%v20   

  90.         vfmadb    %v21,%v3,%v1,%v21 

  91.         vlrepg %v7,48(\PTR_B_REG)    

  92.         vfmadb    %v22,%v4,%v1,%v22  

  93.         vfmadb    %v23,%v5,%v1,%v23   

  94.         vlrepg %v1,56(\PTR_B_REG)     

  95.         vfmadb    %v24,%v2,%v7,%v24   

  96.         vfmadb    %v25,%v3,%v7,%v25   

  97.         vfmadb    %v26,%v4,%v7,%v26      

  98.         vfmadb    %v27,%v5,%v7,%v27        

  99.         vfmadb    %v28,%v2,%v1,%v28   

  100.         vfmadb    %v29,%v3,%v1,%v29      

  101.         vfmadb    %v30,%v4,%v1,%v30  

  102.         vfmadb    %v31,%v5,%v1,%v31  

  103. 

  104.         vlrepg %v7, 64(\PTR_B_REG)  

  105.         vlrepg %v1,72(\PTR_B_REG)    

  106.         vl  %v2, 128(\PTR_A_REG)     

  107.         vl  %v3, 144(\PTR_A_REG)     

  108.         vl  %v4, 160(\PTR_A_REG)   

  109.         vl  %v5, 176(\PTR_A_REG)      

  110.         vfmadb    %v16,%v2,%v7,%v16   

  111.         vfmadb    %v17,%v3,%v7,%v17   

  112.         vfmadb    %v18,%v4,%v7,%v18  

  113.         vfmadb    %v19,%v5,%v7,%v19     

  114.         vfmadb    %v20,%v2,%v1,%v20   

  115.         vfmadb    %v21,%v3,%v1,%v21 

  116.         vlrepg %v7,80(\PTR_B_REG)    

  117.         vfmadb    %v22,%v4,%v1,%v22  

  118.         vfmadb    %v23,%v5,%v1,%v23   

  119.         vlrepg %v1,88(\PTR_B_REG)     

  120.         vfmadb    %v24,%v2,%v7,%v24   

  121.         vfmadb    %v25,%v3,%v7,%v25   

  122.         vfmadb    %v26,%v4,%v7,%v26      

  123.         vfmadb    %v27,%v5,%v7,%v27        

  124.         vfmadb    %v28,%v2,%v1,%v28   

  125.         vfmadb    %v29,%v3,%v1,%v29      

  126.         vfmadb    %v30,%v4,%v1,%v30  

  127.         vfmadb    %v31,%v5,%v1,%v31  

  128. 

  129.         vlrepg %v7, 96(\PTR_B_REG)  

  130.         vlrepg %v1,104(\PTR_B_REG)    

  131.         vl  %v2, 192(\PTR_A_REG)     

  132.         vl  %v3, 208(\PTR_A_REG)     

  133.         vl  %v4, 224(\PTR_A_REG)   

  134.         vl  %v5, 240(\PTR_A_REG)      

  135.         vfmadb    %v16,%v2,%v7,%v16   

  136.         vfmadb    %v17,%v3,%v7,%v17   

  137.         vfmadb    %v18,%v4,%v7,%v18  

  138.         vfmadb    %v19,%v5,%v7,%v19     

  139.         vfmadb    %v20,%v2,%v1,%v20   

  140.         vfmadb    %v21,%v3,%v1,%v21 

  141.         vlrepg %v7,112(\PTR_B_REG)    

  142.         vfmadb    %v22,%v4,%v1,%v22  

  143.         vfmadb    %v23,%v5,%v1,%v23   

  144.         vlrepg %v1,120(\PTR_B_REG)     

  145.         vfmadb    %v24,%v2,%v7,%v24   

  146.         vfmadb    %v25,%v3,%v7,%v25   

  147.         vfmadb    %v26,%v4,%v7,%v26      

  148.         vfmadb    %v27,%v5,%v7,%v27   

  149.         la \PTR_B_REG, 128(\PTR_B_REG) 

  150.         vfmadb    %v28,%v2,%v1,%v28   

  151.         vfmadb    %v29,%v3,%v1,%v29      

  152.         vfmadb    %v30,%v4,%v1,%v30   

  153.         la \PTR_A_REG, 256(\PTR_A_REG)  

  154.         vfmadb    %v31,%v5,%v1,%v31  

  155. 

  156. .endm

  157.  

  158. 

  159. /*STORE C8X4*/

  160. .macro STORE_8x4  ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL

  161.    

  162.     /*add LDC_BYTE_reg=LDC_BYTE_original<<1 */  

  163.     la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL)

  164.     vl %v1,0(\CIJ_REG)

  165.     vfmadb    %v1,%v16,\ALPHA_VECREG,%v1 

  166.     vst %v1,0(\CIJ_REG)

  167.       

  168.     vl %v2,16(\CIJ_REG)

  169.     vfmadb    %v2,%v17,\ALPHA_VECREG,%v2 

  170.     vst %v2,16(\CIJ_REG)

  171. 

  172.     vl %v3,32(\CIJ_REG)

  173.     vfmadb    %v3,%v18,\ALPHA_VECREG,%v3 

  174.     vst %v3,32(\CIJ_REG)

  175. 

  176.     vl %v4,48(\CIJ_REG)

  177.     vfmadb    %v4,%v19,\ALPHA_VECREG,%v4 

  178.     vst %v4,48(\CIJ_REG)

  179.     

  180.     la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL )

  181.     

  182. 

  183.     /*add c LDC_BYTE*/

  184.     vl %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  185.     vfmadb    %v1,%v20,\ALPHA_VECREG,%v1 

  186.     vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  187. 

  188.     vl %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  189.     vfmadb    %v2,%v21,\ALPHA_VECREG,%v2 

  190.     vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  191.  

  192. 

  193.     vl %v3,32(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  194.     vfmadb    %v3,%v22,\ALPHA_VECREG,%v3 

  195.     vst %v3,32(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  196. 

  197.     vl %v4,48(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  198.     vfmadb    %v4,%v23,\ALPHA_VECREG,%v4 

  199.     vst %v4,48(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  200. 

  201. 

  202.     vl %v1,0(\CIJ_REG,LOCAL_VAR1)

  203.     vfmadb    %v1,%v24,\ALPHA_VECREG,%v1 

  204.     vst %v1,0(\CIJ_REG,LOCAL_VAR1)

  205. 

  206.     vl %v2,16(\CIJ_REG,LOCAL_VAR1)

  207.     vfmadb    %v2,%v25,\ALPHA_VECREG,%v2 

  208.     vst %v2,16(\CIJ_REG,LOCAL_VAR1)

  209. 

  210.     vl %v3,32(\CIJ_REG,LOCAL_VAR1)

  211.     vfmadb    %v3,%v26,\ALPHA_VECREG,%v3

  212.     vst %v3,32(\CIJ_REG,LOCAL_VAR1)

  213. 

  214.     vl %v4,48(\CIJ_REG,LOCAL_VAR1)

  215.     vfmadb    %v4,%v27,\ALPHA_VECREG,%v4 

  216.     vst %v4,48(\CIJ_REG,LOCAL_VAR1)

  217. 

  218.     

  219.     vl %v1,0(\CIJ_REG,LOCAL_VAR2)

  220.     vfmadb    %v1,%v28,\ALPHA_VECREG,%v1 

  221.     vst %v1,0(\CIJ_REG,LOCAL_VAR2)

  222. 

  223.     vl %v2,16(\CIJ_REG,LOCAL_VAR2)

  224.     vfmadb    %v2,%v29,\ALPHA_VECREG,%v2 

  225.     vst %v2,16(\CIJ_REG,LOCAL_VAR2)

  226. 

  227.     vl %v3,32(\CIJ_REG,LOCAL_VAR2)

  228.     vfmadb    %v3,%v30,\ALPHA_VECREG,%v3 

  229.     vst %v3,32(\CIJ_REG,LOCAL_VAR2)

  230. 

  231.     vl %v4,48(\CIJ_REG,LOCAL_VAR2)

  232.     vfmadb    %v4,%v31,\ALPHA_VECREG,%v4

  233.     vst %v4,48(\CIJ_REG,LOCAL_VAR2)

  234. 

  235.    la \CIJ_REG,64(\CIJ_REG)

  236.  

  237. .endm

  238. 

  239. /*STORE TRMM C8X4*/

  240. .macro STORE_TRMM_8x4  ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL

  241.    

  242.     /*add LDC_BYTE_reg=LDC_BYTE_original<<1 */  

  243.     la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL)

  244.     vfmdb    %v1,%v16,\ALPHA_VECREG

  245.     vst %v1,0(\CIJ_REG)

  246.       

  247.     vfmdb    %v2,%v17,\ALPHA_VECREG

  248.     vst %v2,16(\CIJ_REG)

  249.     vfmdb    %v3,%v18,\ALPHA_VECREG

  250.     vst %v3,32(\CIJ_REG)

  251.     vfmdb    %v4,%v19,\ALPHA_VECREG

  252.     vst %v4,48(\CIJ_REG)

  253.     

  254.     la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL )

  255.     

  256.     /*add c LDC_BYTE*/

  257.     vfmdb    %v1,%v20,\ALPHA_VECREG

  258.     vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  259.     vfmdb    %v2,%v21,\ALPHA_VECREG

  260.     vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  261.  

  262.     vfmdb    %v3,%v22,\ALPHA_VECREG

  263.     vst %v3,32(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  264.     vfmdb    %v4,%v23,\ALPHA_VECREG

  265.     vst %v4,48(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  266. 

  267.     vfmdb    %v1,%v24,\ALPHA_VECREG

  268.     vst %v1,0(\CIJ_REG,LOCAL_VAR1)

  269.     vfmdb    %v2,%v25,\ALPHA_VECREG

  270.     vst %v2,16(\CIJ_REG,LOCAL_VAR1)

  271.     vfmdb    %v3,%v26,\ALPHA_VECREG

  272.     vst %v3,32(\CIJ_REG,LOCAL_VAR1)

  273.     vfmdb    %v4,%v27,\ALPHA_VECREG

  274.     vst %v4,48(\CIJ_REG,LOCAL_VAR1)

  275.     

  276.     vfmdb    %v1,%v28,\ALPHA_VECREG

  277.     vst %v1,0(\CIJ_REG,LOCAL_VAR2)

  278.     vfmdb    %v2,%v29,\ALPHA_VECREG

  279.     vst %v2,16(\CIJ_REG,LOCAL_VAR2)

  280.     vfmdb    %v3,%v30,\ALPHA_VECREG

  281.     vst %v3,32(\CIJ_REG,LOCAL_VAR2)

  282.     vfmdb    %v4,%v31,\ALPHA_VECREG

  283.     vst %v4,48(\CIJ_REG,LOCAL_VAR2)

  284.    la \CIJ_REG,64(\CIJ_REG)

  285.  

  286. .endm

  287. /**************************************Kernel4x4*************************************************/

  288. 

  289. /*Zero C block Vectors*/

  290. .macro ZERO_CVEC_4x4

  291.     vzero  %v16  

  292.     vzero  %v17    

  293.     vzero  %v20   

  294.     vzero  %v21    

  295.     vzero  %v24   

  296.     vzero  %v25     

  297.     vzero  %v28   

  298.     vzero  %v29   

  299. .endm

  300. 

  301. /*Calculate for 4x4 C blocks*/

  302. .macro CALC_4x4  PTR_A_REG,PTR_B_REG

  303.         vlrepg %v7, 0(\PTR_B_REG)  

  304.         vlrepg %v1,8(\PTR_B_REG)    

  305.         vl  %v2, 0(\PTR_A_REG)     

  306.         vl  %v3, 16(\PTR_A_REG)         

  307.         vfmadb    %v16,%v2,%v7,%v16   

  308.         vfmadb    %v17,%v3,%v7,%v17       

  309.         vfmadb    %v20,%v2,%v1,%v20   

  310.         vfmadb    %v21,%v3,%v1,%v21 

  311.         vlrepg %v7,16(\PTR_B_REG)      

  312.         vlrepg %v1,24(\PTR_B_REG)     

  313.         vfmadb    %v24,%v2,%v7,%v24   

  314.         vfmadb    %v25,%v3,%v7,%v25    

  315.         la \PTR_A_REG, 32(\PTR_A_REG)         

  316.         vfmadb    %v28,%v2,%v1,%v28   

  317.         vfmadb    %v29,%v3,%v1,%v29   

  318.         la \PTR_B_REG, 32(\PTR_B_REG)   

  319. .endm

  320.  

  321. .macro CALC_4x4_4  PTR_A_REG,PTR_B_REG

  322.         vlrepg %v7, 0(\PTR_B_REG)  

  323.         vlrepg %v1,8(\PTR_B_REG)    

  324.         vl  %v2, 0(\PTR_A_REG)     

  325.         vl  %v3, 16(\PTR_A_REG)         

  326.         vfmadb    %v16,%v2,%v7,%v16   

  327.         vfmadb    %v17,%v3,%v7,%v17       

  328.         vfmadb    %v20,%v2,%v1,%v20   

  329.         vfmadb    %v21,%v3,%v1,%v21 

  330.         vlrepg %v7,16(\PTR_B_REG)      

  331.         vlrepg %v1,24(\PTR_B_REG)     

  332.         vfmadb    %v24,%v2,%v7,%v24   

  333.         vfmadb    %v25,%v3,%v7,%v25            

  334.         vfmadb    %v28,%v2,%v1,%v28   

  335.         vfmadb    %v29,%v3,%v1,%v29    

  336. 

  337.         vlrepg %v7, 32(\PTR_B_REG)  

  338.         vlrepg %v1,40(\PTR_B_REG)    

  339.         vl  %v2, 32(\PTR_A_REG)     

  340.         vl  %v3, 48(\PTR_A_REG)         

  341.         vfmadb    %v16,%v2,%v7,%v16   

  342.         vfmadb    %v17,%v3,%v7,%v17       

  343.         vfmadb    %v20,%v2,%v1,%v20   

  344.         vfmadb    %v21,%v3,%v1,%v21 

  345.         vlrepg %v7,48(\PTR_B_REG)      

  346.         vlrepg %v1,56(\PTR_B_REG)     

  347.         vfmadb    %v24,%v2,%v7,%v24   

  348.         vfmadb    %v25,%v3,%v7,%v25            

  349.         vfmadb    %v28,%v2,%v1,%v28   

  350.         vfmadb    %v29,%v3,%v1,%v29  

  351. 

  352.         vlrepg %v7, 64(\PTR_B_REG)  

  353.         vlrepg %v1,72(\PTR_B_REG)    

  354.         vl  %v2, 64(\PTR_A_REG)     

  355.         vl  %v3, 80(\PTR_A_REG)         

  356.         vfmadb    %v16,%v2,%v7,%v16   

  357.         vfmadb    %v17,%v3,%v7,%v17       

  358.         vfmadb    %v20,%v2,%v1,%v20   

  359.         vfmadb    %v21,%v3,%v1,%v21 

  360.         vlrepg %v7,80(\PTR_B_REG)      

  361.         vlrepg %v1,88(\PTR_B_REG)     

  362.         vfmadb    %v24,%v2,%v7,%v24   

  363.         vfmadb    %v25,%v3,%v7,%v25            

  364.         vfmadb    %v28,%v2,%v1,%v28   

  365.         vfmadb    %v29,%v3,%v1,%v29  

  366. 

  367.         vlrepg %v7, 96(\PTR_B_REG)  

  368.         vlrepg %v1,104(\PTR_B_REG)    

  369.         vl  %v2, 96(\PTR_A_REG)     

  370.         vl  %v3, 112(\PTR_A_REG)         

  371.         vfmadb    %v16,%v2,%v7,%v16   

  372.         vfmadb    %v17,%v3,%v7,%v17       

  373.         vfmadb    %v20,%v2,%v1,%v20   

  374.         vfmadb    %v21,%v3,%v1,%v21 

  375.         vlrepg %v7,112(\PTR_B_REG)    

  376.         la \PTR_A_REG, 128(\PTR_A_REG)    

  377.         vlrepg %v1,120(\PTR_B_REG)      

  378.         vfmadb    %v24,%v2,%v7,%v24   

  379.         vfmadb    %v25,%v3,%v7,%v25  

  380.         vfmadb    %v28,%v2,%v1,%v28   

  381.         la \PTR_B_REG, 128(\PTR_B_REG) 

  382.         vfmadb    %v29,%v3,%v1,%v29   

  383. .endm

  384. 

  385. /*STORE C4X4*/

  386. .macro STORE_4x4  ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL

  387.    

  388.     /*add LDC_BYTE_reg=LDC_BYTE_original<<1 */  

  389.     la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL)

  390.     vl %v1,0(\CIJ_REG)

  391.     vfmadb    %v1,%v16,\ALPHA_VECREG,%v1 

  392.     vst %v1,0(\CIJ_REG)

  393.       

  394.     vl %v2,16(\CIJ_REG)

  395.     vfmadb    %v2,%v17,\ALPHA_VECREG,%v2 

  396.     vst %v2,16(\CIJ_REG)

  397.  

  398.     

  399.     la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL )

  400.     

  401.     /*add c LDC_BYTE*/

  402.     vl %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  403.     vfmadb    %v1,%v20,\ALPHA_VECREG,%v1 

  404.     vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  405. 

  406.     vl %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  407.     vfmadb    %v2,%v21,\ALPHA_VECREG,%v2 

  408.     vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  409.  

  410.     vl %v1,0(\CIJ_REG,LOCAL_VAR1)

  411.     vfmadb    %v1,%v24,\ALPHA_VECREG,%v1 

  412.     vst %v1,0(\CIJ_REG,LOCAL_VAR1)

  413. 

  414.     vl %v2,16(\CIJ_REG,LOCAL_VAR1)

  415.     vfmadb    %v2,%v25,\ALPHA_VECREG,%v2 

  416.     vst %v2,16(\CIJ_REG,LOCAL_VAR1)

  417. 

  418.  

  419.     vl %v1,0(\CIJ_REG,LOCAL_VAR2)

  420.     vfmadb    %v1,%v28,\ALPHA_VECREG,%v1 

  421.     vst %v1,0(\CIJ_REG,LOCAL_VAR2)

  422. 

  423.     vl %v2,16(\CIJ_REG,LOCAL_VAR2)

  424.     vfmadb    %v2,%v29,\ALPHA_VECREG,%v2 

  425.     vst %v2,16(\CIJ_REG,LOCAL_VAR2) 

  426. 

  427.    la \CIJ_REG,32(\CIJ_REG)

  428. .endm

  429. 

  430. /*STORE TRMM C4X4*/

  431. .macro STORE_TRMM_4x4  ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL

  432.     /*add LDC_BYTE_reg=LDC_BYTE_original<<1 */  

  433.     la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL)

  434.     vfmdb    %v1,%v16,\ALPHA_VECREG

  435.     vst %v1,0(\CIJ_REG)

  436.     vfmdb    %v2,%v17,\ALPHA_VECREG

  437.     vst %v2,16(\CIJ_REG)

  438.     la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL )

  439.     vfmdb    %v1,%v20,\ALPHA_VECREG

  440.     vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  441.     vfmdb    %v2,%v21,\ALPHA_VECREG

  442.     vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  443.     vfmdb    %v1,%v24,\ALPHA_VECREG

  444.     vst %v1,0(\CIJ_REG,LOCAL_VAR1)

  445.     vfmdb    %v2,%v25,\ALPHA_VECREG

  446.     vst %v2,16(\CIJ_REG,LOCAL_VAR1)

  447.     vfmdb    %v1,%v28,\ALPHA_VECREG

  448.     vst %v1,0(\CIJ_REG,LOCAL_VAR2)

  449.     vfmdb    %v2,%v29,\ALPHA_VECREG

  450.     vst %v2,16(\CIJ_REG,LOCAL_VAR2) 

  451.    la \CIJ_REG,32(\CIJ_REG)

  452. .endm

  453. /**************************************Kernel2x4*************************************************/

  454. /*Zero C block Vectors*/

  455. .macro ZERO_CVEC_2x4

  456.     vzero  %v1  /*a1b1 a1b2 */

  457.     vzero  %v2  /*a1b3 a1b4 */

  458.     vzero  %v6  /*a2b1 a2b2 */

  459.     vzero  %v7  /*a2b3 a2b4 */ 

  460. .endm

  461. 

  462. /*Calculate for 2x4_4 C blocks.This Time BroadCast A. but Load B multiple*/

  463. .macro CALC_2x4_4  PTR_A_REG,PTR_B_REG

  464.         vl %v4, 0(\PTR_B_REG)  

  465.         vl %v5,16(\PTR_B_REG)    

  466.         vlrepg  %v3, 0(\PTR_A_REG) 

  467.         vlrepg  %v16, 8(\PTR_A_REG)       

  468.         vfmadb    %v1,%v3,%v4,%v1  

  469.         vfmadb    %v2,%v3,%v5,%v2    

  470.         vfmadb    %v6,%v16,%v4,%v6  

  471.         vfmadb    %v7,%v16,%v5,%v7      

  472. 

  473.         vl %v4, 32(\PTR_B_REG)  

  474.         vl %v5,48(\PTR_B_REG)    

  475.         vlrepg  %v3, 16(\PTR_A_REG) 

  476.         vlrepg  %v16, 24(\PTR_A_REG)       

  477.         vfmadb    %v1,%v3,%v4,%v1  

  478.         vfmadb    %v2,%v3,%v5,%v2    

  479.         vfmadb    %v6,%v16,%v4,%v6  

  480.         vfmadb    %v7,%v16,%v5,%v7 

  481. 

  482.         vl %v4, 64(\PTR_B_REG)  

  483.         vl %v5,80(\PTR_B_REG)    

  484.         vlrepg  %v3, 32(\PTR_A_REG) 

  485.         vlrepg  %v16, 40(\PTR_A_REG)       

  486.         vfmadb    %v1,%v3,%v4,%v1  

  487.         vfmadb    %v2,%v3,%v5,%v2    

  488.         vfmadb    %v6,%v16,%v4,%v6  

  489.         vfmadb    %v7,%v16,%v5,%v7 

  490. 

  491.         vl %v4, 96(\PTR_B_REG)  

  492.         vl %v5,112(\PTR_B_REG)    

  493.         vlrepg  %v3, 48(\PTR_A_REG) 

  494.         vlrepg  %v16, 56(\PTR_A_REG)       

  495.         vfmadb    %v1,%v3,%v4,%v1  

  496.         vfmadb    %v2,%v3,%v5,%v2  

  497.         la \PTR_B_REG, 128(\PTR_B_REG)    

  498.         vfmadb    %v6,%v16,%v4,%v6  

  499.         vfmadb    %v7,%v16,%v5,%v7    

  500.          la \PTR_A_REG, 64(\PTR_A_REG)    

  501. .endm

  502. 

  503. /*Calculate for 2x4 C blocks.This Time BroadCast A. but Load B multiple*/

  504. .macro CALC_2x4  PTR_A_REG,PTR_B_REG

  505.         vl %v4, 0(\PTR_B_REG)  

  506.         vl %v5,16(\PTR_B_REG)    

  507.         vlrepg  %v3, 0(\PTR_A_REG) 

  508.         vlrepg  %v16, 8(\PTR_A_REG)       

  509.         vfmadb    %v1,%v3,%v4,%v1  

  510.         vfmadb    %v2,%v3,%v5,%v2   

  511.         la \PTR_A_REG, 16(\PTR_A_REG) 

  512.         vfmadb    %v6,%v16,%v4,%v6  

  513.         vfmadb    %v7,%v16,%v5,%v7      

  514.         la \PTR_B_REG, 32(\PTR_B_REG)    

  515. .endm

  516. 

  517. .macro STORE_2x4  ALPHA_REG,CIJ_REG , LDC_BYTE_ORIGINAL

  518. /**/

  519.     vfmdb %v1,%v1,\ALPHA_REG

  520.     vfmdb %v2,%v2,\ALPHA_REG

  521.     vfmdb %v6,%v6,\ALPHA_REG

  522.     vfmdb %v7,%v7,\ALPHA_REG

  523.     vrepg %v4,%v1,1

  524.     vrepg %v5,%v6,1

  525.     la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL) 

  526.     adb %f1, 0(\CIJ_REG)

  527.     std %f1,0(\CIJ_REG)

  528. 

  529.     adb %f6, 8(\CIJ_REG)

  530.     std %f6,8(\CIJ_REG)

  531.      

  532.     adb %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  533.     std %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) 

  534.     

  535.     adb %f5,8(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  536.     std %f5,8(\CIJ_REG,\LDC_BYTE_ORIGINAL) 

  537.      

  538.       /*add LDC_BYTE */

  539.     la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL )

  540.     vrepg %v4,%v2,1

  541.     vrepg %v5,%v7,1

  542. 

  543.     adb %f2,0(\CIJ_REG,LOCAL_VAR1)

  544.     std %f2,0(\CIJ_REG,LOCAL_VAR1)

  545.     

  546.     adb %f7,8(\CIJ_REG,LOCAL_VAR1)

  547.     std %f7,8(\CIJ_REG,LOCAL_VAR1)

  548. 

  549.     adb %f4,0(\CIJ_REG,LOCAL_VAR2)

  550.     std %f4,0(\CIJ_REG,LOCAL_VAR2)

  551. 

  552.     adb %f5,8(\CIJ_REG,LOCAL_VAR2)

  553.     std %f5,8(\CIJ_REG,LOCAL_VAR2)

  554.     la \CIJ_REG,16(\CIJ_REG)

  555. 

  556. .endm

  557. 

  558. .macro STORE_TRMM_2x4  ALPHA_REG,CIJ_REG , LDC_BYTE_ORIGINAL

  559. /**/

  560.     vfmdb %v1,%v1,\ALPHA_REG

  561.     vfmdb %v2,%v2,\ALPHA_REG

  562.     vfmdb %v6,%v6,\ALPHA_REG

  563.     vfmdb %v7,%v7,\ALPHA_REG

  564.     vrepg %v4,%v1,1

  565.     vrepg %v5,%v6,1

  566.     la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL) 

  567.     std %f1,0(\CIJ_REG)

  568.     std %f6,8(\CIJ_REG)

  569.     std %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) 

  570.     std %f5,8(\CIJ_REG,\LDC_BYTE_ORIGINAL) 

  571.       /*add LDC_BYTE */

  572.     la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL )

  573.     vrepg %v4,%v2,1

  574.     vrepg %v5,%v7,1

  575.     std %f2,0(\CIJ_REG,LOCAL_VAR1)

  576.     std %f7,8(\CIJ_REG,LOCAL_VAR1)

  577.     std %f4,0(\CIJ_REG,LOCAL_VAR2)

  578.     std %f5,8(\CIJ_REG,LOCAL_VAR2)

  579.     la \CIJ_REG,16(\CIJ_REG)

  580. .endm

  581. 

  582. /**************************************Kernel1x4*************************************************/

  583. /*Zero C block Vectors*/

  584. .macro ZERO_CVEC_1x4

  585.     vzero  %v1  

  586.     vzero  %v2       

  587. .endm

  588. /*Calculate for 1x4 C blocks.This Time BroadCast A. but Load B multiple*/

  589. .macro CALC_1x4  PTR_A_REG,PTR_B_REG

  590.         vl %v4, 0(\PTR_B_REG)  

  591.         vl %v5,16(\PTR_B_REG)    

  592.         vlrepg  %v3, 0(\PTR_A_REG)         

  593.         vfmadb    %v1,%v3,%v4,%v1   

  594.         la \PTR_A_REG, 8(\PTR_A_REG)         

  595.         vfmadb    %v2,%v3,%v5,%v2        

  596.         la \PTR_B_REG, 32(\PTR_B_REG)    

  597. .endm

  598. 

  599. /*Calculate for 1x4_4 C blocks.This Time BroadCast A. but Load B multiple*/

  600. .macro CALC_1x4_4  PTR_A_REG,PTR_B_REG

  601.         vl %v4, 0(\PTR_B_REG)  

  602.         vl %v5,16(\PTR_B_REG)    

  603.         vlrepg  %v3, 0(\PTR_A_REG)         

  604.         vfmadb    %v1,%v3,%v4,%v1           

  605.         vfmadb    %v2,%v3,%v5,%v2  

  606. 

  607.         vl %v4, 32(\PTR_B_REG)  

  608.         vl %v5,48(\PTR_B_REG)    

  609.         vlrepg  %v3, 8(\PTR_A_REG)         

  610.         vfmadb    %v1,%v3,%v4,%v1           

  611.         vfmadb    %v2,%v3,%v5,%v2

  612. 

  613.         vl %v4, 64(\PTR_B_REG)  

  614.         vl %v5,80(\PTR_B_REG)    

  615.         vlrepg  %v3, 16(\PTR_A_REG)         

  616.         vfmadb    %v1,%v3,%v4,%v1           

  617.         vfmadb    %v2,%v3,%v5,%v2

  618. 

  619.         vl %v4, 96(\PTR_B_REG)  

  620.         vl %v5,112(\PTR_B_REG)    

  621.         vlrepg  %v3, 24(\PTR_A_REG)         

  622.         vfmadb    %v1,%v3,%v4,%v1           

  623.         vfmadb    %v2,%v3,%v5,%v2  

  624.         la \PTR_A_REG, 32(\PTR_A_REG)       

  625.         la \PTR_B_REG, 128(\PTR_B_REG)    

  626. .endm

  627. 

  628. .macro STORE_1x4  ALPHA_REG,CIJ_REG , LDC_BYTE_ORIGINAL

  629. /**/

  630.     vfmdb %v1,%v1,\ALPHA_REG

  631.     vfmdb %v2,%v2,\ALPHA_REG

  632.     vrepg %v4,%v1,1

  633.     vrepg %v5,%v2,1

  634.     la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL) 

  635.     adb %f1, 0(\CIJ_REG)

  636.     std %f1,0(\CIJ_REG)

  637.      

  638.     adb %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  639.     std %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) 

  640.       /*add LDC_BYTE */

  641.     la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL )

  642.     adb %f2,0(\CIJ_REG,LOCAL_VAR1)

  643.     std %f2,0(\CIJ_REG,LOCAL_VAR1)

  644.     adb %f5,0(\CIJ_REG,LOCAL_VAR2)

  645.     std %f5,0(\CIJ_REG,LOCAL_VAR2)

  646.     la \CIJ_REG,8(\CIJ_REG)

  647. 

  648. .endm

  649. 

  650. .macro STORE_TRMM_1x4  ALPHA_REG,CIJ_REG , LDC_BYTE_ORIGINAL

  651. /**/

  652.     vfmdb %v1,%v1,\ALPHA_REG

  653.     vfmdb %v2,%v2,\ALPHA_REG

  654.     vrepg %v4,%v1,1

  655.     vrepg %v5,%v2,1

  656.     la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL) 

  657.     std %f1,0(\CIJ_REG)

  658.     std %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) 

  659.       /*add LDC_BYTE */

  660.     la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL )

  661.     std %f2,0(\CIJ_REG,LOCAL_VAR1)

  662.     std %f5,0(\CIJ_REG,LOCAL_VAR2)

  663.     la \CIJ_REG,8(\CIJ_REG)

  664. .endm

  665. /***************************************BN=2 SECTION***************************************/

  666. /*************************************Kernel8x2***************************************************/

  667. /*Zero C block Vectors*/

  668. .macro ZERO_CVEC_8x2

  669.     vzero  %v16  

  670.     vzero  %v17   

  671.     vzero  %v18   

  672.     vzero  %v19   

  673.     vzero  %v20   

  674.     vzero  %v21   

  675.     vzero  %v22   

  676.     vzero  %v23   

  677.      

  678. .endm

  679. 

  680. /*Calculate for 8x2 C blocks*/

  681. .macro CALC_8x2  PTR_A_REG,PTR_B_REG

  682.         vlrepg %v7, 0(\PTR_B_REG)  

  683.         vlrepg %v1,8(\PTR_B_REG)    

  684.         vl  %v2, 0(\PTR_A_REG)     

  685.         vl  %v3, 16(\PTR_A_REG)     

  686.         vl  %v4, 32(\PTR_A_REG)   

  687.         vl  %v5, 48(\PTR_A_REG)      

  688.         vfmadb    %v16,%v2,%v7,%v16   

  689.         vfmadb    %v17,%v3,%v7,%v17   

  690.         vfmadb    %v18,%v4,%v7,%v18  

  691.         vfmadb    %v19,%v5,%v7,%v19     

  692.         vfmadb    %v20,%v2,%v1,%v20   

  693.         vfmadb    %v21,%v3,%v1,%v21  

  694.         la \PTR_A_REG, 64(\PTR_A_REG)     

  695.         vfmadb    %v22,%v4,%v1,%v22  

  696.         vfmadb    %v23,%v5,%v1,%v23       

  697.         la \PTR_B_REG, 16(\PTR_B_REG)    

  698. .endm

  699.  

  700. 

  701. /*Calculate for 8x2_4 C blocks*/

  702. .macro CALC_8x2_4  PTR_A_REG,PTR_B_REG

  703.         vlrepg %v7, 0(\PTR_B_REG)  

  704.         vlrepg %v1,8(\PTR_B_REG)    

  705.         vl  %v2, 0(\PTR_A_REG)     

  706.         vl  %v3, 16(\PTR_A_REG)     

  707.         vl  %v4, 32(\PTR_A_REG)   

  708.         vl  %v5, 48(\PTR_A_REG)      

  709.         vfmadb    %v16,%v2,%v7,%v16   

  710.         vfmadb    %v17,%v3,%v7,%v17   

  711.         vfmadb    %v18,%v4,%v7,%v18  

  712.         vfmadb    %v19,%v5,%v7,%v19     

  713.         vfmadb    %v20,%v2,%v1,%v20   

  714.         vfmadb    %v21,%v3,%v1,%v21       

  715.         vfmadb    %v22,%v4,%v1,%v22  

  716.         vfmadb    %v23,%v5,%v1,%v23    

  717. 

  718.         vlrepg %v7, 16(\PTR_B_REG)  

  719.         vlrepg %v1,24(\PTR_B_REG)    

  720.         vl  %v2, 64(\PTR_A_REG)     

  721.         vl  %v3, 80(\PTR_A_REG)     

  722.         vl  %v4, 96(\PTR_A_REG)   

  723.         vl  %v5, 112(\PTR_A_REG)      

  724.         vfmadb    %v16,%v2,%v7,%v16   

  725.         vfmadb    %v17,%v3,%v7,%v17   

  726.         vfmadb    %v18,%v4,%v7,%v18  

  727.         vfmadb    %v19,%v5,%v7,%v19     

  728.         vfmadb    %v20,%v2,%v1,%v20   

  729.         vfmadb    %v21,%v3,%v1,%v21       

  730.         vfmadb    %v22,%v4,%v1,%v22  

  731.         vfmadb    %v23,%v5,%v1,%v23 

  732. 

  733.         vlrepg %v7, 32(\PTR_B_REG)  

  734.         vlrepg %v1,40(\PTR_B_REG)    

  735.         vl  %v2, 128(\PTR_A_REG)     

  736.         vl  %v3, 144(\PTR_A_REG)     

  737.         vl  %v4, 160(\PTR_A_REG)   

  738.         vl  %v5, 176(\PTR_A_REG)      

  739.         vfmadb    %v16,%v2,%v7,%v16   

  740.         vfmadb    %v17,%v3,%v7,%v17   

  741.         vfmadb    %v18,%v4,%v7,%v18  

  742.         vfmadb    %v19,%v5,%v7,%v19     

  743.         vfmadb    %v20,%v2,%v1,%v20   

  744.         vfmadb    %v21,%v3,%v1,%v21       

  745.         vfmadb    %v22,%v4,%v1,%v22  

  746.         vfmadb    %v23,%v5,%v1,%v23 

  747. 

  748.         vlrepg %v7, 48(\PTR_B_REG)  

  749.         vlrepg %v1,56(\PTR_B_REG)    

  750.         vl  %v2, 192(\PTR_A_REG)     

  751.         vl  %v3, 208(\PTR_A_REG)     

  752.         vl  %v4, 224(\PTR_A_REG)   

  753.         vl  %v5, 240(\PTR_A_REG)      

  754.         vfmadb    %v16,%v2,%v7,%v16   

  755.         vfmadb    %v17,%v3,%v7,%v17   

  756.         vfmadb    %v18,%v4,%v7,%v18  

  757.         vfmadb    %v19,%v5,%v7,%v19   

  758.         la \PTR_B_REG, 64(\PTR_B_REG)  

  759.         vfmadb    %v20,%v2,%v1,%v20   

  760.         vfmadb    %v21,%v3,%v1,%v21       

  761.         vfmadb    %v22,%v4,%v1,%v22  

  762.         vfmadb    %v23,%v5,%v1,%v23 

  763.         la \PTR_A_REG, 256(\PTR_A_REG)

  764. .endm

  765. 

  766. /*STORE C8X2*/

  767. .macro STORE_8x2  ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL

  768.     

  769.     vl %v1,0(\CIJ_REG)

  770.     vfmadb    %v1,%v16,\ALPHA_VECREG,%v1 

  771.     vst %v1,0(\CIJ_REG)

  772.       

  773.     vl %v2,16(\CIJ_REG)

  774.     vfmadb    %v2,%v17,\ALPHA_VECREG,%v2 

  775.     vst %v2,16(\CIJ_REG)

  776. 

  777.     vl %v3,32(\CIJ_REG)

  778.     vfmadb    %v3,%v18,\ALPHA_VECREG,%v3 

  779.     vst %v3,32(\CIJ_REG)

  780. 

  781.     vl %v4,48(\CIJ_REG)

  782.     vfmadb    %v4,%v19,\ALPHA_VECREG,%v4 

  783.     vst %v4,48(\CIJ_REG)

  784.      

  785.  

  786.     vl %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  787.     vfmadb    %v1,%v20,\ALPHA_VECREG,%v1 

  788.     vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  789. 

  790.     vl %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  791.     vfmadb    %v2,%v21,\ALPHA_VECREG,%v2 

  792.     vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  793.  

  794. 

  795.     vl %v3,32(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  796.     vfmadb    %v3,%v22,\ALPHA_VECREG,%v3 

  797.     vst %v3,32(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  798. 

  799.     vl %v4,48(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  800.     vfmadb    %v4,%v23,\ALPHA_VECREG,%v4 

  801.     vst %v4,48(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  802. 

  803.  

  804.    la \CIJ_REG,64(\CIJ_REG)

  805.  

  806. .endm

  807. 

  808. /*STORE TRMM C8X2*/

  809. .macro STORE_TRMM_8x2  ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL

  810.     vfmdb    %v1,%v16,\ALPHA_VECREG

  811.     vst %v1,0(\CIJ_REG)

  812.     vfmdb    %v2,%v17,\ALPHA_VECREG

  813.     vst %v2,16(\CIJ_REG)

  814.     vfmdb    %v3,%v18,\ALPHA_VECREG

  815.     vst %v3,32(\CIJ_REG)

  816.     vfmdb    %v4,%v19,\ALPHA_VECREG

  817.     vst %v4,48(\CIJ_REG)

  818.     vfmdb    %v1,%v20,\ALPHA_VECREG

  819.     vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  820.     vfmdb    %v2,%v21,\ALPHA_VECREG

  821.     vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  822.     vfmdb    %v3,%v22,\ALPHA_VECREG

  823.     vst %v3,32(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  824.     vfmdb    %v4,%v23,\ALPHA_VECREG

  825.     vst %v4,48(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  826.    la \CIJ_REG,64(\CIJ_REG)

  827. .endm

  828. 

  829. /*************************************Kernel4x2***************************************************/

  830. /*Zero C block Vectors*/

  831. .macro ZERO_CVEC_4x2

  832.     vzero  %v16  

  833.     vzero  %v17     

  834.     vzero  %v20   

  835.     vzero  %v21    

  836.      

  837. .endm

  838. 

  839. /*Calculate for 4x2 C blocks*/

  840. .macro CALC_4x2  PTR_A_REG,PTR_B_REG

  841.         vlrepg %v7, 0(\PTR_B_REG)  

  842.         vlrepg %v1,8(\PTR_B_REG)    

  843.         vl  %v2, 0(\PTR_A_REG)     

  844.         vl  %v3, 16(\PTR_A_REG)       

  845.         vfmadb    %v16,%v2,%v7,%v16   

  846.         vfmadb    %v17,%v3,%v7,%v17 

  847.         la \PTR_A_REG, 32(\PTR_A_REG)       

  848.         vfmadb    %v20,%v2,%v1,%v20   

  849.         vfmadb    %v21,%v3,%v1,%v21   

  850.         la \PTR_B_REG, 16(\PTR_B_REG)    

  851. .endm

  852. 

  853. /*Calculate for 4x2_4 C blocks*/

  854. .macro CALC_4x2_4  PTR_A_REG,PTR_B_REG

  855. 

  856.         vlrepg %v7, 0(\PTR_B_REG)  

  857.         vlrepg %v1,8(\PTR_B_REG)    

  858.         vl  %v2, 0(\PTR_A_REG)     

  859.         vl  %v3, 16(\PTR_A_REG)       

  860.         vfmadb    %v16,%v2,%v7,%v16   

  861.         vfmadb    %v17,%v3,%v7,%v17        

  862.         vfmadb    %v20,%v2,%v1,%v20   

  863.         vfmadb    %v21,%v3,%v1,%v21   

  864. 

  865.         vlrepg %v7, 16(\PTR_B_REG)  

  866.         vlrepg %v1,24(\PTR_B_REG)    

  867.         vl  %v2, 32(\PTR_A_REG)     

  868.         vl  %v3, 48(\PTR_A_REG)       

  869.         vfmadb    %v16,%v2,%v7,%v16   

  870.         vfmadb    %v17,%v3,%v7,%v17        

  871.         vfmadb    %v20,%v2,%v1,%v20   

  872.         vfmadb    %v21,%v3,%v1,%v21  

  873. 

  874.         vlrepg %v7, 32(\PTR_B_REG)  

  875.         vlrepg %v1,40(\PTR_B_REG)    

  876.         vl  %v2, 64(\PTR_A_REG)     

  877.         vl  %v3, 80(\PTR_A_REG)       

  878.         vfmadb    %v16,%v2,%v7,%v16   

  879.         vfmadb    %v17,%v3,%v7,%v17        

  880.         vfmadb    %v20,%v2,%v1,%v20   

  881.         vfmadb    %v21,%v3,%v1,%v21  

  882. 

  883. 

  884.         vlrepg %v7, 48(\PTR_B_REG)  

  885.         vlrepg %v1,56(\PTR_B_REG)    

  886.         vl  %v2, 96(\PTR_A_REG)     

  887.         vl  %v3, 112(\PTR_A_REG)       

  888.         vfmadb    %v16,%v2,%v7,%v16   

  889.         vfmadb    %v17,%v3,%v7,%v17  

  890.         la \PTR_B_REG, 64(\PTR_B_REG)         

  891.         vfmadb    %v20,%v2,%v1,%v20   

  892.         vfmadb    %v21,%v3,%v1,%v21  

  893.         la \PTR_A_REG, 128(\PTR_A_REG)    

  894. .endm

  895.  

  896. 

  897. /*STORE C4x2*/

  898. .macro STORE_4x2  ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL

  899.     

  900.     vl %v1,0(\CIJ_REG)

  901.     vfmadb    %v1,%v16,\ALPHA_VECREG,%v1 

  902.     vst %v1,0(\CIJ_REG)

  903.       

  904.     vl %v2,16(\CIJ_REG)

  905.     vfmadb    %v2,%v17,\ALPHA_VECREG,%v2 

  906.     vst %v2,16(\CIJ_REG)

  907.  

  908.  

  909.     vl %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  910.     vfmadb    %v1,%v20,\ALPHA_VECREG,%v1 

  911.     vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  912. 

  913.     vl %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  914.     vfmadb    %v2,%v21,\ALPHA_VECREG,%v2 

  915.     vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL) 

  916.  

  917.     la \CIJ_REG,32(\CIJ_REG)

  918.  

  919. .endm

  920. 

  921. /*STORE TRMM C4x2*/

  922. .macro STORE_TRMM_4x2  ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL

  923.     vfmdb    %v1,%v16,\ALPHA_VECREG

  924.     vst %v1,0(\CIJ_REG)

  925.     vfmdb    %v2,%v17,\ALPHA_VECREG

  926.     vst %v2,16(\CIJ_REG)

  927.     vfmdb    %v1,%v20,\ALPHA_VECREG

  928.     vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  929.     vfmdb    %v2,%v21,\ALPHA_VECREG

  930.     vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL) 

  931.     la \CIJ_REG,32(\CIJ_REG)

  932. .endm

  933. 

  934. /*************************************Kernel2x2***************************************************/

  935. /*Zero C block Vectors*/

  936. .macro ZERO_CVEC_2x2

  937.     vzero  %v16       

  938.     vzero  %v20      

  939.      

  940. .endm

  941. 

  942. /*Calculate for 2x2 C blocks*/

  943. .macro CALC_2x2  PTR_A_REG,PTR_B_REG

  944.         vlrepg %v7, 0(\PTR_B_REG)  

  945.         vlrepg %v1,8(\PTR_B_REG)    

  946.         vl  %v2, 0(\PTR_A_REG)         

  947.         vfmadb    %v16,%v2,%v7,%v16    

  948.         la \PTR_A_REG, 16(\PTR_A_REG)       

  949.         vfmadb    %v20,%v2,%v1,%v20     

  950.         la \PTR_B_REG, 16(\PTR_B_REG)    

  951. .endm

  952.  

  953. /*Calculate for 2x2_4 C blocks*/

  954. .macro CALC_2x2_4  PTR_A_REG,PTR_B_REG

  955.         vlrepg %v7, 0(\PTR_B_REG)  

  956.         vlrepg %v1,8(\PTR_B_REG)    

  957.         vl  %v2, 0(\PTR_A_REG)         

  958.         vfmadb    %v16,%v2,%v7,%v16          

  959.         vfmadb    %v20,%v2,%v1,%v20   

  960. 

  961.         vlrepg %v7, 16(\PTR_B_REG)  

  962.         vlrepg %v1,24(\PTR_B_REG)    

  963.         vl  %v2, 16(\PTR_A_REG)         

  964.         vfmadb    %v16,%v2,%v7,%v16          

  965.         vfmadb    %v20,%v2,%v1,%v20 

  966. 

  967.         vlrepg %v7, 32(\PTR_B_REG)  

  968.         vlrepg %v1,40(\PTR_B_REG)    

  969.         vl  %v2, 32(\PTR_A_REG)         

  970.         vfmadb    %v16,%v2,%v7,%v16          

  971.         vfmadb    %v20,%v2,%v1,%v20 

  972. 

  973. 

  974.         vlrepg %v7, 48(\PTR_B_REG)  

  975.         vlrepg %v1,56(\PTR_B_REG)    

  976.         vl  %v2, 48(\PTR_A_REG)         

  977.         vfmadb    %v16,%v2,%v7,%v16          

  978.         vfmadb    %v20,%v2,%v1,%v20  

  979.   

  980.         la \PTR_B_REG, 64(\PTR_B_REG)  

  981.         la \PTR_A_REG, 64(\PTR_A_REG)    

  982. .endm

  983. 

  984. /*STORE C2x2*/

  985. .macro STORE_2x2  ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL

  986.     

  987.     vl %v1,0(\CIJ_REG)

  988.     vfmadb    %v1,%v16,\ALPHA_VECREG,%v1 

  989.     vst %v1,0(\CIJ_REG) 

  990. 

  991.     vl %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  992.     vfmadb    %v1,%v20,\ALPHA_VECREG,%v1 

  993.     vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) 

  994. 

  995.     la \CIJ_REG,16(\CIJ_REG)

  996.  

  997. .endm

  998. 

  999. /*STORE TRMM C2x2*/

  1000. .macro STORE_TRMM_2x2  ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL

  1001.     vfmdb    %v1,%v16,\ALPHA_VECREG

  1002.     vst %v1,0(\CIJ_REG) 

  1003.     vfmdb    %v1,%v20,\ALPHA_VECREG

  1004.     vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) 

  1005.     la \CIJ_REG,16(\CIJ_REG)

  1006. .endm

  1007. 

  1008. /**************************************Kernel1x2*************************************************/

  1009. /*Zero C block Vectors*/

  1010. .macro ZERO_CVEC_1x2

  1011.     vzero  %v1       

  1012. .endm

  1013. /*Calculate for 1x2 C blocks.This Time BroadCast A. but Load B multiple*/

  1014. .macro CALC_1x2  PTR_A_REG,PTR_B_REG

  1015.         vl %v4, 0(\PTR_B_REG)      

  1016.         vlrepg  %v3, 0(\PTR_A_REG)  

  1017.         la \PTR_B_REG, 16(\PTR_B_REG)       

  1018.         vfmadb    %v1,%v3,%v4,%v1   

  1019.         la \PTR_A_REG, 8(\PTR_A_REG)      

  1020. .endm

  1021. 

  1022. .macro CALC_1x2_4  PTR_A_REG,PTR_B_REG

  1023.         vl %v4, 0(\PTR_B_REG)      

  1024.         vlrepg  %v3, 0(\PTR_A_REG)         

  1025.         vfmadb    %v1,%v3,%v4,%v1  

  1026. 

  1027.         vl %v4, 16(\PTR_B_REG)      

  1028.         vlrepg  %v3, 8(\PTR_A_REG)         

  1029.         vfmadb    %v1,%v3,%v4,%v1  

  1030. 

  1031.         vl %v4, 32(\PTR_B_REG)      

  1032.         vlrepg  %v3, 16(\PTR_A_REG)         

  1033.         vfmadb    %v1,%v3,%v4,%v1  

  1034. 

  1035.         vl %v4, 48(\PTR_B_REG)      

  1036.         vlrepg  %v3, 24(\PTR_A_REG)         

  1037.         vfmadb    %v1,%v3,%v4,%v1  

  1038. 

  1039.         la \PTR_B_REG, 64(\PTR_B_REG) 

  1040.         la \PTR_A_REG, 32(\PTR_A_REG)      

  1041. .endm

  1042. 

  1043. .macro STORE_1x2  ALPHA_REG,CIJ_REG , LDC_BYTE_ORIGINAL

  1044. /**/

  1045.     vfmdb %v1,%v1,\ALPHA_REG 

  1046.     vrepg %v4,%v1,1  

  1047.     adb %f1, 0(\CIJ_REG)

  1048.     std %f1,0(\CIJ_REG)

  1049. 

  1050.     adb %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)

  1051.     std %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) 

  1052.       

  1053.     la \CIJ_REG,8(\CIJ_REG)

  1054. 

  1055. .endm

  1056. 

  1057. .macro STORE_TRMM_1x2  ALPHA_REG,CIJ_REG , LDC_BYTE_ORIGINAL

  1058. /**/

  1059.     vfmdb %v1,%v1,\ALPHA_REG 

  1060.     vrepg %v4,%v1,1  

  1061.     std %f1,0(\CIJ_REG)

  1062.     std %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) 

  1063.     la \CIJ_REG,8(\CIJ_REG)

  1064. .endm

  1065. 

  1066. /**************************************BN=1*******************************************************/

  1067. /*************************************Kernel8x1***************************************************/

  1068. /*Zero C block Vectors*/

  1069. .macro ZERO_CVEC_8x1

  1070.     vzero  %v16  

  1071.     vzero  %v17

  1072.     vzero  %v18  

  1073.     vzero  %v19     

  1074. .endm

  1075. /*Calculate for 8x1 C blocks*/

  1076. .macro CALC_8x1  PTR_A_REG,PTR_B_REG

  1077.         vlrepg %v7, 0(\PTR_B_REG)    

  1078.         vl  %v2, 0(\PTR_A_REG)     

  1079.         vl  %v3, 16(\PTR_A_REG)     

  1080.         vl  %v4, 32(\PTR_A_REG)   

  1081.         vl  %v5, 48(\PTR_A_REG)  

  1082.         la \PTR_B_REG, 8(\PTR_B_REG)    

  1083.         vfmadb    %v16,%v2,%v7,%v16      

  1084.         vfmadb    %v17,%v3,%v7,%v17   

  1085.         vfmadb    %v18,%v4,%v7,%v18  

  1086.         la \PTR_A_REG, 64(\PTR_A_REG)  

  1087.         vfmadb    %v19,%v5,%v7,%v19    

  1088. .endm

  1089. 

  1090. /*Calculate for 8x1_4 C blocks*/

  1091. .macro CALC_8x1_4  PTR_A_REG,PTR_B_REG

  1092.         vlrepg %v7, 0(\PTR_B_REG)    

  1093.         vl  %v2, 0(\PTR_A_REG)     

  1094.         vl  %v3, 16(\PTR_A_REG)     

  1095.         vl  %v4, 32(\PTR_A_REG)   

  1096.         vl  %v5, 48(\PTR_A_REG)      

  1097.         vfmadb    %v16,%v2,%v7,%v16      

  1098.         vfmadb    %v17,%v3,%v7,%v17   

  1099.         vfmadb    %v18,%v4,%v7,%v18    

  1100.         vfmadb    %v19,%v5,%v7,%v19 

  1101. 

  1102.         vlrepg %v7, 8(\PTR_B_REG)    

  1103.         vl  %v2, 64(\PTR_A_REG)     

  1104.         vl  %v3, 80(\PTR_A_REG)     

  1105.         vl  %v4, 96(\PTR_A_REG)   

  1106.         vl  %v5, 112(\PTR_A_REG)      

  1107.         vfmadb    %v16,%v2,%v7,%v16      

  1108.         vfmadb    %v17,%v3,%v7,%v17   

  1109.         vfmadb    %v18,%v4,%v7,%v18    

  1110.         vfmadb    %v19,%v5,%v7,%v19 

  1111. 

  1112.         vlrepg %v7, 16(\PTR_B_REG)    

  1113.         vl  %v2, 128(\PTR_A_REG)     

  1114.         vl  %v3, 144(\PTR_A_REG)     

  1115.         vl  %v4, 160(\PTR_A_REG)   

  1116.         vl  %v5, 176(\PTR_A_REG)      

  1117.         vfmadb    %v16,%v2,%v7,%v16      

  1118.         vfmadb    %v17,%v3,%v7,%v17   

  1119.         vfmadb    %v18,%v4,%v7,%v18    

  1120.         vfmadb    %v19,%v5,%v7,%v19 

  1121. 

  1122.         vlrepg %v7, 24(\PTR_B_REG)    

  1123.         vl  %v2, 192(\PTR_A_REG)     

  1124.         vl  %v3, 208(\PTR_A_REG)     

  1125.         vl  %v4, 224(\PTR_A_REG)   

  1126.         vl  %v5, 240(\PTR_A_REG)      

  1127.         vfmadb    %v16,%v2,%v7,%v16      

  1128.         vfmadb    %v17,%v3,%v7,%v17   

  1129.         vfmadb    %v18,%v4,%v7,%v18    

  1130.         vfmadb    %v19,%v5,%v7,%v19 

  1131. 

  1132. 

  1133.         la \PTR_A_REG, 256(\PTR_A_REG)

  1134.         la \PTR_B_REG, 32(\PTR_B_REG)   

  1135. .endm

  1136.  

  1137. /*STORE C8X1*/

  1138. .macro STORE_8x1  ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL

  1139.     

  1140.     vl %v1,0(\CIJ_REG)

  1141.     vfmadb    %v1,%v16,\ALPHA_VECREG,%v1 

  1142.     vst %v1,0(\CIJ_REG)

  1143.       

  1144.     vl %v2,16(\CIJ_REG)

  1145.     vfmadb    %v2,%v17,\ALPHA_VECREG,%v2 

  1146.     vst %v2,16(\CIJ_REG)

  1147. 

  1148.     vl %v3,32(\CIJ_REG)

  1149.     vfmadb    %v3,%v18,\ALPHA_VECREG,%v3 

  1150.     vst %v3,32(\CIJ_REG)

  1151. 

  1152.     vl %v4,48(\CIJ_REG)

  1153.     vfmadb    %v4,%v19,\ALPHA_VECREG,%v4 

  1154.     vst %v4,48(\CIJ_REG)

  1155.      

  1156.     la \CIJ_REG,64(\CIJ_REG)

  1157.  

  1158. .endm

  1159.  

  1160. /*STORE TRMM C8X1*/

  1161. .macro STORE_TRMM_8x1  ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL

  1162.     vfmdb    %v1,%v16,\ALPHA_VECREG

  1163.     vst %v1,0(\CIJ_REG)

  1164.     vfmdb    %v2,%v17,\ALPHA_VECREG

  1165.     vst %v2,16(\CIJ_REG)

  1166.     vfmdb    %v3,%v18,\ALPHA_VECREG

  1167.     vst %v3,32(\CIJ_REG)

  1168.     vfmdb    %v4,%v19,\ALPHA_VECREG

  1169.     vst %v4,48(\CIJ_REG)

  1170.     la \CIJ_REG,64(\CIJ_REG)

  1171. .endm

  1172.  

  1173. 

  1174. /*************************************Kernel4x1***************************************************/

  1175. /*Zero C block Vectors*/

  1176. .macro ZERO_CVEC_4x1

  1177.     vzero  %v16  

  1178.     vzero  %v17      

  1179. .endm

  1180. /*Calculate for 4x1 C blocks*/

  1181. .macro CALC_4x1  PTR_A_REG,PTR_B_REG

  1182.         vlrepg %v7, 0(\PTR_B_REG)    

  1183.         vl  %v2, 0(\PTR_A_REG)     

  1184.         vl  %v3, 16(\PTR_A_REG)    

  1185.         la \PTR_B_REG, 8(\PTR_B_REG)    

  1186.         vfmadb    %v16,%v2,%v7,%v16      

  1187.         vfmadb    %v17,%v3,%v7,%v17   

  1188.         la \PTR_A_REG, 32(\PTR_A_REG)     

  1189. .endm

  1190.  

  1191. /*Calculate for 4x1_4 C blocks*/

  1192. .macro CALC_4x1_4  PTR_A_REG,PTR_B_REG

  1193.         vlrepg %v7, 0(\PTR_B_REG)    

  1194.         vl  %v2, 0(\PTR_A_REG)     

  1195.         vl  %v3, 16(\PTR_A_REG)       

  1196.         vfmadb    %v16,%v2,%v7,%v16      

  1197.         vfmadb    %v17,%v3,%v7,%v17  

  1198. 

  1199.         vlrepg %v7, 8(\PTR_B_REG)    

  1200.         vl  %v2, 32(\PTR_A_REG)     

  1201.         vl  %v3, 48(\PTR_A_REG)       

  1202.         vfmadb    %v16,%v2,%v7,%v16      

  1203.         vfmadb    %v17,%v3,%v7,%v17 

  1204. 

  1205.         vlrepg %v7, 16(\PTR_B_REG)    

  1206.         vl  %v2, 64(\PTR_A_REG)     

  1207.         vl  %v3, 80(\PTR_A_REG)       

  1208.         vfmadb    %v16,%v2,%v7,%v16      

  1209.         vfmadb    %v17,%v3,%v7,%v17 

  1210. 

  1211.         vlrepg %v7, 24(\PTR_B_REG)    

  1212.         vl  %v2, 96(\PTR_A_REG)     

  1213.         vl  %v3, 112(\PTR_A_REG)       

  1214.         vfmadb    %v16,%v2,%v7,%v16      

  1215.         vfmadb    %v17,%v3,%v7,%v17 

  1216. 

  1217.         la \PTR_B_REG, 32(\PTR_B_REG)  

  1218.         la \PTR_A_REG, 128(\PTR_A_REG)     

  1219. .endm

  1220. 

  1221. /*STORE C4X1*/

  1222. .macro STORE_4x1  ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL

  1223.     

  1224.     vl %v1,0(\CIJ_REG)

  1225.     vfmadb    %v1,%v16,\ALPHA_VECREG,%v1 

  1226.     vst %v1,0(\CIJ_REG)

  1227.       

  1228.     vl %v2,16(\CIJ_REG)

  1229.     vfmadb    %v2,%v17,\ALPHA_VECREG,%v2 

  1230.     vst %v2,16(\CIJ_REG)

  1231.  

  1232.      

  1233.     la \CIJ_REG,32(\CIJ_REG)

  1234.  

  1235. .endm

  1236. 

  1237. /*STORE TRMM C4X1*/

  1238. .macro STORE_TRMM_4x1  ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL

  1239.     vfmdb    %v1,%v16,\ALPHA_VECREG

  1240.     vst %v1,0(\CIJ_REG)

  1241.     vfmdb    %v2,%v17,\ALPHA_VECREG

  1242.     vst %v2,16(\CIJ_REG)

  1243.     la \CIJ_REG,32(\CIJ_REG)

  1244. .endm

  1245. /*************************************Kernel2x1***************************************************/

  1246. /*Zero C block Vectors*/

  1247. .macro ZERO_CVEC_2x1

  1248.     vzero  %v16       

  1249. .endm

  1250. /*Calculate for 2x1 C blocks*/

  1251. .macro CALC_2x1  PTR_A_REG,PTR_B_REG

  1252.         vlrepg %v7, 0(\PTR_B_REG)    

  1253.         vl  %v2, 0(\PTR_A_REG)      

  1254.         la \PTR_B_REG, 8(\PTR_B_REG)    

  1255.         vfmadb    %v16,%v2,%v7,%v16    

  1256.         la \PTR_A_REG, 16(\PTR_A_REG)     

  1257. .endm

  1258. 

  1259. /*Calculate for 2x1_4 C blocks*/

  1260. .macro CALC_2x1_4  PTR_A_REG,PTR_B_REG

  1261.         vlrepg %v7, 0(\PTR_B_REG)    

  1262.         vl  %v2, 0(\PTR_A_REG)         

  1263.         vfmadb    %v16,%v2,%v7,%v16  

  1264. 

  1265.         vlrepg %v7, 8(\PTR_B_REG)    

  1266.         vl  %v2, 16(\PTR_A_REG)         

  1267.         vfmadb    %v16,%v2,%v7,%v16  

  1268. 

  1269.         vlrepg %v7, 16(\PTR_B_REG)    

  1270.         vl  %v2, 32(\PTR_A_REG)         

  1271.         vfmadb    %v16,%v2,%v7,%v16          

  1272. 

  1273.         vlrepg %v7, 24(\PTR_B_REG)    

  1274.         vl  %v2, 48(\PTR_A_REG)         

  1275.         vfmadb    %v16,%v2,%v7,%v16  

  1276. 

  1277.         la \PTR_B_REG, 32(\PTR_B_REG)   

  1278.         la \PTR_A_REG, 64(\PTR_A_REG)     

  1279. .endm

  1280.  

  1281. /*STORE C2X1*/

  1282. .macro STORE_2x1  ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL

  1283.     

  1284.     vl %v1,0(\CIJ_REG)

  1285.     vfmadb    %v1,%v16,\ALPHA_VECREG,%v1 

  1286.     vst %v1,0(\CIJ_REG) 

  1287. 

  1288.     la \CIJ_REG,16(\CIJ_REG)

  1289.  

  1290. .endm

  1291. 

  1292. /*STORE TRMM C2X1*/

  1293. .macro STORE_TRMM_2x1  ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL

  1294.     vfmdb    %v1,%v16,\ALPHA_VECREG  

  1295.     vst %v1,0(\CIJ_REG) 

  1296.     la \CIJ_REG,16(\CIJ_REG)

  1297. .endm

  1298. /*************************************Kernel1x1***************************************************/

  1299. /*Zero C block Vectors*/

  1300. .macro ZERO_CVEC_1x1

  1301.     LZDR %f1       

  1302. .endm

  1303. /*Calculate for 1x1 C blocks*/

  1304. .macro CALC_1x1  PTR_A_REG,PTR_B_REG

  1305.      ld %f2,0(\PTR_A_REG) /**a*/

  1306.      la  \PTR_A_REG,8(\PTR_A_REG)

  1307.      madb %f1,%f2,0(\PTR_B_REG)

  1308.      la  \PTR_B_REG,8(\PTR_B_REG)     

  1309. .endm

  1310. 

  1311. /*Calculate for 1x1_4 C blocks*/

  1312. .macro CALC_1x1_4  PTR_A_REG,PTR_B_REG

  1313.      ld %f2,0(\PTR_A_REG) /**a*/

  1314.      madb %f1,%f2,0(\PTR_B_REG)

  1315. 

  1316.      ld %f2,8(\PTR_A_REG) /**a*/

  1317.      madb %f1,%f2,8(\PTR_B_REG)

  1318. 

  1319.      ld %f2,16(\PTR_A_REG) /**a*/

  1320.      madb %f1,%f2,16(\PTR_B_REG)

  1321. 

  1322.      ld %f2,24(\PTR_A_REG) /**a*/

  1323.      madb %f1,%f2,24(\PTR_B_REG)          

  1324. 

  1325.      la  \PTR_A_REG,32(\PTR_A_REG)

  1326.      la  \PTR_B_REG,32(\PTR_B_REG)     

  1327. .endm

  1328.  

  1329. /*STORE C1X1*/

  1330. .macro STORE_1x1  ALPHA_FLOAT,CIJ_REG,LDC_BYTE_ORIGINAL  

  1331.      ld %f2,0(CIJ_LOCAL)

  1332.      madbr %f2,%f1,\ALPHA_FLOAT

  1333.      std %f2,0(CIJ_LOCAL) 

  1334.      la \CIJ_REG,8(\CIJ_REG) 

  1335. .endm

  1336. 

  1337. /*STORE C1X1*/

  1338. .macro STORE_TRMM_1x1  ALPHA_FLOAT,CIJ_REG,LDC_BYTE_ORIGINAL  

  1339.      mdbr %f1,\ALPHA_FLOAT

  1340.      std %f1,0(CIJ_LOCAL) 

  1341.      la \CIJ_REG,8(\CIJ_REG) 

  1342. .endm

  1343. 

  1344. 

  1345. /****************************TRMM POINTER REFRESH MACROSES*************************/

  1346. 

  1347. .macro RefreshPointers  PTR_A,PTR_B,OFF_VAL,B_VAL,C_A,C_B

  1348.     #if (defined(LEFT) &&  defined(TRANSA)) ||  (!defined(LEFT) && !defined(TRANSA))

  1349.                /*  ptrbb = bb;*/

  1350.             lgr \PTR_B,\B_VAL      /*refresh BPOINT*/

  1351. 

  1352.     #else

  1353.              /*  ptrba  =ptrba+ off*C_A;

  1354.               ptrbb = bb + off*C_B;*/

  1355. .if \C_B==4 

  1356. 		.if \C_A==8 

  1357. 			sllg \PTR_B, \OFF_VAL,5

  1358. 			la \PTR_A,0(\PTR_A,\PTR_B) /*ptrba+off*4*/

  1359. 			agr \PTR_A,\PTR_B /*ptrba+off*4**/

  1360. 			la \PTR_B,0(\B_VAL,\PTR_B)	  

  1361. 		.elseif \C_A==4

  1362. 			sllg \PTR_B, \OFF_VAL,5 

  1363. 			agr \PTR_A,\PTR_B /*ptrba+off*4**/

  1364. 			la \PTR_B,0(\B_VAL,\PTR_B)	  /*refresh BPOINT*/

  1365. 		.elseif \C_A==2

  1366. 			sllg \PTR_B, \OFF_VAL,4 

  1367. 			la \PTR_A,0(\PTR_A,\PTR_B) /*ptrba+off*2**/

  1368. 			agr \PTR_B, \PTR_B   

  1369. 			la \PTR_B,0(\B_VAL,\PTR_B)	  /*refresh BPOINT*/

  1370. 

  1371. 		.elseif \C_A==1

  1372. 			sllg \PTR_B, \OFF_VAL,3 

  1373. 			agr \PTR_A,\PTR_B /*ptrba+off*4**/

  1374. 			sllg \PTR_B, \OFF_VAL,5   

  1375. 			la \PTR_B,0(\B_VAL,\PTR_B)	  /*refresh BPOINT*/

  1376. 		.endif

  1377. 

  1378. .elseif \C_B==2

  1379. 		.if \C_A==8 

  1380. 			sllg \PTR_B, \OFF_VAL,6 

  1381. 			agr \PTR_A,\PTR_B /*ptrba+off*8**/

  1382. 			sllg \PTR_B, \OFF_VAL,4   

  1383. 			la \PTR_B,0(\B_VAL,\PTR_B)	  /*refresh BPOINT*/

  1384. 		.elseif \C_A==4

  1385. 			sllg \PTR_B, \OFF_VAL,4 

  1386. 			la \PTR_A,0(\PTR_A,\PTR_B) /*ptrba+off*2**/

  1387. 			agr \PTR_A,\PTR_B /*ptrba+off*2**/  

  1388. 			la \PTR_B,0(\B_VAL,\PTR_B)	  /*refresh BPOINT*/

  1389. 		.elseif \C_A==2

  1390. 			sllg \PTR_B, \OFF_VAL,4 

  1391. 			agr \PTR_A,\PTR_B /*ptrba+off*2**/ 

  1392. 			la \PTR_B,0(\B_VAL,\PTR_B)	  /*refresh BPOINT*/ 

  1393. 		.elseif \C_A==1

  1394. 			sllg \PTR_B, \OFF_VAL,3 

  1395. 			la \PTR_A,0(\PTR_A,\PTR_B) /*ptrba+off*1**/

  1396. 			agr \PTR_B,\PTR_B /* off+off**/  

  1397. 			la \PTR_B,0(\B_VAL,\PTR_B)	  /*refresh BPOINT*/

  1398. 		.endif

  1399. 

  1400. .elseif \C_B==1

  1401. 		.if \C_A==8 

  1402. 			sllg \PTR_B, \OFF_VAL,6 

  1403. 			agr \PTR_A,\PTR_B /*ptrba+off*8**/

  1404. 			sllg \PTR_B, \OFF_VAL,3 

  1405. 			la \PTR_B,0(\B_VAL,\PTR_B)	  /*refresh BPOINT*/

  1406. 		.elseif \C_A==4

  1407. 			sllg \PTR_B, \OFF_VAL,5 

  1408. 			agr \PTR_A,\PTR_B /*ptrba+off*4**/

  1409. 			sllg \PTR_B, \OFF_VAL,3 

  1410. 			la \PTR_B,0(\B_VAL,\PTR_B)	  /*refresh BPOINT*/

  1411. 		.elseif \C_A==2

  1412. 			sllg \PTR_B, \OFF_VAL,3 

  1413. 			la \PTR_A,0(\PTR_A,\PTR_B) /*ptrba+off*1**/

  1414. 			agr \PTR_A,\PTR_B /*ptrba+off*1**/

  1415. 			la \PTR_B,0(\B_VAL,\PTR_B)	  /*refresh BPOINT*/

  1416. 

  1417. 		.elseif \C_A==1

  1418. 			sllg \PTR_B, \OFF_VAL,3 

  1419. 			agr \PTR_A,\PTR_B /*ptrba+off*1**/ 

  1420. 			la \PTR_B,0(\B_VAL,\PTR_B)	  /*refresh BPOINT*/

  1421. 		.endif

  1422. .endif

  1423.              

  1424.  

  1425.     #endif 

  1426. .endm

  1427. 

  1428. /**/

  1429. .macro RefreshTempBk TEMP_VAL,BK_VAL,OFF_VAL,INCR_A,INCR_B

  1430.     #if (defined(LEFT) && !defined(TRANSA)) ||  (!defined(LEFT) && defined(TRANSA))

  1431.                             /* temp = bk-off;*/

  1432.            sgrk \TEMP_VAL,\BK_VAL,\OFF_VAL

  1433. 

  1434.     #elif defined(LEFT)

  1435.                             /* temp = off+INCR_A;	// number of values in A */

  1436.            la \TEMP_VAL,\INCR_A(\OFF_VAL)

  1437.     #else

  1438.                             /* temp = off+INCR_B	// number of values in B*/

  1439.            la \TEMP_VAL,\INCR_B(\OFF_VAL)

  1440.     #endif

  1441. 

  1442. .endm

  1443.  

  1444. 

  1445. .macro RefreshPointersAndOFF TEMP_VAL,BK_VAL,OFF_VAL,PTR_B,PTR_A,C_A,C_B

  1446. 

  1447.     #if ( defined(LEFT) && defined(TRANSA)) || (!defined(LEFT) && !defined(TRANSA))

  1448.                     /*temp = bk - off;*/

  1449.                     sgrk \TEMP_VAL,\BK_VAL,\OFF_VAL

  1450.     #ifdef LEFT

  1451.                     /*temp -= 8; // number of values in A*/

  1452.                     lay \TEMP_VAL,-\C_A(\TEMP_VAL)

  1453.     #else

  1454.                     /*temp -= 4; // number of values in B*/

  1455.                    lay \TEMP_VAL,-\C_B(\TEMP_VAL)

  1456.     #endif

  1457.                     /*ptrba += temp*C_A;

  1458.                     ptrbb += temp*C_B;*/ 

  1459. 		.if  \C_A==8 

  1460. 			sllg \TEMP_VAL, \TEMP_VAL,6	

  1461. 		.elseif \C_A==4

  1462. 			sllg \TEMP_VAL, \TEMP_VAL,5 /*temp*4*/ 

  1463. 		.elseif \C_A==2

  1464. 			sllg \TEMP_VAL, \TEMP_VAL,4 /*temp*2*/  

  1465. 		.elseif \C_A==1

  1466. 			sllg \TEMP_VAL, \TEMP_VAL,3 /*temp*1*/  

  1467. 		.endif

  1468.                 la \PTR_A,0(\PTR_A,\TEMP_VAL) /*ptrba+temp*C_A*/ 

  1469.                 /*we do not need to refresh ptrbb. so lets ignore it*/

  1470. 

  1471.     #endif

  1472. 

  1473.     #ifdef LEFT

  1474.                     /*off += 8; // number of values in A*/

  1475.                     aghi \OFF_VAL,\C_A

  1476.     #endif

  1477. .endm