OSchip
/
OpenBLAS
Not watched
1
0
Fork 0
Code
Releases 66 Wiki evaluate Activity
Issues 0 Pull Requests 0 Datasets Model Cloudbrain HPC
You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
Branch: develop
Branches Tags
${ item.name }
Create branch ${ searchTerm }
from 'develop'
${ noResults }
OpenBLAS/kernel/generic/ztrmm_lncopy_8.c

872 lines
19 kB
Raw Permalink Blame History 

  1. /*********************************************************************/

  2. /* Copyright 2009, 2010 The University of Texas at Austin.           */

  3. /* All rights reserved.                                              */

  4. /*                                                                   */

  5. /* Redistribution and use in source and binary forms, with or        */

  6. /* without modification, are permitted provided that the following   */

  7. /* conditions are met:                                               */

  8. /*                                                                   */

  9. /*   1. Redistributions of source code must retain the above         */

  10. /*      copyright notice, this list of conditions and the following  */

  11. /*      disclaimer.                                                  */

  12. /*                                                                   */

  13. /*   2. Redistributions in binary form must reproduce the above      */

  14. /*      copyright notice, this list of conditions and the following  */

  15. /*      disclaimer in the documentation and/or other materials       */

  16. /*      provided with the distribution.                              */

  17. /*                                                                   */

  18. /*    THIS  SOFTWARE IS PROVIDED  BY THE  UNIVERSITY OF  TEXAS AT    */

  19. /*    AUSTIN  ``AS IS''  AND ANY  EXPRESS OR  IMPLIED WARRANTIES,    */

  20. /*    INCLUDING, BUT  NOT LIMITED  TO, THE IMPLIED  WARRANTIES OF    */

  21. /*    MERCHANTABILITY  AND FITNESS FOR  A PARTICULAR  PURPOSE ARE    */

  22. /*    DISCLAIMED.  IN  NO EVENT SHALL THE UNIVERSITY  OF TEXAS AT    */

  23. /*    AUSTIN OR CONTRIBUTORS BE  LIABLE FOR ANY DIRECT, INDIRECT,    */

  24. /*    INCIDENTAL,  SPECIAL, EXEMPLARY,  OR  CONSEQUENTIAL DAMAGES    */

  25. /*    (INCLUDING, BUT  NOT LIMITED TO,  PROCUREMENT OF SUBSTITUTE    */

  26. /*    GOODS  OR  SERVICES; LOSS  OF  USE,  DATA,  OR PROFITS;  OR    */

  27. /*    BUSINESS INTERRUPTION) HOWEVER CAUSED  AND ON ANY THEORY OF    */

  28. /*    LIABILITY, WHETHER  IN CONTRACT, STRICT  LIABILITY, OR TORT    */

  29. /*    (INCLUDING NEGLIGENCE OR OTHERWISE)  ARISING IN ANY WAY OUT    */

  30. /*    OF  THE  USE OF  THIS  SOFTWARE,  EVEN  IF ADVISED  OF  THE    */

  31. /*    POSSIBILITY OF SUCH DAMAGE.                                    */

  32. /*                                                                   */

  33. /* The views and conclusions contained in the software and           */

  34. /* documentation are those of the authors and should not be          */

  35. /* interpreted as representing official policies, either expressed   */

  36. /* or implied, of The University of Texas at Austin.                 */

  37. /*********************************************************************/

  38. 

  39. #include <stdio.h>

  40. #include "common.h"

  41. 

  42. int CNAME(BLASLONG m, BLASLONG n, FLOAT *a, BLASLONG lda, BLASLONG posX, BLASLONG posY, FLOAT *b){

  43. 

  44.   BLASLONG i, js;

  45.   BLASLONG X, ii;

  46. 

  47.   FLOAT *ao1, *ao2, *ao3, *ao4, *ao5, *ao6, *ao7, *ao8;

  48. 

  49.   lda += lda;

  50. 

  51.   js = (n >> 3);

  52. 

  53.   if (js > 0){

  54.     do {

  55.       X = posX;

  56. 

  57.       if (posX <= posY) {

  58. 	ao1 = a + posY * 2 + (posX + 0) * lda;

  59. 	ao2 = a + posY * 2 + (posX + 1) * lda;

  60. 	ao3 = a + posY * 2 + (posX + 2) * lda;

  61. 	ao4 = a + posY * 2 + (posX + 3) * lda;

  62. 	ao5 = a + posY * 2 + (posX + 4) * lda;

  63. 	ao6 = a + posY * 2 + (posX + 5) * lda;

  64. 	ao7 = a + posY * 2 + (posX + 6) * lda;

  65. 	ao8 = a + posY * 2 + (posX + 7) * lda;

  66.       } else {

  67. 	ao1 = a + posX * 2 + (posY + 0) * lda;

  68. 	ao2 = a + posX * 2 + (posY + 1) * lda;

  69. 	ao3 = a + posX * 2 + (posY + 2) * lda;

  70. 	ao4 = a + posX * 2 + (posY + 3) * lda;

  71. 	ao5 = a + posX * 2 + (posY + 4) * lda;

  72. 	ao6 = a + posX * 2 + (posY + 5) * lda;

  73. 	ao7 = a + posX * 2 + (posY + 6) * lda;

  74. 	ao8 = a + posX * 2 + (posY + 7) * lda;

  75.       }

  76. 

  77.       i = (m >> 3);

  78.       if (i > 0) {

  79. 	do {

  80. 	  if (X > posY) {

  81. 	    for (ii = 0; ii < 8; ii++){

  82. 

  83. 	      b[  0] = *(ao1 +  0);

  84. 	      b[  1] = *(ao1 +  1);

  85. 	      b[  2] = *(ao2 +  0);

  86. 	      b[  3] = *(ao2 +  1);

  87. 	      b[  4] = *(ao3 +  0);

  88. 	      b[  5] = *(ao3 +  1);

  89. 	      b[  6] = *(ao4 +  0);

  90. 	      b[  7] = *(ao4 +  1);

  91. 

  92. 	      b[  8] = *(ao5 +  0);

  93. 	      b[  9] = *(ao5 +  1);

  94. 	      b[ 10] = *(ao6 +  0);

  95. 	      b[ 11] = *(ao6 +  1);

  96. 	      b[ 12] = *(ao7 +  0);

  97. 	      b[ 13] = *(ao7 +  1);

  98. 	      b[ 14] = *(ao8 +  0);

  99. 	      b[ 15] = *(ao8 +  1);

  100. 

  101. 	      ao1 += 2;

  102. 	      ao2 += 2;

  103. 	      ao3 += 2;

  104. 	      ao4 += 2;

  105. 	      ao5 += 2;

  106. 	      ao6 += 2;

  107. 	      ao7 += 2;

  108. 	      ao8 += 2;

  109. 	      b += 16;

  110. 	    }

  111. 	  } else

  112. 	    if (X < posY) {

  113. 	      ao1 += 8 * lda;

  114. 	      ao2 += 8 * lda;

  115. 	      ao3 += 8 * lda;

  116. 	      ao4 += 8 * lda;

  117. 	      ao5 += 8 * lda;

  118. 	      ao6 += 8 * lda;

  119. 	      ao7 += 8 * lda;

  120. 	      ao8 += 8 * lda;

  121. 

  122. 	      b += 128;

  123. 

  124. 	    } else {

  125. #ifdef UNIT

  126. 	      b[  0] = ONE;

  127. 	      b[  1] = ZERO;

  128. #else

  129. 	      b[  0] = *(ao1 +  0);

  130. 	      b[  1] = *(ao1 +  1);

  131. #endif

  132. 	      b[  2] = ZERO;

  133. 	      b[  3] = ZERO;

  134. 	      b[  4] = ZERO;

  135. 	      b[  5] = ZERO;

  136. 	      b[  6] = ZERO;

  137. 	      b[  7] = ZERO;

  138. 	      b[  8] = ZERO;

  139. 	      b[  9] = ZERO;

  140. 	      b[ 10] = ZERO;

  141. 	      b[ 11] = ZERO;

  142. 	      b[ 12] = ZERO;

  143. 	      b[ 13] = ZERO;

  144. 	      b[ 14] = ZERO;

  145. 	      b[ 15] = ZERO;

  146. 

  147. 	      b[ 16] = *(ao1 +  2);

  148. 	      b[ 17] = *(ao1 +  3);

  149. #ifdef UNIT

  150. 	      b[ 18] = ONE;

  151. 	      b[ 19] = ZERO;

  152. #else

  153. 	      b[ 18] = *(ao2 +  2);

  154. 	      b[ 19] = *(ao2 +  3);

  155. #endif

  156. 	      b[ 20] = ZERO;

  157. 	      b[ 21] = ZERO;

  158. 	      b[ 22] = ZERO;

  159. 	      b[ 23] = ZERO;

  160. 	      b[ 24] = ZERO;

  161. 	      b[ 25] = ZERO;

  162. 	      b[ 26] = ZERO;

  163. 	      b[ 27] = ZERO;

  164. 	      b[ 28] = ZERO;

  165. 	      b[ 29] = ZERO;

  166. 	      b[ 30] = ZERO;

  167. 	      b[ 31] = ZERO;

  168. 

  169. 	      b[ 32] = *(ao1 +  4);

  170. 	      b[ 33] = *(ao1 +  5);

  171. 	      b[ 34] = *(ao2 +  4);

  172. 	      b[ 35] = *(ao2 +  5);

  173. #ifdef UNIT

  174. 	      b[ 36] = ONE;

  175. 	      b[ 37] = ZERO;

  176. #else

  177. 	      b[ 36] = *(ao3 +  4);

  178. 	      b[ 37] = *(ao3 +  5);

  179. #endif

  180. 	      b[ 38] = ZERO;

  181. 	      b[ 39] = ZERO;

  182. 	      b[ 40] = ZERO;

  183. 	      b[ 41] = ZERO;

  184. 	      b[ 42] = ZERO;

  185. 	      b[ 43] = ZERO;

  186. 	      b[ 44] = ZERO;

  187. 	      b[ 45] = ZERO;

  188. 	      b[ 46] = ZERO;

  189. 	      b[ 47] = ZERO;

  190. 

  191. 	      b[ 48] = *(ao1 +  6);

  192. 	      b[ 49] = *(ao1 +  7);

  193. 	      b[ 50] = *(ao2 +  6);

  194. 	      b[ 51] = *(ao2 +  7);

  195. 	      b[ 52] = *(ao3 +  6);

  196. 	      b[ 53] = *(ao3 +  7);

  197. #ifdef UNIT

  198. 	      b[ 54] = ONE;

  199. 	      b[ 55] = ZERO;

  200. #else

  201. 	      b[ 54] = *(ao4 +  6);

  202. 	      b[ 55] = *(ao4 +  7);

  203. #endif

  204. 	      b[ 56] = ZERO;

  205. 	      b[ 57] = ZERO;

  206. 	      b[ 58] = ZERO;

  207. 	      b[ 59] = ZERO;

  208. 	      b[ 60] = ZERO;

  209. 	      b[ 61] = ZERO;

  210. 	      b[ 62] = ZERO;

  211. 	      b[ 63] = ZERO;

  212. 

  213. 	      b[ 64] = *(ao1 +  8);

  214. 	      b[ 65] = *(ao1 +  9);

  215. 	      b[ 66] = *(ao2 +  8);

  216. 	      b[ 67] = *(ao2 +  9);

  217. 	      b[ 68] = *(ao3 +  8);

  218. 	      b[ 69] = *(ao3 +  9);

  219. 	      b[ 70] = *(ao4 +  8);

  220. 	      b[ 71] = *(ao4 +  9);

  221. #ifdef UNIT

  222. 	      b[ 72] = ONE;

  223. 	      b[ 73] = ZERO;

  224. #else

  225. 	      b[ 72] = *(ao5 +  8);

  226. 	      b[ 73] = *(ao5 +  9);

  227. #endif

  228. 	      b[ 74] = ZERO;

  229. 	      b[ 75] = ZERO;

  230. 	      b[ 76] = ZERO;

  231. 	      b[ 77] = ZERO;

  232. 	      b[ 78] = ZERO;

  233. 	      b[ 79] = ZERO;

  234. 

  235. 	      b[ 80] = *(ao1 + 10);

  236. 	      b[ 81] = *(ao1 + 11);

  237. 	      b[ 82] = *(ao2 + 10);

  238. 	      b[ 83] = *(ao2 + 11);

  239. 	      b[ 84] = *(ao3 + 10);

  240. 	      b[ 85] = *(ao3 + 11);

  241. 	      b[ 86] = *(ao4 + 10);

  242. 	      b[ 87] = *(ao4 + 11);

  243. 	      b[ 88] = *(ao5 + 10);

  244. 	      b[ 89] = *(ao5 + 11);

  245. #ifdef UNIT

  246. 	      b[ 90] = ONE;

  247. 	      b[ 91] = ZERO;

  248. #else

  249. 	      b[ 90] = *(ao6 + 10);

  250. 	      b[ 91] = *(ao6 + 11);

  251. #endif

  252. 	      b[ 92] = ZERO;

  253. 	      b[ 93] = ZERO;

  254. 	      b[ 94] = ZERO;

  255. 	      b[ 95] = ZERO;

  256. 

  257. 	      b[ 96] = *(ao1 + 12);

  258. 	      b[ 97] = *(ao1 + 13);

  259. 	      b[ 98] = *(ao2 + 12);

  260. 	      b[ 99] = *(ao2 + 13);

  261. 	      b[100] = *(ao3 + 12);

  262. 	      b[101] = *(ao3 + 13);

  263. 	      b[102] = *(ao4 + 12);

  264. 	      b[103] = *(ao4 + 13);

  265. 	      b[104] = *(ao5 + 12);

  266. 	      b[105] = *(ao5 + 13);

  267. 	      b[106] = *(ao6 + 12);

  268. 	      b[107] = *(ao6 + 13);

  269. #ifdef UNIT

  270. 	      b[108] = ONE;

  271. 	      b[109] = ZERO;

  272. #else

  273. 	      b[108] = *(ao7 + 12);

  274. 	      b[109] = *(ao7 + 13);

  275. #endif

  276. 	      b[110] = ZERO;

  277. 	      b[111] = ZERO;

  278. 

  279. 	      b[112] = *(ao1 + 14);

  280. 	      b[113] = *(ao1 + 15);

  281. 	      b[114] = *(ao2 + 14);

  282. 	      b[115] = *(ao2 + 15);

  283. 	      b[116] = *(ao3 + 14);

  284. 	      b[117] = *(ao3 + 15);

  285. 	      b[118] = *(ao4 + 14);

  286. 	      b[119] = *(ao4 + 15);

  287. 	      b[120] = *(ao5 + 14);

  288. 	      b[121] = *(ao5 + 15);

  289. 	      b[122] = *(ao6 + 14);

  290. 	      b[123] = *(ao6 + 15);

  291. 	      b[124] = *(ao7 + 14);

  292. 	      b[125] = *(ao7 + 15);

  293. #ifdef UNIT

  294. 	      b[126] = ONE;

  295. 	      b[127] = ZERO;

  296. #else

  297. 	      b[126] = *(ao8 + 14);

  298. 	      b[127] = *(ao8 + 15);

  299. #endif

  300. 

  301. 	      ao1 += 16;

  302. 	      ao2 += 16;

  303. 	      ao3 += 16;

  304. 	      ao4 += 16;

  305. 	      ao5 += 16;

  306. 	      ao6 += 16;

  307. 	      ao7 += 16;

  308. 	      ao8 += 16;

  309. 	      b += 128;

  310. 	    }

  311. 

  312. 	  X += 8;

  313. 	  i --;

  314. 	} while (i > 0);

  315.       }

  316. 

  317.       i = (m & 7);

  318.       if (i) {

  319. 

  320. 	if (X > posY) {

  321. 

  322. 	  for (ii = 0; ii < i; ii++){

  323. 	    b[  0] = *(ao1 +  0);

  324. 	    b[  1] = *(ao1 +  1);

  325. 	    b[  2] = *(ao2 +  0);

  326. 	    b[  3] = *(ao2 +  1);

  327. 	    b[  4] = *(ao3 +  0);

  328. 	    b[  5] = *(ao3 +  1);

  329. 	    b[  6] = *(ao4 +  0);

  330. 	    b[  7] = *(ao4 +  1);

  331. 

  332. 	    b[  8] = *(ao5 +  0);

  333. 	    b[  9] = *(ao5 +  1);

  334. 	    b[ 10] = *(ao6 +  0);

  335. 	    b[ 11] = *(ao6 +  1);

  336. 	    b[ 12] = *(ao7 +  0);

  337. 	    b[ 13] = *(ao7 +  1);

  338. 	    b[ 14] = *(ao8 +  0);

  339. 	    b[ 15] = *(ao8 +  1);

  340. 

  341. 	    ao1 += 2;

  342. 	    ao2 += 2;

  343. 	    ao3 += 2;

  344. 	    ao4 += 2;

  345. 	    ao5 += 2;

  346. 	    ao6 += 2;

  347. 	    ao7 += 2;

  348. 	    ao8 += 2;

  349. 	    b += 16;

  350. 	  }

  351. 	} else

  352. 	  if (X < posY) {

  353. 	    /* ao1 += i * lda;

  354. 	    ao2 += i * lda;

  355. 	    ao3 += i * lda;

  356. 	    ao4 += i * lda;

  357. 	    ao5 += i * lda;

  358. 	    ao6 += i * lda;

  359. 	    ao7 += i * lda;

  360. 	    ao8 += i * lda; */

  361. 	    b += 16 * i;

  362. 	  } else {

  363. #ifdef UNIT

  364. 	      b[  0] = ONE;

  365. 	      b[  1] = ZERO;

  366. #else

  367. 	      b[  0] = *(ao1 +  0);

  368. 	      b[  1] = *(ao1 +  1);

  369. #endif

  370. 	      b[  2] = ZERO;

  371. 	      b[  3] = ZERO;

  372. 	      b[  4] = ZERO;

  373. 	      b[  5] = ZERO;

  374. 	      b[  6] = ZERO;

  375. 	      b[  7] = ZERO;

  376. 	      b[  8] = ZERO;

  377. 	      b[  9] = ZERO;

  378. 	      b[ 10] = ZERO;

  379. 	      b[ 11] = ZERO;

  380. 	      b[ 12] = ZERO;

  381. 	      b[ 13] = ZERO;

  382. 	      b[ 14] = ZERO;

  383. 	      b[ 15] = ZERO;

  384. 	      b += 16;

  385. 

  386. 	      if (i >= 2) {

  387. 		b[ 0] = *(ao1 +  2);

  388. 		b[ 1] = *(ao1 +  3);

  389. #ifdef UNIT

  390. 		b[ 2] = ONE;

  391. 		b[ 3] = ZERO;

  392. #else

  393. 		b[ 2] = *(ao2 +  2);

  394. 		b[ 3] = *(ao2 +  3);

  395. #endif

  396. 		b[ 4] = ZERO;

  397. 		b[ 5] = ZERO;

  398. 		b[ 6] = ZERO;

  399. 		b[ 7] = ZERO;

  400. 		b[ 8] = ZERO;

  401. 		b[ 9] = ZERO;

  402. 		b[10] = ZERO;

  403. 		b[11] = ZERO;

  404. 		b[12] = ZERO;

  405. 		b[13] = ZERO;

  406. 		b[14] = ZERO;

  407. 		b[15] = ZERO;

  408. 		b += 16;

  409. 	      }

  410. 

  411. 	      if (i >= 3) {

  412. 		b[ 0] = *(ao1 +  4);

  413. 		b[ 1] = *(ao1 +  5);

  414. 		b[ 2] = *(ao2 +  4);

  415. 		b[ 3] = *(ao2 +  5);

  416. #ifdef UNIT

  417. 		b[ 4] = ONE;

  418. 		b[ 5] = ZERO;

  419. #else

  420. 		b[ 4] = *(ao3 +  4);

  421. 		b[ 5] = *(ao3 +  5);

  422. #endif

  423. 		b[ 6] = ZERO;

  424. 		b[ 7] = ZERO;

  425. 		b[ 8] = ZERO;

  426. 		b[ 9] = ZERO;

  427. 		b[10] = ZERO;

  428. 		b[11] = ZERO;

  429. 		b[12] = ZERO;

  430. 		b[13] = ZERO;

  431. 		b[14] = ZERO;

  432. 		b[15] = ZERO;

  433. 		b += 16;

  434. 	      }

  435. 

  436. 	      if (i >= 4) {

  437. 		b[ 0] = *(ao1 +  6);

  438. 		b[ 1] = *(ao1 +  7);

  439. 		b[ 2] = *(ao2 +  6);

  440. 		b[ 3] = *(ao2 +  7);

  441. 		b[ 4] = *(ao3 +  6);

  442. 		b[ 5] = *(ao3 +  7);

  443. #ifdef UNIT

  444. 		b[ 6] = ONE;

  445. 		b[ 7] = ZERO;

  446. #else

  447. 		b[ 6] = *(ao4 +  6);

  448. 		b[ 7] = *(ao4 +  7);

  449. #endif

  450. 		b[ 8] = ZERO;

  451. 		b[ 9] = ZERO;

  452. 		b[10] = ZERO;

  453. 		b[11] = ZERO;

  454. 		b[12] = ZERO;

  455. 		b[13] = ZERO;

  456. 		b[14] = ZERO;

  457. 		b[15] = ZERO;

  458. 		b += 16;

  459. 	      }

  460. 

  461. 	      if (i >= 5) {

  462. 		b[ 0] = *(ao1 +  8);

  463. 		b[ 1] = *(ao1 +  9);

  464. 		b[ 2] = *(ao2 +  8);

  465. 		b[ 3] = *(ao2 +  9);

  466. 		b[ 4] = *(ao3 +  8);

  467. 		b[ 5] = *(ao3 +  9);

  468. 		b[ 6] = *(ao4 +  8);

  469. 		b[ 7] = *(ao4 +  9);

  470. #ifdef UNIT

  471. 		b[ 8] = ONE;

  472. 		b[ 9] = ZERO;

  473. #else

  474. 		b[ 8] = *(ao5 +  8);

  475. 		b[ 9] = *(ao5 +  9);

  476. #endif

  477. 		b[10] = ZERO;

  478. 		b[11] = ZERO;

  479. 		b[12] = ZERO;

  480. 		b[13] = ZERO;

  481. 		b[14] = ZERO;

  482. 		b[15] = ZERO;

  483. 		b += 16;

  484. 	      }

  485. 

  486. 	      if (i >= 6) {

  487. 		b[ 0] = *(ao1 + 10);

  488. 		b[ 1] = *(ao1 + 11);

  489. 		b[ 2] = *(ao2 + 10);

  490. 		b[ 3] = *(ao2 + 11);

  491. 		b[ 4] = *(ao3 + 10);

  492. 		b[ 5] = *(ao3 + 11);

  493. 		b[ 6] = *(ao4 + 10);

  494. 		b[ 7] = *(ao4 + 11);

  495. 		b[ 8] = *(ao5 + 10);

  496. 		b[ 9] = *(ao5 + 11);

  497. #ifdef UNIT

  498. 		b[10] = ONE;

  499. 		b[11] = ZERO;

  500. #else

  501. 		b[10] = *(ao6 + 10);

  502. 		b[11] = *(ao6 + 11);

  503. #endif

  504. 		b[12] = ZERO;

  505. 		b[13] = ZERO;

  506. 		b[14] = ZERO;

  507. 		b[15] = ZERO;

  508. 		b += 16;

  509. 	      }

  510. 

  511. 	      if (i >= 7) {

  512. 		b[ 0] = *(ao1 + 12);

  513. 		b[ 1] = *(ao1 + 13);

  514. 		b[ 2] = *(ao2 + 12);

  515. 		b[ 3] = *(ao2 + 13);

  516. 		b[ 4] = *(ao3 + 12);

  517. 		b[ 5] = *(ao3 + 13);

  518. 		b[ 6] = *(ao4 + 12);

  519. 		b[ 7] = *(ao4 + 13);

  520. 		b[ 8] = *(ao5 + 12);

  521. 		b[ 9] = *(ao5 + 13);

  522. 		b[10] = *(ao6 + 12);

  523. 		b[11] = *(ao6 + 13);

  524. #ifdef UNIT

  525. 		b[12] = ONE;

  526. 		b[13] = ZERO;

  527. #else

  528. 		b[12] = *(ao7 + 12);

  529. 		b[13] = *(ao7 + 13);

  530. #endif

  531. 		b[14] = ZERO;

  532. 		b[15] = ZERO;

  533. 		b += 16;

  534. 	      }

  535. 	  }

  536.       }

  537. 

  538.       posY += 8;

  539.       js --;

  540.     } while (js > 0);

  541.   } /* End of main loop */

  542. 

  543. 

  544.   if (n & 4){

  545.       X = posX;

  546. 

  547.       if (posX <= posY) {

  548. 	ao1 = a + posY * 2 + (posX + 0) * lda;

  549. 	ao2 = a + posY * 2 + (posX + 1) * lda;

  550. 	ao3 = a + posY * 2 + (posX + 2) * lda;

  551. 	ao4 = a + posY * 2 + (posX + 3) * lda;

  552.       } else {

  553. 	ao1 = a + posX * 2 + (posY + 0) * lda;

  554. 	ao2 = a + posX * 2 + (posY + 1) * lda;

  555. 	ao3 = a + posX * 2 + (posY + 2) * lda;

  556. 	ao4 = a + posX * 2 + (posY + 3) * lda;

  557.       }

  558. 

  559.       i = (m >> 2);

  560.       if (i > 0) {

  561. 	do {

  562. 	  if (X > posY) {

  563. 	    for (ii = 0; ii < 4; ii++){

  564. 	      b[  0] = *(ao1 +  0);

  565. 	      b[  1] = *(ao1 +  1);

  566. 	      b[  2] = *(ao2 +  0);

  567. 	      b[  3] = *(ao2 +  1);

  568. 	      b[  4] = *(ao3 +  0);

  569. 	      b[  5] = *(ao3 +  1);

  570. 	      b[  6] = *(ao4 +  0);

  571. 	      b[  7] = *(ao4 +  1);

  572. 

  573. 	      ao1 += 2;

  574. 	      ao2 += 2;

  575. 	      ao3 += 2;

  576. 	      ao4 += 2;

  577. 	      b += 8;

  578. 	    }

  579. 	  } else

  580. 	    if (X < posY) {

  581. 	      ao1 += 4 * lda;

  582. 	      ao2 += 4 * lda;

  583. 	      ao3 += 4 * lda;

  584. 	      ao4 += 4 * lda;

  585. 	      b += 32;

  586. 	    } else {

  587. #ifdef UNIT

  588. 	      b[  0] = ONE;

  589. 	      b[  1] = ZERO;

  590. #else

  591. 	      b[  0] = *(ao1 +  0);

  592. 	      b[  1] = *(ao1 +  1);

  593. #endif

  594. 	      b[  2] = ZERO;

  595. 	      b[  3] = ZERO;

  596. 	      b[  4] = ZERO;

  597. 	      b[  5] = ZERO;

  598. 	      b[  6] = ZERO;

  599. 	      b[  7] = ZERO;

  600. 

  601. 	      b[  8] = *(ao1 +  2);

  602. 	      b[  9] = *(ao1 +  3);

  603. #ifdef UNIT

  604. 	      b[ 10] = ONE;

  605. 	      b[ 11] = ZERO;

  606. #else

  607. 	      b[ 10] = *(ao2 +  2);

  608. 	      b[ 11] = *(ao2 +  3);

  609. #endif

  610. 	      b[ 12] = ZERO;

  611. 	      b[ 13] = ZERO;

  612. 	      b[ 14] = ZERO;

  613. 	      b[ 15] = ZERO;

  614. 

  615. 	      b[ 16] = *(ao1 +  4);

  616. 	      b[ 17] = *(ao1 +  5);

  617. 	      b[ 18] = *(ao2 +  4);

  618. 	      b[ 19] = *(ao2 +  5);

  619. #ifdef UNIT

  620. 	      b[ 20] = ONE;

  621. 	      b[ 21] = ZERO;

  622. #else

  623. 	      b[ 20] = *(ao3 +  4);

  624. 	      b[ 21] = *(ao3 +  5);

  625. #endif

  626. 	      b[ 22] = ZERO;

  627. 	      b[ 23] = ZERO;

  628. 

  629. 	      b[ 24] = *(ao1 +  6);

  630. 	      b[ 25] = *(ao1 +  7);

  631. 	      b[ 26] = *(ao2 +  6);

  632. 	      b[ 27] = *(ao2 +  7);

  633. 	      b[ 28] = *(ao3 +  6);

  634. 	      b[ 29] = *(ao3 +  7);

  635. #ifdef UNIT

  636. 	      b[ 30] = ONE;

  637. 	      b[ 31] = ZERO;

  638. #else

  639. 	      b[ 30] = *(ao4 +  6);

  640. 	      b[ 31] = *(ao4 +  7);

  641. #endif

  642. 

  643. 	      ao1 += 8;

  644. 	      ao2 += 8;

  645. 	      ao3 += 8;

  646. 	      ao4 += 8;

  647. 	      b += 32;

  648. 	    }

  649. 

  650. 	  X += 4;

  651. 	  i --;

  652. 	} while (i > 0);

  653.       }

  654. 

  655.       i = (m & 3);

  656.       if (i) {

  657. 

  658. 	if (X > posY) {

  659. 

  660. 	  for (ii = 0; ii < i; ii++){

  661. 	    b[  0] = *(ao1 +  0);

  662. 	    b[  1] = *(ao1 +  1);

  663. 	    b[  2] = *(ao2 +  0);

  664. 	    b[  3] = *(ao2 +  1);

  665. 	    b[  4] = *(ao3 +  0);

  666. 	    b[  5] = *(ao3 +  1);

  667. 	    b[  6] = *(ao4 +  0);

  668. 	    b[  7] = *(ao4 +  1);

  669. 

  670. 	    ao1 += 2;

  671. 	    ao2 += 2;

  672. 	    ao3 += 2;

  673. 	    ao4 += 2;

  674. 	    b += 8;

  675. 	  }

  676. 	} else

  677. 	  if (X < posY) {

  678. 	    /* ao1 += i * lda;

  679. 	    ao2 += i * lda;

  680. 	    ao3 += i * lda;

  681. 	    ao4 += i * lda; */

  682. 	    b += 8 * i;

  683. 	  } else {

  684. #ifdef UNIT

  685. 	    b[  0] = ONE;

  686. 	    b[  1] = ZERO;

  687. #else

  688. 	    b[  0] = *(ao1 +  0);

  689. 	    b[  1] = *(ao1 +  1);

  690. #endif

  691. 	    b[  2] = ZERO;

  692. 	    b[  3] = ZERO;

  693. 	    b[  4] = ZERO;

  694. 	    b[  5] = ZERO;

  695. 	    b[  6] = ZERO;

  696. 	    b[  7] = ZERO;

  697. 	    b += 8;

  698. 

  699. 	    if (i >= 2) {

  700. 	      b[ 0] = *(ao1 +  2);

  701. 	      b[ 1] = *(ao1 +  3);

  702. #ifdef UNIT

  703. 	      b[ 2] = ONE;

  704. 	      b[ 3] = ZERO;

  705. #else

  706. 	      b[ 2] = *(ao2 +  2);

  707. 	      b[ 3] = *(ao2 +  3);

  708. #endif

  709. 	      b[ 4] = ZERO;

  710. 	      b[ 5] = ZERO;

  711. 	      b[ 6] = ZERO;

  712. 	      b[ 7] = ZERO;

  713. 	      b += 8;

  714. 	    }

  715. 

  716. 	    if (i >= 3) {

  717. 	      b[ 0] = *(ao1 +  4);

  718. 	      b[ 1] = *(ao1 +  5);

  719. 	      b[ 2] = *(ao2 +  4);

  720. 	      b[ 3] = *(ao2 +  5);

  721. #ifdef UNIT

  722. 	      b[ 4] = ONE;

  723. 	      b[ 5] = ZERO;

  724. #else

  725. 	      b[ 4] = *(ao3 +  4);

  726. 	      b[ 5] = *(ao3 +  5);

  727. #endif

  728. 	      b[ 6] = ZERO;

  729. 	      b[ 7] = ZERO;

  730. 	      b += 8;

  731. 	    }

  732. 	  }

  733.       }

  734. 

  735.       posY += 4;

  736.   }

  737. 

  738.   if (n & 2){

  739.       X = posX;

  740. 

  741.       if (posX <= posY) {

  742. 	ao1 = a + posY * 2 + (posX + 0) * lda;

  743. 	ao2 = a + posY * 2 + (posX + 1) * lda;

  744.       } else {

  745. 	ao1 = a + posX * 2 + (posY + 0) * lda;

  746. 	ao2 = a + posX * 2 + (posY + 1) * lda;

  747.       }

  748. 

  749.       i = (m >> 1);

  750.       if (i > 0) {

  751. 	do {

  752. 	  if (X > posY) {

  753. 	    b[  0] = *(ao1 +  0);

  754. 	    b[  1] = *(ao1 +  1);

  755. 	    b[  2] = *(ao2 +  0);

  756. 	    b[  3] = *(ao2 +  1);

  757. 	    b[  4] = *(ao1 +  2);

  758. 	    b[  5] = *(ao1 +  3);

  759. 	    b[  6] = *(ao2 +  2);

  760. 	    b[  7] = *(ao2 +  3);

  761. 

  762. 	    ao1 += 4;

  763. 	    ao2 += 4;

  764. 	    b += 8;

  765. 	  } else

  766. 	    if (X < posY) {

  767. 	      ao1 += 2 * lda;

  768. 	      ao2 += 2 * lda;

  769. 	      b += 8;

  770. 	    } else {

  771. #ifdef UNIT

  772. 	      b[  0] = ONE;

  773. 	      b[  1] = ZERO;

  774. #else

  775. 	      b[  0] = *(ao1 +  0);

  776. 	      b[  1] = *(ao1 +  1);

  777. #endif

  778. 	      b[  2] = ZERO;

  779. 	      b[  3] = ZERO;

  780. 

  781. 	      b[  4] = *(ao1 +  2);

  782. 	      b[  5] = *(ao1 +  3);

  783. #ifdef UNIT

  784. 	      b[  6] = ONE;

  785. 	      b[  7] = ZERO;

  786. #else

  787. 	      b[  6] = *(ao2 +  2);

  788. 	      b[  7] = *(ao2 +  3);

  789. #endif

  790. 	      ao1 += 4;

  791. 	      ao2 += 4;

  792. 	      b += 8;

  793. 	    }

  794. 

  795. 	  X += 2;

  796. 	  i --;

  797. 	} while (i > 0);

  798.       }

  799. 

  800.       if (m & 1) {

  801. 

  802. 	if (X > posY) {

  803. 	  b[  0] = *(ao1 +  0);

  804. 	  b[  1] = *(ao1 +  1);

  805. 	  b[  2] = *(ao2 +  0);

  806. 	  b[  3] = *(ao2 +  1);

  807. 	  /* ao1 += 2;

  808. 	  ao2 += 2; */

  809. 	  b += 4;

  810. 	} else

  811. 	  if (X < posY) {

  812. 	    /* ao1 += 2 * lda;

  813. 	    ao2 += 2 * lda; */

  814. 	    b += 4;

  815. 	  } else {

  816. #ifdef UNIT

  817. 	    b[  0] = ONE;

  818. 	    b[  1] = ZERO;

  819. #else

  820. 	    b[  0] = *(ao1 +  0);

  821. 	    b[  1] = *(ao1 +  1);

  822. #endif

  823. 	    b[  2] = ZERO;

  824. 	    b[  3] = ZERO;

  825. 	    b += 4;

  826. 	  }

  827.       }

  828.       posY += 2;

  829.   }

  830. 

  831.   if (n & 1){

  832.       X = posX;

  833. 

  834.       if (posX <= posY) {

  835. 	ao1 = a + posY * 2 + (posX + 0) * lda;

  836.       } else {

  837. 	ao1 = a + posX * 2 + (posY + 0) * lda;

  838.       }

  839. 

  840.       i = m;

  841.       if (m > 0) {

  842. 	do {

  843. 	  if (X > posY) {

  844. 	    b[  0] = *(ao1 +  0);

  845. 	    b[  1] = *(ao1 +  1);

  846. 	    ao1 += 2;

  847. 	    b += 2;

  848. 	  } else

  849. 	    if (X < posY) {

  850. 	      ao1 += lda;

  851. 	      b += 2;

  852. 	    } else {

  853. #ifdef UNIT

  854. 	      b[  0] = ONE;

  855. 	      b[  1] = ZERO;

  856. #else

  857. 	      b[  0] = *(ao1 +  0);

  858. 	      b[  1] = *(ao1 +  1);

  859. #endif

  860. 	      ao1 += 2;

  861. 	      b += 2;

  862. 	    }

  863. 

  864. 	  X += 1;

  865. 	  i --;

  866. 	} while (i > 0);

  867.       }

  868.   }

  869. 

  870.   return 0;

  871. }