Programmer Referens Manual (70157C.pdf) не помогает? Проверял, как работает их DSP lib когда-то, вот кусок для модов из ф-ции КИХ фильтра. Работает намана. Y-память была настроена через PSV.
mov #0xC0A8,w10 ; XWM = w8, YWM = w10
; set XMODEND and YMODEND bits
mov w10,MODCON ; enable X,Y modulo addressing
mov [w3+oCoeffsEnd],w8 ; w8 -> last byte of h[M-1]
mov w8,XMODEND ; init'ed to coeffs end address
mov [w3+oCoeffsBase],w8 ; w8 -> h[0]
mov w8,XMODSRT ; init'ed to coeffs base address
; (increasing buffer,
; 2^n aligned)
mov [w3+oDelayEnd],w10 ; w10-> last byte of d[M-1]
mov w10,YMODEND ; init'ed to delay end address
mov [w3+oDelayBase],w10 ; w10 -> d[0]
mov w10,YMODSRT ; init'ed to delay base address
; (increasing buffer,
; 2^n aligned)