MRAM与传统的随机存储器的区别在于MRAM的信息携带者是磁性隧道结(MTJ ),而后者则是电荷。每一个磁性隧道结包含一个固定层和一个自由层。固定层的磁化方向被固定了,而自由层的磁化方向可以由旋转力矩改变。当两层的磁化方向一致时,磁性隧道结的电阻最低,其状态为“0”;反之,则磁性隧道结的电阻最高,其状态为“1”
 
最常用的MRAM单元的结构是由一个NMOS晶体管和一个MTJ(作为记忆元件)组成。MTJ与NMOS顺序连接。NMOS晶体管由字线信号控制,读取数据时,NMOS开启，位线和源线间加一小的电压差,使电流流过MTJ ,其大小由MTJ的状态决定。读出放大器将该电流与参考电流比较，判断MRAM单元里存储的数据是“O”还是“1”。写入数据时,若写入“O”，则在位线和源线之间加一个较大的正电压;若写入“1”,则加负电压。使MTJ翻转的最小电流称为阈值电流,与隧道势垒层材料、写入持续时间和MTJ的几何结构等因素有关。传统高速缓存结构,由H-tree连接起来,其行列数目和尺寸可以使用CACTI工具来进行优化。