DRAM

Dynamic Random Access Memory.

데이터를 유지하기 위해 주기적으로 refresh 해줘야함. 그래서 Dynamic

Double Data Rate: 한 cycle 당 2번 (rising edge, falling edge) 데이터를 주고 받음

DDR4-3200 이면 1600 MHz 로 동작하는 memory 라는 뜻. 한 pin 에서 3200 Mb 로 동작함 (Double Data Rate).

tCK 가 1 / 1600 ms

Memory controller 는 CPU 안에 있음. memory controller 는 memory channel (wires on motherboard) 를 통해 memory modules (Dual Inline Memory Modules, DIMMs) 과 연결됨

DIMM 은 PCB 기판의 앞뒤에 Memory chip (DRAM chip) 들이 장착된 형태임

사진에 보이는 DIMM 들은 8개의 DRAM chip 이 붙어 있음. 이렇게 8개 DRAM chip 이 모여서 1 rank 을 이룸. 즉 앞뒤 각각 1rank 씩 2rank 인 DIMM 임. 1 rank 란 다 같이 모여서 64 bit data 를 다루는 하나의 공동체라고 볼 수 있음. 각 DRAM chip 은 한번에 8 bit 씩 output 함. x8 DRAM 임.

각각의 RANK 는 8 개의 Bank 로 나뉨. 이게 약간 헷갈릴 수 있는데 모든 칩들의 1 / 8 조각이 모여 하나의 Bank 을 이룸. 한 칩의 1 bank 즉 1 / 8 조각은 sub-bank 라 함. 어떻게 보면 x 축 따라서 구분하면 chip, y 축 따라서 구분하면 bank 라고도 할 수 있겠음.

rank 에서 data 를 가져오는 작업은 매우 느린 작업임. (about 40 ns) 이를 감추기 위해 memory 접근은 3-stage pipeline 으로 이뤄짐.

1. address / command bus 을 통해 주소와 명령을 DRAM chip 에 보낸다. (1 ns)
2. DRAM chip 이 해당 데이터를 불러온다. (35 ns)
3. DRAM chip 에 불러온 데이터를 data bus 를 통해 받아온다. (5 ns)

보다싶이 1st stage 는 1ns 면 되는 반면 2nd stage 는 35 ns 나 걸림. 이를 고작 2-rank 나 4-rank 로 fully utilize 할 순 없음. 그래서 bank 가 등장함.

sub-bank 는 다시 여러개의 subarray 와 mat 으로 나뉨. 하나의 subarray 로 구성하지 않는 이유는 interconnect overhead 를 줄이기 위함임

데이터를 접근할때 bank 별로 64B cacheline 단위로 접근됨. 64B 는 한 bank 내에 뿌려져있음 8 개의 x8 DRAM chip 으로 1 rank 라 하면 각 DRAM chip 은 64B 의 8B 을 담당함. 64 bit 는 sub-bank 의 여러 mat 으로 나뉨. 64B 를 전송하기 위해 64bit 8번의 전송이 필요하고 따라서 4clock 이 필요함. (burst length = 8)

즉 64 bit 가 8개 DRAM chip 에 나뉘므로 하나의 sub-bank 가 8bit 를 8번 전송한다고 보면 됨.

mat 이란 512bit row, 512bit col 을 가진 단위임 (256kb). horizontal line 은 wordline, vertical line 은 bitline 임. 각 mat 아래에는 sense amplifier 가 있음. row data 를 sense amplifier 로 불러오는 과정은 row activtaion 이라고 부르며 command 는 RAS, 딜레이는 13 ns 정도 걸림.

한 cache line request 는 512 bit row 를 64개 mat 에 걸쳐서 불러옴. (4KB) 이들 중 valid 한 column 의 데이터 8bit 를 읽어오는 명령이 CAS 임. 원하는 row 을 불러오기 위해 bitline 을 precharge 하는 시간이 필요함. 13 ns 가 걸림.

데이터를 sense amplifier 에서 output pin 으로 옮기는 것도 13 ns 가 걸림.

1. 이미 activate 된 row 에서 다른 column 을 읽는 것: 13 ns
2. precharged 상태에서 row 에서 data 를 읽는 것: 26 ns
3. activate 된 row 와 다른 row 의 데이터를 읽는 것: 39 ns

memctrl 에서 Read 가 write 보다 우선 됨. write 는 write buffer 에 있다가 처리됨

memctrl 가 refresh 명령을 내림

time between column and column 은 tCCD (= 5 ns)

time between row and row 은 tRRD (= 6 ns)

time to activate Row 는 tRCD (= 13 ns) (Row to Column)

time to precharge 는 tRP (= 13 ns)

time to move data from row buffer to pins 는 tCAS (= 13 ns)

time to precharge 은 tRAS (= 35 ns)

latency between READ to output 는 CL (= 16 cycle) 즉 CL * tCK = tAA

minimum time between row activation and precharge 는 tRAS. (RAS command 랑 헷갈리지 말자. RAS 는 row access strobe. row 를 identify 하는 command)

refresh 하는데 걸리는 cycle time 은 tRFC (= 160 ns) tRFC 동안 명령어 처리 못함

tREFI 는 row refresh 간의 간격. tREFW 는 refresh 간의 간격의 최소값. tREFC 는 한 row refresh 에 걸리는 시간

refresh 할 때 한번에 여러 row 를 함.

refresh 때문에 DRAM latency 는 가끔씩 튐

Thress cases of DRAM access time

1. Activated and row buffer hit: tAA
2. Precharged: tRCD+tAA
3. ctivated but row buffer miss: tRP + tRCD + tAA

DDR3 는 채널당 64개 data pin 과 23개의 address/command pin 을 가짐

모든 address 칩을 dram chip 에 연결하지 않고 DIMM 은 buffer chip 을 사용함. 이러면 channel 의 load 를 대폭 줄일 수 있음. 이런 buffered DIMM 중 하나가 RDIMM (Registered DIMM). address/command wire 만 buffer chip 을 통함

LRDIMM 은 data wire 도 buffer chip 에 연결

DDR5 는 두개의 40bit channels 을 가짐. 40bit 라서 access granularity 는 32 B

GDDR 은 DIMM 같은 걸 사용하지 않고 chip 에 바로 붙어있기 때문에 freq 가 더 높음. GDDR5 에선 8Gbps 였음. GDDR 의 access granularity 는 32B

dram chip 은 8개 (DDR3), 16개 (DDR4) 혹은 그 이상(HBM) 의 bank 로 구성됨. bank 는 subarray 로 구성되며 각 subarray 는 mat 로 구성됨. (row of mats 가 subarray)

만약 subarray 가 8개의 mat 로 구성되어 있고 각 subarray 가 4 개의 local io wire 를 가지고 있다면 32 bit 가 IO pin 한 번의 local-IO cycle 만에 보내지고 IO pin 에서 output pin 으로 x4 chip 이라 하면 4 bit 씩 8 (burst length) 번 보내진다. local-IO cycle 은 output pin cycle 의 1/4배.

8 (mat) * 4 (local wire) = x4 * 8(burst length)