[IPLEX] SwiLA 논문 분석|고정 크기 기억으로 문맥별 정보를 읽는 방법
논문 원문 PDF 보기 작성자: 김용덕 변리사 안녕하세요. 아이피렉스 특허법률사무소, 김용덕 변리사입니다. 긴 대화에서 같은 표현이 서로 다른 대상을 가리키면, 압축된 기억에는 정보가 뒤섞일 수 있습니다. 선형 어텐션의 메모리 효율을 유지하면서 이 간섭을 줄일 수 있을까요? Switching Linear Attention(SwiLA)은 여러 선형 회귀 모형에 기억을 나누어 저장하고, 현재 입력과 기존 기억의 관계를 이용해 갱신 비중을 조절합니다. 이번 글에서는 이 구조가 회상 능력과 계산비용에 어떤 차이를 만드는지 살펴봅니다. 1. 논문 기본 정보 논문명은 Switching Linear Attention입니다. 실제 논문 저자는 Hyun Dong Lee, Xavier Gonzalez, Nicolas Zucchet, E. Kelly Buchanan, Emily B. Fox, Scott W. Linderman입니다. 논문에 기재된 소속은 Stanford University이며, Xavier Gonzale