As I've always been

  • 홈
  • 태그
  • 미디어로그
  • 위치로그
  • 방명록

decoder-only transformer 1

Transformers Decoder의 "past_key_values"에 대하여

허깅페이스 Transformers를 통해 생성 모델을 사용하다보면 생성 결과 자료구조 내에 "past_key_values"라는 값이 있는 것을 확인할 수 있다. 이를 보면 아마 두가지 의문점이 들 것이다: 1) 왜 과거의 key, value 값들이 중요한가 2) 왜 query는 포함되지 않는가? 이에 대해서 자세히 알아보기 위해서는 Transformer Decoder의 Causal Masking Self Attention에 대해서 알아야 한다. 기본적으로, transformer는 모든 단어를 병렬적으로 처리하기 때문에 autoregressive 한 특성이 없다. 따라서, Causal Masking을 사용해서 목표하는 문장의 일부를 가려서 인위적으로 연속성을 학습하게 한다. Vanilla Transform..

AI/Transformers 2023.10.26
이전
1
다음
더보기
프로필사진

As I've always been

  • 분류 전체보기 (273)
    • AI (31)
      • LLM (8)
      • Transformers (2)
      • PyTorch (6)
      • Machine Learning (4)
      • 논문 리뷰 (1)
      • Kaggle Writeups (1)
      • AI News (7)
      • Nvidia Jetson (1)
      • AI로 생성한 작품 (1)
    • OS (23)
      • OS - Overview (9)
      • 메모리 관리 (6)
      • 프로세스 관리 (8)
    • Container (13)
      • Docker (4)
      • Kubernetes (6)
    • DevOps (5)
      • OpenTelemetry (1)
      • 백엔드 (1)
      • NGINX (1)
    • 시스템 설계 및 디자인 패턴 (3)
      • 시스템 설계 (1)
      • 클라우드 디자인 패턴 (1)
    • Python (31)
      • ray (1)
      • FastAPI (2)
      • scikit-learn (1)
      • Flask (3)
      • sqlalchemy (5)
      • llama-index (1)
    • DB (18)
      • PostgreSQL (9)
      • MySQL (3)
      • Vector DB (2)
    • C++ (40)
      • C++ 기본 (40)
    • Java (52)
      • Java 기본 (45)
      • JVM (2)
      • Java Tips (4)
    • 알고리즘 (8)
    • JavaScript (17)
      • Node.js (6)
      • React Native (4)
      • JavaScript 기본 (6)
    • IoT (5)
    • Object Oriented Programming (1)
    • 네트워크 (4)
    • Web (7)
      • html & css (3)
    • Linux (4)
    • Android (6)
    • Shell script (3)
    • 인코딩 (1)
    • AWS (1)

Tag

Multi-Query Attention, decoder-only transformer, flask, MultiQuery Attention, fifo queue, 파이썬 성능 튜닝, opensource llm, mixtral, LLM, simple queue service, GPT, SQL, pytorch, SQLAlchemy, Python, llama3.1, docker, MultiHead Attention, 라마3, 오픈소스AI,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/07   »
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바