As I've always been

  • 홈
  • 태그
  • 미디어로그
  • 위치로그
  • 방명록

시스템 설계 및 디자인 패턴/시스템 설계 1

Rate Limiter 시스템 디자인 및 설계 방안

Token Bucket토큰 버켓의 경우 사전에 정해진 용량을 갖는다. 토큰은 주기적으로 사전에 설정된 비율로 버켓에 저장된다. 그리고 버켓이 꽉차게 되면 정해진 용량을 초과하여 토큰을 추가하지 않는다.각 API 요청은 1개의 토큰을 사용한다. 요청이 오면 버켓에 적어도 1개의 토큰이 존재하는지 확인한다. 존재하는 경우 1개의 토큰을 버켓에서 꺼내고 요청이 처리된다. 버켓이 비어있는 경우 요청들은 버려진다.   위 사진을 보면 유저마다 분당 3개의 요청량 제한이 설정되어있다.1번 유저가 10:00:00에 첫 번째 요청을 보냈을 때 토큰은 3개가 존재하므로 해당 요청은 정상 처리되며 잔여 토큰은 2개로 감소한다.10:00:10에 유저의 두 번째 요청이 오고 토큰은 2개가 존재하기 때문에 정상 처리되며 잔여 ..

시스템 설계 및 디자인 패턴/시스템 설계 2024.11.05
이전
1
다음
더보기
프로필사진

As I've always been

  • 분류 전체보기 (271) N
    • AI (31)
      • LLM (8)
      • Transformers (2)
      • PyTorch (6)
      • Machine Learning (4)
      • 논문 리뷰 (1)
      • Kaggle Writeups (1)
      • AI News (7)
      • Nvidia Jetson (1)
      • AI로 생성한 작품 (1)
    • OS (23)
      • OS - Overview (9)
      • 메모리 관리 (6)
      • 프로세스 관리 (8)
    • Container (13)
      • Docker (4)
      • Kubernetes (6)
    • DevOps (5)
      • OpenTelemetry (1)
      • 백엔드 (1)
      • NGINX (1)
    • 시스템 설계 및 디자인 패턴 (3)
      • 시스템 설계 (1)
      • 클라우드 디자인 패턴 (1)
    • Python (31) N
      • ray (1)
      • FastAPI (2)
      • scikit-learn (1)
      • Flask (3)
      • sqlalchemy (5)
      • llama-index (1) N
    • DB (16)
      • PostgreSQL (8)
      • MySQL (2)
      • Vector DB (2)
    • C++ (40)
      • C++ 기본 (40)
    • Java (52)
      • Java 기본 (45)
      • JVM (2)
      • Java Tips (4)
    • 알고리즘 (8)
    • JavaScript (17)
      • Node.js (6)
      • React Native (4)
      • JavaScript 기본 (6)
    • IoT (5)
    • Object Oriented Programming (1)
    • 네트워크 (4)
    • Web (7)
      • html & css (3)
    • Linux (4)
    • Android (6)
    • Shell script (3)
    • 인코딩 (1)
    • AWS (1)

Tag

llama3.1, opensource llm, fifo queue, flask, LLM, simple queue service, GPT, mixtral, 오픈소스AI, SQL, Python, Multi-Query Attention, MultiHead Attention, SQLAlchemy, 라마3, decoder-only transformer, pytorch, 파이썬 성능 튜닝, MultiQuery Attention, docker,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/06   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바