As I've always been

Introduction기존에는 사전 학습된 언어 모델 (language model; LM)을 새로운 downstream task에 적용하기 위해 fine-tuning 방법이 흔히 사용되었다. 하지만, 이를 위해서는 모든 모델 parameter를 업데이트하고 저장해야 하는데, 최근 나온 대규모 언어 모델에 적용하기에는 비용이 너무 많이 든다는 단점이 있다. 예를 들어 2019년 소개된 GPT-2 (774M parameter) 혹은 2020년에 소개된 GPT-3 (175B parameter)에서 각 task에 대해 모델 전체를 fine-tuning하는 것은 매우 어려울 것이다.참언) 175B parameter는 저장 공간만 하더라도 700GB가 필요하다 (기본 32bit precision 기준).최근에는 이..

ctypes는 동적 링크 라이브러리 로드를 위해 cdll을, 그리고 윈도우에서는 windll 및 oledll 객체를, 노출합니다.라이브러리는 이러한 객체의 속성으로 접근하여 로드합니다.cdll 라이브러리는 표준 cdecl 호출 규칙을 사용하여 함수를 내보내며, windll 라이브러리는 stdcall 호출 규칙을 사용하여 함수를 호출합니다.oledll도 stdcall 호출 규칙을 사용하며, 함수가 Windows HRESULT 오류 코드를 반환한다고 가정합니다.이 오류 코드는 함수 호출이 실패할 때 자동으로 OSError 예외를 발생시키는 데 사용됩니다.from ctypes import *print(windll.kernel32)print(cdll.msvcrt)libc = cdll.msvcrt 참고 cdll...

현재 클로드 코드는 웹버전과 CLI 버전 두가지를 지원한다.CLI 버전의 경우 VSC(visual studio code)와 같은 IDE를 쓰면 GUI 지원이 있으며, 웹 버전은 웹 브라우저를 통해서 활용이 가능하다. 클로드 코드를 꾸준히 사용하면서 다양한 시도들을 해보았다.CLAUDE.md에 컨텍스트 맥락을 추가하기도 해보고, 파이썬이나 자바스크립트 같은 자주 사용되는 언어 뿐 아니라 러스트나 C/C++ 같은 언어에 대해서도 도전을 많이 해 보았다. 사용을 해보면서 느낀 점은, 의외로 CLAUDE.md를 사용해서 리포지토리마다 규칙을 적용하는 것이 나에게는 더 적절하지 않았던 것 같다.물론 매번 파일들을 찾아가면서 프로젝트 구조를 파악해가는 과정이 번거로울 수 있지만, 오히려 프로젝트가 조금만 커져도 그..

AI 기술의 흐름이 단순히 텍스트를 읽는 단계에서 무언가를 '보는' 단계로 급격히 이동하고 있습니다. 최근 Llama 3.2나 Molmo 같은 멀티모달 모델들이 공개되면서, 이러한 모델들이 내부적으로 어떻게 작동하는지 이해하는 것이 그 어느 때보다 중요해졌습니다.대규모 언어 모델(LLM)이 어떻게 "고양이"라는 단어뿐만 아니라 고양이 사진을 보고도 똑같이 이해할 수 있는지 궁금했다면, 그 비밀은 바로 영리한 엔지니어링과 아키텍처의 결합에 있습니다. 여기 멀티모달 LLM(MLLM)의 핵심 작동 원리를 정리해 드립니다.핵심 재료: 3가지 구성 요소거대한 멀티모달 LLM을 만드는 것은 처음부터 새로운 두뇌를 창조하는 것이 아닙니다. 오히려 각 분야의 전문가들로 팀을 꾸리는 것에 가깝습니다. 대부분의 현대적 M..

1. 리스크: 모든 투자 평가는 리스크 측정에서 시작해야 한다. 평판적인 부분은 더 그렇다.- 적절한 안전마진을 포함하라- 성격에 문제가 있는 사람들과 거래하는 것을 피하라.- 추정 리스크에 알맞은 보상을 고수하라.- 인플레이션과 금리 위험 노출액에 유의하라.- 실수를 저지르지 말고 영구적 자본 손실을 피하라. 2. 독립: 임금에게 벌거벗었다고 말해주는 사람은 동화 속에만 있다.- 객관성과 합리성에는 독립적인 사고가 필요하다.- 다른 사람이 동의하거나 반대한다고 해서 당신이 맞거나 틀린 것이 아니라는 사실을 기억하라.- 정말 중요한 것은 당신이 내린 분석과 판단의 정확성이다.- 군중을 모방하면 평균적인 성과로 회귀하게 된다. 3. 준비: 이기는 방법은 정말 열심히 일하는 것 말고는 없다. 그리고 몇 개의..

사모펀드(私募Fund, PEF) 또는 사모투자펀드는 자산운용사가 투자자에게서 자본을 출자받아 기업이나 채권, 부동산에 투자해 수익을 보는 펀드이다.자산운용사는 펀드에 대한 투자 계획을 세우고 그 계획을 토대로 금융 상품을 만든다.이를 통해 어떤 곳에 투자해 얼마만큼 수익을 예상하는지와 같은 펀드의 구조가 생성된다. 추후 고객들에게 펀드 가입을 권유한다.현행법상 자산운용사가 투자자에게 직접 펀드 상품을 판매할 수는 있지만 은행·증권사·보험사 등에 위탁하는 경우가 많다.펀드마다 투자 방법은 차이가 있지만 대부분 차입 매수(Leveraged Buyout)를 통해서 회사를 사서 3년~5년 후에 되팔아 이익을 남기는 것을 목표로 한다.사모펀드가 처음으로 유명해진 것은 1980년대로, 그때는 사모펀드보다는 차입 매..

IPO란 기업 설립 후 처음으로 불특정 외부 투자자들에게 신주를 발행 및 공모하는 행위이다. 발행된 자본은 필요한 사업에 사용된다.자기 회사를 주식시장(증권거래소)에 상장시키는 방법이 가장 많이 이용된다.기업공개를 하기 위해서는 증권거래소에 사전예비협의를 거친 이후 상장 주관사(증권사)를 선정, 거래소에 상장예비심사를 청구하게 된다. 상장예비심사를 통과하면 증권신고서를 관할기관(대한민국은 금감원)에 제출하여 승인받은 이후 장내진입을 위한 최초 유상증자를 통해 공모주를 찍어내 투자자(소액주주)를 모집한 이후 증권거래소에 실제 상장승인을 받는다.그 이후 날짜를 확정하여 주식시장에 상장하게 되는 것이다. 공모가가 높은 가격에 형성되면 주관사와 기업공개 당사 기업은 각각 높은 수수료, 자본조달에 용이하기 때문에..

많은 주식 투자자들이 주가를 매일 확인한다.1만원에 거래되는 기업이 11,000원으로 상승하면 환호하고, 9,000원으로 하락하면 절망한다.이처럼 단순히 가격에만 집착하는 경우가 많다. 그리고 만원짜리 기업이 5,000원짜리 기업보다 좋고 비싸다고 단순화하는 경우도 적지 않다.하지만 주가는 단지 거래되는 가격일 뿐이다. 주가가 상승한다는 것은 가격이 오르는 것일 뿐만 아니라 기업의 가치가 상승하고 있다는 의미이다.주식투자를 하는 사람들은 거래되는 가격인 주가보다는 항상 시가총액을 봐야 한다.시가총액은 기업의 크기를 의미하는데, 기업이 시장에서 얼마만큼의 가치를 인정받고 있는지를 나타내는 것이다.현재 주가에 그 기업의 총 주식수를 곱하면 시가총액이 계산된다.물론 직접 계산할 필요 없이 구글이나 네이버에 검..

서머타임(Summer time, ST) 또는 일광 절약 시간제(Daylight saving time, DST/DT)는 특히 하절기에 국가의 표준시를 원래 시간보다 (일반적으로) 한 시간 앞당겨 사용하는 것을 말한다.Summer time은 영국식 영어고 Daylight saving time은 미국식 영어의 번역이다.여기서 시간을 한 시간 앞당긴다는 것은 시에 해당하는 수를 1만큼 크게 만든다는 것이다.서머타임이 실시되면 8시를 9시로, 2시를 3시로 바꿔 표기하게 된다.12시는 1만큼 커지면 13시이므로 1시가 된다.평소에 8시에 출근하던 것을 서머타임 적용 후 8시에 출근하면 원래 시각으로 7시에 출근한 것과 같아지며, 제도적으로 한 시간 일찍 하루를 시작한 효과가 생긴다.손목에 찬 시계, 탁상에 올려진..

주식시장, 특히 요즘처럼 폭락과 반등이 뒤엉킨 어지러운 장세에서 자주 등장하는 주식 용어 중 하나가 바로 '데드캣바운스'(Dead Cat Bounce)다. 주가가 급락 후 일시적으로 소폭 회복된 것을 의미한다.즉 폭락장 가운데서도 가끔 주가가 반등하는 것처럼 보이는 것을 죽은 고양이가 꿈틀한다는 식으로 표현한 것이다."높은 곳에서 떨어 뜨리면 죽은 고양이도 튀어오른다."(Even a dead cat will bounce if it falls from a great height) 라는 월 가에서 유래한 문장이 시초이다. 데드캣바운스가 나타나는 이유는 크게 세 가지다. 갑작스러운 폭락에 놀란 투자자들의 저가 매수가 몰리거나 공매도 투자자들이 빌린 주식을 되갚기 위해 주식을 사들이는 숏커버링에 나설 때, 또 ..