Briefer – 일정, SQL, 내장 LLM이 포함된 멀티플레이어 노트북

Briefer – 일정, SQL, 내장 LLM이 포함된 멀티플레이어 노트북

• Notion + Jupyter 에 확장 기능을 추가
  • 노트북 스케줄링, 대시보드와 앱으로 변환, 데이터 프레임으로 결과를 리턴하는 SQL 쿼리 등
• 기존 노트북의 문제점 해결
  • 공유의 어려움 : 데이터 팀 작업을 보기위해 Docker+Python 설치가 필요
  • 노트북이 너무 복잡함 : 코드 블록이 너무 많아져서 가독성 저하 및 비기술자가 이해하기 어려움
  • 데이터베이스 쿼리, API 호출, 그래프 작성 등의 간단한 작업도 복잡함
• Briefer의 해결 방법
  • 공유 문제 해결
    • 노트북을 클라우드로 이동하여 스케줄링 가능
    • CRDTs와 Yjs를 사용해 상태 관리, 실시간 편집 반영
  • 노트북 정리
    • 깨끗한 디자인과 블록을 그룹화하여 정리 가능
    • 블록을 탭으로 그룹화하고, 공개 버전에 표시할 블록 선택 가능
    • 대시보드 구축 기능 제공
  • 간단한 작업의 간편화
    • 클릭으로 그래프 작성, AI 어시스턴트로 복잡한 차트 코드 생성
    • SQL 쿼리 결과를 자동으로 데이터 프레임으로 변환, DuckDB를 사용해 파일 쿼리 가능

주요 기능들

• 파일 트리
  • 파일 트리는 노트북을 관리하고 탐색할 수 있는 곳
  • Notion과 마찬가지로 각 노트북에 대한 아이콘을 선택하고, 순서를 변경하거나, 하나를 다른 노트북 안에 넣을 수 있음
  • 노트북을 삭제하면 휴지통에 사본을 보관하여 필요한 경우 복원할 수 있음
• 블록과 탭 : Briefer 노트북은 다양한 유형의 블록으로 구성됨
  • 텍스트 블록: 노트북에 컨텍스트를 추가하기 위함
  • 쿼리 블록: 파일이나 Postgres, BigQuery, Redshift, Athena 등과 같은 연결된 데이터 소스에서 데이터를 수집하기 위함
  • 파일 업로드 블록: 데이터가 연결된 데이터 소스에 없는 경우 CSV, XLS 또는 기타 파일을 노트북에 추가하기 위함
  • Python 블록: 데이터를 조작하고, 시각화를 생성하거나, 원하는 다른 작업을 수행하기 위해 Python 코드를 작성하기 위함
  • 입력 블록: 텍스트 입력이나 드롭다운과 같은 대화형 요소를 노트북에 추가하기 위함
  • 시각화 블록: 코드를 작성하지 않고 시각화를 생성하기 위함
  • 노트북에 블록을 추가한 후, 이를 탭으로 그룹화하여 노트북을 구성하고 탐색하기 쉽게 만들 수 있음
• 파일과 데이터베이스
  • 래퍼나 커넥터를 작성하지 않고도 쿼리 블록을 사용하여 파일 및 데이터베이스에서 데이터를 쿼리할 수 있음
  • 데이터가 데이터베이스에 있는 경우 쿼리 블록을 사용하여 SQL 쿼리를 작성하고 필요한 데이터를 가져올 수 있음
  • 데이터가 파일(CSV, XLSX, Parquet 등)에 있는 경우 해당 파일을 업로드하고 일반 SQL을 사용하여 쿼리할 수 있음
  • 쿼리 블록을 사용하여 데이터프레임을 일반 SQL로 쿼리할 수도 있음
• 자동 데이터프레임
  • 모든 쿼리 블록은 자동으로 쿼리 결과를 포함하는 Pandas 데이터프레임을 생성함
  • 이를 통해 이 데이터를 추가 Python 블록에서 사용할 수 있음
  • 기본적으로 데이터프레임에는 query_1과 같은 이름이 지정되지만 더 의미 있는 이름으로 바꿀 수 있음
• AI 어시스턴트
  • SQL 및 Python 블록에는 AI 어시스턴트가 포함됨
  • AI 어시스턴트의 도움이 필요할 때마다 "AI로 편집"을 클릭하고 어시스턴트에게 원하는 작업을 알려줄 수 있음
  • 그러면 AI 어시스턴트가 제안을 생성하고 시도, 수락 또는 거부할 수 있는 diff를 보여줌
  • Python 블록에서 AI 어시스턴트는 기존 데이터프레임과 열을 인식함
  • SQL 블록에서 AI 어시스턴트는 이미 데이터베이스의 테이블과 열을 알고 있으므로 더 나은 제안을 제공하고 복잡한 쿼리를 올바르게 작성하는 데 도움을 줄 수 있음
  • 오류가 발생할 때마다 "AI로 수정"을 클릭하여 AI 어시스턴트가 수정을 시도하게 할 수 있음
• 스케줄
  • 노트북을 매시간, 매일, 매주 또는 매월과 같은 특정 간격으로 실행하도록 예약할 수 있음
  • 예약을 생성할 때 스케줄이 성공적으로 실행되거나 실패할 때 이메일이나 Slack 메시지를 받도록 알림을 설정할 수도 있음. 성공적인 실행의 경우 노트북 출력이 포함된 PDF 파일도 받게 됨
• 스냅샷과 버전 관리
  • 노트북을 게시할 때마다 노트북의 상태를 자동으로 저장하여 시간 경과에 따른 변경 사항을 확인하고 필요한 경우 이전 버전으로 롤백할 수 있음
  • 이를 통해 노트북에 대한 변경 사항을 추적하고 문제가 발생하면 이전 버전으로 되돌릴 수 있음
  • 또한 모든 성공적인 예약 실행은 해당 시점의 노트북 상태에 대한 스냅샷을 생성함
  • 스냅샷은 결과가 시간에 따라 어떻게 변경되었는지 보거나 서로 다른 실행의 출력을 비교할 때 유용함
• 대시보드로의 노트북
  • 노트북의 출력을 사용하여 대시보드를 만들 수 있음
  • 차트를 그리기 전에 많은 데이터 랭글링을 수행해야 하는 경우와 같이 불필요한 코드나 설명을 포함하지 않고 결과를 다른 사람과 공유할 수 있음
  • 사용자가 입력 및 드롭다운과 상호 작용할 수 있도록 하지만 내부 코드를 보여주고 싶지 않은 데이터 앱을 구축할 때도 대시보드 보기가 유용함

커뮤니티 추가 의견

• 이 플랫폼은 노트북 스타일의 데이터 분석 및 시각화 작업에 유용할 것으로 보임
• 클라우드 기반으로 실시간 협업 가능하며, 사용자 친화적인 인터페이스와 정리 기능으로 가독성 향상 및 비기술적인 사용자도 쉽게 데이터 분석 결과를 볼 수 있어 협업 효율성 증가
• AI 어시스턴트가 SQL 쿼리 및 Python 코드 작성을 지원한다는 점도 데이터 분석 작업의 생산성을 높일 수 있을 것임. 다만 AI 제안의 정확성과 효용성은 실제로 사용해 봐야 알 수 있음
• 노트북의 스케줄링 및 버전 관리 기능은 반복적인 데이터 분석 작업이나 협업 시 유용할 것으로 보임. 다만 이를 위해서는 안정적인 인프라 운영이 전제되어야 함
• 대시보드 생성 기능을 통해 분석 결과를 비개발자와 쉽게 공유할 수 있다는 점도 장점. 그러나 대시보드의 레이아웃 및 디자인 자유도가 어느 정도일지는 미지수
• 유사한 플랫폼으로는 Jupyter Notebook, Google Colab, Deepnote 등이 있음. 이들과 차별화되는 Briefer만의 장점이 무엇일지 고민해 볼 필요가 있음. 예를 들어 보다 간편한 사용성, 강력한 협업 기능 등이 있을 수 있음