마시멜로

🧱 전체 아키텍처 구성 개요┌────────────┐ ┌──────────────┐│ Producer │ ───▶ │ Kafka │ ◀──┐└────────────┘ └──────────────┘ │ ▼ ┌─────────────┐ ┌────────────┐ ┌────────────┐ │ Airflow │ ◀▶ │ Redis Queue│ ◀▶│ Celery │ └─────────────┘ └────────────┘ └────────────┘ Kafka: 실시간 메시징/스트리밍 처리Redis: Celery 브로커 or 캐시 저장소Airflow: DAG 기반..

🔍 Java vs Kotlin vs NestJS - 백엔드 기술 비교백엔드 개발을 위한 대표적인 언어/프레임워크인 Java, Kotlin, NestJS를 기능, 생산성, 사용성 측면에서 비교해보겠습니다.🧱 기본 정보 비교항목JavaKotlinNestJS (TypeScript)플랫폼JVMJVMNode.js언어JavaKotlinTypeScript주요 프레임워크Spring BootKtor, Spring BootNestJS문법 스타일객체지향 중심객체지향 + 함수형객체지향 + 데코레이터 기반타입 시스템정적 타입정적 타입 + Null Safety정적 타입 (TS 기반)⚙️ 생산성 & 성능항목JavaKotlinNestJS생산성중 (보일러플레이트 많음)높음 (간결한 문법)매우 높음 (TS 덕분에 DX↑)러닝 커브중..

1. 신한은행시스템명: '더 NEXT'​구축 완료 시기: 2024년 말​주요 기술:비대면 전용 코어뱅킹 시스템 구축x86 기반의 시스템 도입클라우드 환경 전환을 위한 IT 인프라 혁신향후 계획:비대면 채널 기능 확대​외부 플랫폼과의 제휴 추진​BaaS(Banking as a Service) 플랫폼을 통한 기업금융 확대​출처:https://m.ddaily.co.kr/page/view/20250107165114898102. KB국민은행시스템명: '코어뱅킹현대화'​구축 계획 발표 시기: 2024년 12월 주요 기술:IBM 메인프레임(z16 시리즈) 기반의 시스템 구축x86 기반의 주전산 환경으로 전환향후 계획:비대면 전용 시스템 구축​단위업무 개선을 위한 시스템 구축​출처: https://m.ddaily.co..

📦 1. Gzip 압축 처리 흐름서버:클라이언트(브라우저)가 gzip 압축을 지원하는 경우, 서버는 응답 데이터를 압축하여 클라이언트로 전송합니다. 이때, 서버는 Content-Encoding: gzip 헤더를 추가합니다.예를 들어, application/json 응답을 Gzip으로 압축하여 전송.브라우저:클라이언트(브라우저)는 Content-Encoding: gzip 헤더를 보고, 압축된 데이터를 자동으로 해제합니다.해제된 후, application/json 헤더에 맞춰 JSON 데이터를 정상적으로 파싱합니다.이 과정에서 클라이언트 애플리케이션 (Vue) 은 아무런 처리를 하지 않아도 됩니다.🔧 2. Nginx에서 Gzip 설정 예시http { # Gzip 압축 활성화 gzip on; ..

🧱 1. 현재 서버 구조 요약항목내용클라이언트Vue 관리자 웹 앱백엔드 API15MB 응답 포함웹 서버Nginx (Windows용)하드웨어20코어 CPU, 32GB RAM네트워크950 Mbps (약 118 MB/s)🧠 2. Vue 관리자 사이트 특성상 고려할 점Vue 관리자 페이지는 일반 사용자 웹사이트보다 다음 특성이 있습니다:요소설명대량 API 호출테이블 필터, 페이지 이동, 대시보드 그래프 등정적 리소스 크기JS 번들, CSS, 아이콘 등 수십~수백 KB대용량 API엑셀, 리포트 등 JSON or 파일로 5~15MB 응답 발생유휴 시간 多요청은 간헐적이지만, 요청 시 burst 형식으로 발생=> 트래픽은 많지 않지만, 순간적 부하와 응답 최적화가 중요합니다.🚦 3. 요청 성능 분석📏 다운로드..

서버 종류: Windows Server인터넷 속도: 950 Mbps (Fast.com 기준)API 응답 용량: 최대 15MB웹 서버: Nginx 설정 있음 (worker_processes 1, worker_connections 1024, client_max_body_size 1G 등)이제 이 조건을 바탕으로, 몇 명의 사용자가 동시에 15MB API를 원활하게 호출할 수 있는지 해석해드릴게요.📥 1. 인터넷 속도 기준: 대역폭 계산950 Mbps = 약 118.75 MB/s (MegaBytes per second)→ 즉, 이론적으로 초당 118.75MB 전송 가능📦 2. API 요청당 사용량API 응답 하나당: 15MB→ 동시에 몇 명에게 전송할 수 있나?bash복사편집118.75 MB/s ÷ 15 ..

관리 툴Conda (Anaconda/Miniconda)Python 내장 도구패키지 설치 방식conda install, pip install 모두 가능pip install만 가능비-Python 패키지 관리가능 (예: conda install libpng)불가능 (Python 패키지만 설치됨)환경 생성 속도비교적 느릴 수 있음매우 빠름의존성 해결 능력매우 강력하고 충돌 방지 기능 있음pip 기반, 충돌 가능성 높음가상환경 위치 관리conda activate, 이름 기반으로 관리로컬 디렉토리에 venv/ 생성됨크로스 플랫폼Windows, macOS, Linux 모두 지원마찬가지로 모두 지원용량초기 용량 큼 (기본 패키지 포함)매우 가볍고 최소 구성복잡한 과학 패키지 설치매우 쉬움 (바이너리 기반)빌드 툴이 없..

Gemma2:9B 모델을 사용해 10만 개의 CSV 데이터를 파인튜닝하려면 몇 가지 단계를 거쳐야 합니다. 여기서 중요한 것은 모델 아키텍처, 파인튜닝 과정, 그리고 GPU 리소스를 고려하여 시간을 예측하는 부분입니다.1. 데이터 준비 및 전처리CSV 데이터를 모델에 적합한 형식으로 변환하는 것이 첫 번째 단계입니다.CSV 데이터 로딩: pandas를 사용하여 CSV 데이터를 로드하고 필요한 특성(features)만 선택합니다.텍스트 데이터 전처리: 파인튜닝하는 모델이 텍스트 데이터를 처리할 수 있도록 텍스트 정제(예: 특수문자 제거, 불용어 제거 등)를 해야 합니다.라벨링 처리: 모델이 텍스트를 예측할 수 있도록 라벨을 준비합니다.예시:python import pandas as pdfrom transf..

시간, 속도, 비용 측면에서 고려해야 할 주요 사항은 다음과 같습니다:시간 측면:모델 처리 시간: LLM은 전체 데이터를 처리하는 데 시간이 많이 걸릴 수 있습니다. 특히, 대규모 CSV 데이터를 한 번에 처리하려면 모델이 많은 양의 데이터를 다루어야 하므로 시간이 많이 소요될 수 있습니다.데이터 양: CSV의 크기에 따라 LLM이 데이터를 처리하는 시간은 선형적으로 증가할 수 있습니다. 예를 들어, 데이터가 수백 메가바이트(MB)나 기가바이트(GB)에 달하는 경우, 모델의 응답 시간이 길어질 수 있습니다.질의 처리 시간: LLM에 질의를 보내는 데 걸리는 시간은 보통 몇 초에서 수십 초 정도 소요될 수 있지만, 전체 데이터셋을 바탕으로 추천을 생성하려면 모델이 데이터를 빠르게 탐색하고 학습해야 하므로 ..

1. 서론현대의 디지털 환경에서는 대량의 데이터가 빠르게 생성되고 있으며, 기업들은 이 데이터를 효과적으로 활용하기 위해 다양한 기술을 도입하고 있습니다. 그 중에서 추천 시스템은 사용자 경험을 극대화하고, 맞춤형 서비스를 제공하는 데 중요한 역할을 하고 있습니다. 특히 마이데이터를 활용한 추천 시스템은 개인화된 서비스를 제공할 수 있는 강력한 도구가 될 수 있습니다.마이데이터란 사용자의 개인 데이터를 활용하여 보다 맞춤화된 서비스를 제공하는 기술로, 개인의 소비 패턴, 선호도, 행동 등을 기반으로 추천을 합니다. 이 글에서는 마이데이터를 활용한 자동 추천 시스템을 구축하는 과정과 이를 구현하는 기술에 대해 다루겠습니다.2. 추천 시스템이란?추천 시스템은 사용자가 선호할 가능성이 있는 항목을 예측하여 개..