분류 전체보기127 Apache Spark : SparkContext vs SparkSession SparkContext와 SparkSession의 차이점은 스파크 사용자들 사이에서 자주 논의되는 주제입니다. 둘 다 스파크의 엔트리 포인트(entry points)로 사용 가능하지만, 몇 가지 차이점이 있습니다. 이제 차이점에 대해 알아보겠습니다. 엔트리 포인트(entry point)? 프로그래밍 언어에서 엔트리 포인트는 프로그램 실행이 시작되는 함수나 메서드입니다. 예를 들면 main() 함수가 전형적인 엔트리 포인트입니다. 스파크와 같은 프레임워크에서의 엔트리 포인트는 해당 라이브러리나 프레임워크의 기능을 초기화하고 접근하기 위한 API나 함수를 말합니다. 예를 들어, 스파크에서 SparkContext, SparkSession은 애플리케이션이 스파크 기능을 사용하기 위해 초기에 접근해야 하는 엔트리.. 2024. 2. 26. Apache Spark : Spark 소개 및 구조 목차 LIST 스파크의 간략한 역사 스파크는 UC 버클리의 RAD 연구실(AMPLab)의 연구 프로젝트로 2009년에 시작됐다. 연구원들은 이전에 하둡 맵리듀스로 일한 경험이 있었는데, 맵리듀스가 반복적인 대화형 연산 작업에는 비효율적인 것을 발견했다. 그래서 스파크는 시작부터 인메모리 저장 장치 및 효과적인 장애 복구 지원 같은 개념에 기반하여 대화형 쿼리와 반복성 알고리즘에 빠르게 동작하도록 설계되었다. 스파크란 아파치 스파크는 가장 활발하게 개발되고 있는 병렬 처리 오픈소스 엔진이며, 표준 도구로 자리잡고 있다. 널리 쓰이는 네 가지 언어(파이썬, 자바, 스칼라, R)를 지원하며 SQL 뿐만 아니라 스트리밍, 머신러닝에 이르기까지 넓은 범위의 라이브러리를 제공한다. 스파크는 단일 노트북 환경에서부터.. 2024. 2. 6. SingleStore DB에 대해 알아보자 목차 LIST SingleStore SingleStoreDB는 분산 관계형 데이터베이스로 대규모 트랜잭션과 실시간 분석을 모두 처리할 수 있습니다. 표준 SQL 드라이버를 통해 접근할 수 있으며, 조인, 필터, 분석 기능(ex. 집계, 그룹과, 윈도우 함수 등)을 포함한 ANSI SQL을 지원합니다. ANSI SQL? ANSI(American National Standards Institute)가 다양한 DBMS(Oracle, MySQL 등)에서 사용 가능하도록 한 표준 SQL문 SingleStoreDB는 클라우드 인스턴스 또는 업계 표준 하드웨어에서 수평적으로 확장되며, 다양한 플랫폼에서 높은 처리량을 제공합니다. 또한 현대의 데이터 처리 생태계에서 흔히 사용되는 기술들(ex. 오케스트레이션 플랫폼,.. 2024. 1. 13. Cookie vs LocalStorage vs SessionStorage : 차이점은 무엇일까? 목차 LIST Cookie 최대 4KB 용량을 가진 매우 작은 양의 데이터로 방문한 페이지를 저장하거나 유저의 로그인 정보를 저장하는 것과 같이 다양한 방법으로 사용되며, 문자열만 저장 가능하다는 제한이 있습니다. 많은 사이트들은 최초 로그인 이후에 쿠키를 사용해 유저의 신원을 확인하는 방식을 사용하는데, 이 때문에 유저는 일정 시간동안 다시 인증을 하지 않아도 됩니다. 쿠키는 웹 브라우저와 서버 간의 상태 정보를 유지하기 위해 HTTP 프로토콜을 사용하는 기술입니다. 최초 로그인 이후에 모든 HTTP 요청에 로그인 정보를 담은 쿠키를 서버에 계속 전달해주는 방식으로 동작됩니다. 동작 방식 쿠키와 HTTP 프로토콜 : 쿠키는 HTTP 프로토콜의 일부로 정의되어 있으며, 웹 브라우저와 서버간의 HTTP 요.. 2023. 12. 26. CORS(Cross-Origin Resource Sharing)에 대하여 목차 LIST Cross-Origin Resource Sharing (CORS) 필요성 및 목적 CORS는 서버의 리소스를 보호하기 위한 메커니즘으로 웹 서버가 어떤 출처(origin)의 웹 페이지가 해당 서버의 리소스에 접근할 수 있도록 허용할지를 결정하는 방법입니다. 서버가 '어떤 출처(origins)로부터의 요청을 허용할지'를 제어함으로써 데이터의 접근을 관리하기 위해 사용하며, 브라우저는 이러한 서버의 결정을 존중하고, 서버의 설정에 따라 클라이언트 측의 데이터 접근을 제한합니다. CORS란 CORS는 HTTP 헤더 기반의 매커니즘으로 origins(domain, scheme, or port) 가 아닌 곳에서 브라우저가 자원을 로드하는 것을 허용할 수 있습니다. 또한, CORS는 브라우저가 cro.. 2023. 12. 8. FastAPI에 대해 가볍게 알아보자. 목차 LIST FastAPI 공식문서에는 FastAPI에 대한 설명이 아래와 같이 적혀있습니다. FastAPI는 현대적이고, 빠르며(고성능), 파이썬 표준 타입 힌트에 기초한 Python3.6+의 API를 빌드하기 위한 웹 프레임워크입니다. 현대적 : FastAPI는 최신 프로그래밍 기법을 사용하여 설계되었음 빠름 : 우수한 성능 파이썬 표준 타입 힌트에 기초 : Python 3.6 이상 버전에서 도입된 타입 힌트 기능을 활용 * 타입힌트 : 변수나 함수의 입력 및 반환 값의 타입을 명시하는 것 Python3.6 이상 버전을 사용하여 API를 개발하기 위한 도구이다. 즉 , FastAPI는 최신 파이썬 기술을 활용하여 고성능의 API를 효율적으로 개발할 수 있게 해주는 현대적인 웹 프레임워크입니다. Fa.. 2023. 11. 24. 이전 1 2 3 4 5 ··· 22 다음 반응형
