본문 바로가기

J 바로가기

📌CS49

[Web] 스크래핑 vs 크롤링 스크래핑(Scraping) 웹 사이트 상에서 원하는 정보를 추출하는 기술 스크래퍼는 특정 웹 사이트 또는 페이지에서 특정 데이터를 추출하는 프로세스이다. 스크래핑을 수행하기 위해서는 먼저 필요한 정보를 찾기 위해 웹 크롤링 같은 작업을 수행해야 한다. 즉, HTTP를 통해 웹 사이트의 내용을 추출하여 원하는 형태로 가공하는 것이다. 쉽게 말해 웹 사이트의 데이터를 수집하는 모든 작업을 뜻한다. ex) 주식 시장 데이터, 비즈니스 리드, 공급업체 제품 크롤링도 일종의 스크래핑 기술이라고 할 수 있다. 크롤링(Crawling) 웹 크롤러(자동화 봇)가 일정 규칙으로 웹 페이지를 브라우징 하는 것 크롤러란 조직적, 자동화된 방법으로 월드와이드 웹(WWW)을 탐색하는 컴퓨터 프로그램이다. 크롤링은 크롤러가 하는.. 2021. 8. 24.

[OS] 프로세스 주소 공간 Code(Text) 우리가 작성한 소스코드가 들어 가는 부분. 즉, 실행할 프로그램의 코드가 저장되는 영역으로 텍스트(code)영역 이라고도 부른다. 코드영역은 실행 파일을 구성하는 명령어들이 올라가는 메모리 영역으로 함수, 제어문, 상수 등 함수에 대한 기계어 코드가 여기에 지정된다. 컴파일 타임에 결정되고 중간에 코드를 바꿀 수 없게 Read-Only 로 지정돼있다. Data 프로그램의 초기값 있는 전역 변수, 배열, 정적(static) 변수가 저장되는 영역이다. 즉, 프로그램이 구동되는 동안 항상 접근 가능한 변수가 저장되는 영역이다. 전역변수, static 값을 참조한 코드는 컴파일 하고 나면 Data 영역의 주소값을 가르키도록 바뀐다. 데이터 영역은 프로그램의 시작과 함께 할당되며, 프로그램이 .. 2021. 8. 23.

[OS] 인터럽트 운영체제와 하드웨어 간의 상호동작(폴링) 운영체제는 레지스터(상태, 명령, 데이터 레지스터)를 읽고 쓰는 것을 통해 하드웨어 장치의 동작을 제어할 수 있게 된다. 상태(Status) : 하드웨어 장치의 현재 상태를 읽을 수 있는 레지스터 명령(Command) : 하드웨어 장치가 특정 동작을 하도록 요청할 때 사용 데이터(Data) : 하드웨어 장치에 데이터를 보내거나 받거나 할 때 사용 운영체제와 하드웨어 장치 간에 폴링을 통한 상호작용은 다음과 같다. 폴링(Polling)을 한다. 폴링(Polling) : 운영체제가 하드웨어 장치의 상태 레지스터를 읽음으로써 명령의 수신 여부를 주기적으로 확인하는 것이다. 즉, 하드웨어장치의 상태를 수시로 체크하여 명령을 받을 수 있는지 확인하는 것을 말한다. 운영체제.. 2021. 8. 23.

[OS] 프로세스 vs 스레드 프로그램 프로그램이란, 파일이 저장 장치에 저장되어 있지만 메모리에는 올라가 있지 않은 정적인 상태를 말한다. 프로세스 메모리에 적재되어 실행되고 있는 프로그램의 인스턴스(독립적인 개체) 프로그램 : 어떤 작업을 위해 실행할 수 있는 파일 운영체제로부터 자원을 할당받은 작업의 단위 특징 프로세스는 각각 독립된 메모리 영역(Code, Data, Stack, Heap의 구조)을 할당받는다. 기본적으로 프로세스당 최소 1개의 스레드(메인 스레드)를 가지고 있다. 각 프로세스는 별도의 주소 공간에서 실행되며, 한 프로세스는 다른 프로세스의 변수나 자료구조에 접근할 수 없다. 한 프로세스가 다른 프로세스의 자원에 접근하려면 프로세스 간의 통신(IPC, inter-process communication)을 사용해야.. 2021. 8. 18.

[Web] HTTP와 HTTPS 차이점 HTTP HTTP(Hyper Text Transfer Protocol)란 서버/클라이언트 모델을 따라 데이터를 주고 받기 위한 프로토콜이다. HTTP는 인터넷에서 하이퍼텍스트를 교환하기 위한 통신 규약으로, 80번 포트를 사용하고 있다. 따라서 HTTP 서버가 80번 포트에서 요청을 기다리고 있으며, 클라이언트는 80번 포트로 요청을 보내게 된다. HTTP는 1989년 팀 버너스 리(Tim Berners Lee)에 의해 처음 설계되었으며, WWW(World-Wide-Web) 기반에서 세계적인 정보를 공유하는데 큰 역할을 하였다. WWW(World Wide Web)에 내재된 프로토콜이다. 인터넷에서 자원(파일, 이미지, 비디오)을 교환하는 프로토콜(약속, 규칙) 기본 포트 80 하이퍼텍스트 문서를 표현하기.. 2021. 8. 18.

[OS] CPU 스케줄링 스케줄링(Scheduling) 다중 프로그래밍을 가능하게 하는 운영 체제의 동작 기법이다. 운영체제는 프로세스들에게 CPU 등의 자원 배정을 적절히 함으로써 시스템의 성능을 개선할 수 있다. 유형 1단계 스케줄링 : 장기 스케줄링 = 작업 스케줄링 = Job scheduling 작업이 시스템에 들어오는 것을 승인. 프로세스가 준비큐(ready queue)로 들어간다. 2단계 스케줄링 : 중기 스케줄링 프로세스들이 프로세서를 서로 차지하려고 할 때 어느 프로세스부터 CPU를 차지할 수 있게 할지 결정 프로세스들을 보류시키고 다시 활성화하는 기법을 사용하여(스와핑) 시스템에 대한 단기적인 부하를 조절한다. 이로써 시스템을 적절히 운영한다. 스왑은 작업의 혼합을 개선하거나 프로세스가 가지고 있던 메모리를 사용.. 2021. 8. 11.

[Network] TCP, UDP 차이점 전송계층은 송신자와 수신자를 연결하는 통신 서비스를 제공하는 계층으로, 데이터의 전달을 담당한다. TCP, UDP는 전송계층에서 사용하는 프로토콜이다. 프로토콜(protocol) : 컴퓨터 상호간 혹은 컴퓨터와 단말간에서 통신을 할 때에 필요한 통신규약 통신규약 : 상호간의 접속이나 전달 방식, 통신 방식, 주고받을 자료의 형식, 오류 검출 방식, 코드 변환 방식, 전송 속도 등에 대하여 정하는 것. TCP( Transmission Control Protocol ) 인터넷상에서 데이터를 메세지 형태로 보내기 위해 IP와 함께 사용하는 프로토콜 연결형 서비스를 지원하는 프로토콜로 인터넷 환경에서 기본으로 사용한다. 일반적으로 TCP와 IP를 함께 사용하는데, IP가 데이터의 배달을 처리한다면, TCP는 패.. 2021. 8. 9.

[OS] 스케줄러의 종류: 장기, 중기, 단기 스케줄러 장기 스케줄러(long term scheduler) 어떤 프로세스를 준비큐에 넣을 것인가 결정 작업 스케줄러라고도 부르며 어떤 프로세스를 준비큐에 삽입할지를 결정하는 역할을 한다. 디스크에서 하나의 프로그램을 가져와 커널에 등록하면 프로세스가 되는데 이때 디스크에서 어떤 프로그램을 가져와 커널에 등록할지(준비큐에 등록할지) 결정한다. 장기 스케줄러는 수십 초 내지 수 분 단위로 가끔 호출되기 때문에 상대적으로 속도가 느린 것이 허용됩니다. 또한 장기 스케줄러는 메모리에 동시에 올라가 있는 프로세스의 수를 조절하는 역할을 한다. 하지만 현대의 시분할 시스템에서 사용되는 운영 체제에는 일반적으로 장기 스케줄러를 두지 않는 경우가 대부분이다. 과거에는 적은 양의 메모리를 많은 프로세스들에게 할당하면 프로세스당.. 2021. 8. 4.

[Web] XSS와 CSRF(XSRF)의 차이점 이전에 XSS와 CSRF 에 대한 글을 작성한 점이 있지만 복습겸 차이를 분명히 하기 위해 다시 작성한다. 2021.04.25 - [📌CS/Web] - XSS(Cross-site Scripting) 공격 2021.04.25 - [📌CS/Web] - CSRF(Cross-site Request Forgery) 공격 결론부터 말하자면, XSS는 공격대상이 Client이고, CSRF는 Server이다. XSS은 사용자가 특정 웹사이트를 신용하는 점을 노린 것이라면, CSRF는 특정 웹사이트가 사용자의 웹 브라우저를 신용하는 상태를 노린 것이다. 따라서, XSS는 사이트변조나 백도어를 통해 클라이언트에 대한 악성공격을 한다. CSRF는 요청을 위조하여 사용자의 권한을 이용해 서버에 대한 악성공격을 한다. XSS(.. 2021. 8. 4.

이전 1 2 3 4 5 6 다음

티스토리툴바