데이터분석쿠키

4. Grammars and Parsing part2 결과물은 parse tree를 만들어내고, 그것은 문장 사이의 수식관계를 잘 드러낸다. CKY의 복잡성 모든 parse tree를 다 찾는다면 그 개수는 N! PP라는 것은 NP, VP를 다 수식할 수 있다. 어떨 때는 명사를, 어떤때는 동사를 수식(두 개의 규칙이 다 맞다) 뒤에 전치사구가 N개 붙는다고 하면, N의 팩토리얼 개수만큼의 가능성 개수가 나타나게 된다. ⇒ 기하급수적이다. exponential CNF 문법은 문법을 변형해야지만 CKY parser에서 가능하지만 큰 문제는 아니다. 문법적 모호성 : 우리가 모든 가능한 parse tree를 다 찾는다면… parsing 알고리즘 자체가 의미가 없다. 많은 parse tree 중에 맞는 하나를..

3. Grammars and Parsing part1 Chapter 12. Formal Grammars of English Chapter 13. Syntactic Parsing = 문법검사를 하는 구문분석 문법이란 것은 어떤 것이 어떤 것을 수식하는 수식관계이다. NP = Noun phrase 명사구 link = 트리의 가지 문법 : 다시 쓰는 규칙 세트 (예) S라는 심볼은 NP, VP로 rewrite하라. 계속 rewrite하다보면 아래처럼 분석 가능 CFG (context에 무관한 문법) - non-terminal symbols = NP, VP 같은 것. rewrite rule의 왼쪽편에 있는 것들 - terminal symbols = 품사 (POS) - R = rewrite rule. 알파 → 베..

2. 형태소 분석 뜻을 가장 작은 말의 단위 = 단어 띄어쓰기 단위 = 어절 ㄱㄴㄷㄹ, ㅏㅑㅓㅕ = 자소 글자 하나하나 = 음절 여러 개의 형태소가 묶여서 하나의 어절을 형성 → 띄어쓰기 단위가 단어단위가 아니라는 것 첨용 : 뒤에 붙여서 사용하는 말들 예전에는 품사 태그가 체계화 되어있지 않아서 학교마다, 실험실마다 각자 자기만의 품사체계를 가지고 자연어처리를 진행했었다. 교수님이 카이스트에서 표준화를 직접 시도함 → 심볼에 대한 9개 태그, 체언 태그 등등 50개 정도의 태그 세종태그(세종프로젝트) : 국립국어원에서 말뭉치를 모아서 일일히 정답 kopus를 만들었다. → 현재 표준처럼 사용중. 이것을 기반으로 형태소분석을 하는 걸 원칙으로 하는것이 편함 좌우접속 정보 : 80년대 일본에서 처음 시도 ..

1. IntroNLP Natural Language Processing → 어떻게하면 컴퓨터 언어와 자연어를 소통하게 할 수 있을까? 의 문제 보통 혼용해서 쓰지만, 약간 차이가 있다. 내추럴 랭귀지 프로세싱 :컴퓨터에서 컴퓨터를 사람과 같이 소통할 수 있게 하는 연구 Computational linguistics : 컴퓨터를 이용해서 언어학을 연구하는 느낌 → 인간의 언어를 이용한 컴퓨테이셔널 방법을 찾아낼 수 있을까? 하는 것이 주요 목표 목표 : 컴퓨터라는 것이 만약 자연어를 제대로 쓸 수만 있다면, 굉장히 편하겠죠. 이메일을 알아서 핸들링, 방대한 데이터로부터 라이브러리를 자유자재로 찾아준다거나 대화를 통해 인터페이스 한다던가 → 어린애들도 잘 하는데, 슈퍼컴퓨터가 잘 못하더라! 그런 어려운 점에..

2주차 베이지안 베이즈 rule P(X, Y) = P(Y)P(X|Y)=P(X)P(Y|X)P(X|Y) = P(X)P(Y|X)/P(Y) 위치 : chap 6.3 Sum Rule, Product rule x y를 주면 그 xy에 해당하는 상황에서의 p값을 주는게 p라는 함수가 하는 일이다. dISCRETE : PMF P(X1,Y1) + P(X2,Y1) + P(X3,Y3).. Sum Rule : marginal dist.를 구할 때의 이야기. 다 더해버리면 더한 건 없어지고 안 더한 것들만 남는다. 1) discrete : PMF 위의 식을 풀어 써 보면 → P(X, Y1) + P(X, Y2) + P(X, Y3) … 2) continuous : PDF X, Y가 있을 때 Y가 존재하는 모든 Y space에 대해..