Metadata-Version: 2.4
Name: qwen_token_counter
Version: 0.1.0
Summary: A simple token counter for Qwen model series
Home-page: https://github.com/benoqtr/qwen_token_counter
Author: benoqtr
Author-email: benoqtr@gmail.com
Classifier: Programming Language :: Python :: 3
Classifier: License :: OSI Approved :: MIT License
Classifier: Operating System :: OS Independent
Requires-Python: >=3.7
Description-Content-Type: text/markdown
License-File: LICENSE
Requires-Dist: transformers>=4.51.0
Dynamic: author
Dynamic: author-email
Dynamic: classifier
Dynamic: description
Dynamic: description-content-type
Dynamic: home-page
Dynamic: license-file
Dynamic: requires-dist
Dynamic: requires-python
Dynamic: summary

# Qwen Token Counter

一个简单的Qwen模型系列token计数工具。

## 安装

```bash
pip install qwen-token-counter
```

## 使用方法

有两种使用方式：

1. 快速单次使用：

```python
from qwen_token_counter import get_token_count

text = "你好，世界！"
count = get_token_count(text)
print(f"Token数量: {count}")
```

2. 多次使用（推荐）：

```python
from qwen_token_counter import TokenCounter

counter = TokenCounter()
text1 = "你好，世界！"
text2 = "Hello, World!"

count1 = counter.count_tokens(text1)
count2 = counter.count_tokens(text2)

print(f"文本1的Token数量: {count1}")
print(f"文本2的Token数量: {count2}")
```

## 特点

- 轻量级：只包含必要的tokenizer文件
- 易用：简单的API设计
- 高效：支持批量文本处理
- 准确：使用官方Qwen tokenizer

## 依赖

- Python >= 3.7
- transformers >= 4.51.0

## License

MIT License 
