Metadata-Version: 2.4
Name: jieba-py
Version: 0.46.12
Summary: Chinese Words Segmentation Utilities
Author-email: "Sun, Junyi" <ccnusjy@gmail.com>, BU Kun <bukun@osgeo.cn>
License: MIT
Project-URL: Homepage, https://github.com/bukun/jieba-py
Project-URL: Documentation, https://github.com/bukun/jieba-py/blob/master/ReadMe.md
Keywords: NLP,tokenizing,Chinese word segmentation
Classifier: Intended Audience :: Developers
Classifier: License :: OSI Approved :: MIT License
Classifier: Operating System :: OS Independent
Classifier: Natural Language :: Chinese (Simplified)
Classifier: Natural Language :: Chinese (Traditional)
Classifier: Programming Language :: Python
Classifier: Programming Language :: Python :: 3
Classifier: Programming Language :: Python :: 3.10
Classifier: Programming Language :: Python :: 3.11
Classifier: Programming Language :: Python :: 3.12
Classifier: Programming Language :: Python :: 3.13
Classifier: Topic :: Text Processing
Classifier: Topic :: Text Processing :: Indexing
Classifier: Topic :: Text Processing :: Linguistic
Requires-Python: >=3.10
Description-Content-Type: text/markdown
License-File: LICENSE
Dynamic: license-file

# jieba-py项目说明

这些年做的工作很多都涉及到中文分词，jieba分词几乎是每个项目必须安装的模块，一直工作非常稳定。
但是由于其代码库长期不再维护，一直是使用中的一个隐患，使用中做过简单的代码修改以去除一些警告。
两年前就有想对其源码进行修改更新的想法，但是由于对自然语言处理并不算了解，没法实际动手。

这次借助于AI工具，得以快速地对项目的各个模块进行了了解，发现项目还是比较简单的。
所以我 `fork` 了此模块， 实际动手做了一些修改。
合并了原来的一点工作，这中间也大量使用了AI工具。
整体工作量不算大，完成后使用了没有大的问题。目前最新版本已经发布于 pypi 。

这个版本是纯Python语言的继续维护，还是有一些意义的。
jieba分词其实被很多语言重新进行了实现，
其中不乏一些项目是可以在Python中直接使用的。

- 只保证能运行在 Python 3.10 以上环境，不再考虑 Python 2 的兼容性，简化了一些代码。
- 对代码进行了格式化，方便阅读。暂时不会进行较大的修改。
- 在程序结构上使用了更新的技术手段来保证工程的稳定开发。
- 单元测试进行逐步的修改。这部分不影响核心逻辑，修改影响不大。
- 打包方式进行了修改，使用了 `pyproject.toml` 配置文件， 放弃原来的 `setup.py` 配置文件。
- 发布到 `pypi` 时使用 `jieba-py` 命名。 目前与原 `jieba` 分词用法完全一样， 只需要安装 `jieba-py`
  来代替 `jieba` 。 为了保持兼容性，使用了 `jieba` 模块名，安装时会与旧版本冲突。 如果安装了 `jieba`
  模块，一定要先卸载 `jieba` 模块： `python3 -m pip install jieba` 。
- 移除了对于 `paddle` 模式的支持。 一方面，`paddle` 模式已经不再维护， 另一方面，`paddle` 模式在Python
  3.10以上版本中无法运行。

#### NOTE
目前 `jieba-py` 模块已经发布到 `pypi` 上，请使用 `pip` 安装。
使用其他Python包管理安装方法请按各自使用方法进行调整。
最新版本为： 0.46.12

`python3 -m pip install jieba-py`

#### WARNING
项目的 `ReadMe.md` 文件自动生成、维护，请勿直接修改。



# jieba-py Project Description

Much of the work I have done over the years has involved Chinese word segmentation. Jieba is a module that must be installed for almost every project and has always worked very stably. However, since its codebase has not been maintained for a long time, it has been a hidden concern. I have made simple code modifications to remove some warnings. Two years ago, I thought about modifying and updating its source code, but I couldn’t actually do it because I didn’t know enough about natural language processing.

这次借助于AI工具，得以快速地对项目的各个模块进行了了解，发现项目还是比较简单的。
所以我 `fork` 了此模块， 实际动手做了一些修改。
合并了原来的一点工作，这中间也大量使用了AI工具。
整体工作量不算大，完成后使用了没有大的问题。目前最新版本已经发布于 pypi 。

This version’s continued maintenance in pure Python still has some significance.Jieba segmentation has actually been re-implemented in many languages. There are many projects among them that can be used directly in Python.

- It is only guaranteed to run in environments with Python 3.10 or above. Python 2 compatibility is no longer considered, and some code has been simplified.
- The code has been formatted for easier reading. No major changes will be made for the time being.
- Updated technical means have been used in the program structure to ensure the stable development of the project.
- Unit tests are being gradually modified. This part does not affect the core logic, and the impact of these modifications is minor.
- The packaging method has been modified to use the `pyproject.toml` configuration file, abandoning the original `setup.py` configuration file.
- When published to `pypi`, it uses the name `jieba-py`. Currently, the usage is exactly the same as the original `jieba`. You only need to install `jieba-py` to replace `jieba`. To maintain compatibility, the `jieba` module name is used, which will conflict with the old version during installation. If the `jieba` module is installed, be sure to uninstall it first: `python3 -m pip uninstall jieba`.
- Support for `paddle` mode has been removed. On one hand, `paddle` mode is no longer maintained. On the other hand, `paddle` mode cannot run in Python versions 3.10 and above.

#### NOTE
目前 `jieba-py` 模块已经发布到 `pypi` 上，请使用 `pip` 安装。
使用其他Python包管理安装方法请按各自使用方法进行调整。
最新版本为： 0.46.12

`python3 -m pip install jieba-py`

#### WARNING
项目的 `ReadMe.md` 文件自动生成、维护，请勿直接修改。
