Open-Tamil user commands

Lot of times we have felt the problem with open-tamil : it has many utilities, but none of them are usually available as functions or commands out of the box. It has very much been a developer tool, and not a user or informed-layperson tool.

A quick fix is to add the example Python scripts to the default install paths along with open-tamil installation [which is still simple as ‘$ pip install –upgrade open-tamil‘].

1. tamilphonetic - convert EN input to Tamil text
2. tamilwordfilter - filter Tamil input only from all input text data
3. tamilurlfilter - filter Tamil text from the input website data
4. tamiltscii2utf8 - convert encoding from TSCII to UTF-8 for input file
5. tamilwordgrid - generate a crossword from Tamil input text and write to output.html file
6. tamilwordcount - like UNIX wc program but for Tamil

All these functions will be made available in version 0.7 of open-tamil to be released soon. Currently these functions have landed in the development branch through the commit 02810461bef216df56b10ebf09818b94dfc75574

The next step should be to really bundle these tools into a binary executable for various platforms. Also to note, the function tamilwordcount was contributed by a new member to the Open-Tamil group, Mr. Surendhar. Thanks much, and welcome!


Chennai, India

நிரல் அலசிஆராய்தல் – art of debugging

Debugging – அதாவது கணினியில் பிழைகளை கண்டு திருத்தம் செய்வது எப்படி ? பைத்தான் மொழியில் இது சற்று சகஜமானது : முழு விவரம் இங்கு.

What is Debugging ?

Computer programs don’t always work like how we want them to. So at times we need to stop the program in the middle of execution and inspect them. By doing that – looking at the variables, functions, statements/source code in the debugger – we can understand the problem better than before and by stepping through the source code we can understand the source of the error to arrive at a solution.

This may sound somewhat complex, but in practice its quite repetitive and you will get the hang of it. Its the equivalent of a software detective work, and it is surprisingly fun, and you keep getting better at it with more practice.

How to Debug Python Code ?

To debug python we use the python module ‘pdb‘ [read documents இங்கு]; pdb is named evocatively like the more famous, powerful gdb – GNU source debugger. The simple usage is to call your program throwing the error from the command line as follows,

$ python -m pdb

Once you see the (Pdb) prompt you can do the following:

  1. Setup a breakpoint at a particular function, class or module
  2. Resume the program running and
  3. Wait for the program to enter the breakpoint code or hit an exception
  4. At this time Pdb will enter the breakpoint and give you options to inspect variable, function, the call stack, and step up or down the frames
  5. For exceptions caught by gdb, we can go through the same scope variables and source-stepping inspections only via the post-mortem execution

Finally, you can figure out the cause of the problem and fix it!

Bon Voyage. You are starting on a powerful journey to write cool software and fix buggy ones!

Goodluck, and Godspeed.

open-tamil on web

Today, you are welcome to play with open-tamil API via web at


Generating multiplication tables via Open-Tamil APIs’:

This is collective work of our team underlying the website (written in Django+Python) highlighting various aspects of open-tamil like transliteration, numeral generation, encoding converters, spell checker among other things. At this time I hope to keep the website running through most of this year, and add features as git-repo gets updated.

Thanks to Mr. Syed Abuthahir, many months ago, in winter of 2017, he has developed an interface for open-tamil on the web and shared with us under GNU Affero GPL terms. Later, we is added as part of main open-tamil as well.

Open-Tamil moves forward; come join us!


Tamil Internet Conference 2018 – Coimbatore, India

Tamil internet Conference 2018 to take place at TNAU, Coimbatore, India later this year. Please see call for papers (March 30th deadline) to share your new and upcoming works in Tamil, linguistics and applied computer technology.

Please see the email from Prof. Kalyanasundaram, chair of Tamil Internet Conference – 2018.

Email from Prof. Kalyan announcing call for papers for Tamil Internet Conference 2018, at TNAU Coimbatore, India.

போய் வாருங்கள் கோபி

கணினித் தமிழ்

நேற்று தகடூர் கோபி (higopi) காலமானார்.

42 வயதே ஆனவர். மாரடைப்பு வரும் வயதே அல்ல.

நான் கணினி கற்க முயன்ற காலத்தில், தமிழையும் ஒருங்குறி எழுத்துருக்களையும் கணினிக்கு அறிமுகம் செய்தவர்களில் இவரும் ஒருவர். பல்வேறு குறிமுறைகள் இருந்த காலத்தில், அவற்றுக்கு ஒருங்குறி மாற்றியைத் தந்தவர்.

பெரும் கணினிப் பேராசிரியர்களும் நிறுவனங்களும் மட்டுமே தமிழ்க்கணிமைக்குப் பங்களித்த போது,
கணினி நிரலாக்கம் கற்ற எவரும் தமிழ்க்கணிமைக்குப் பங்களிக்கலாம் என்ற ஆர்வத்தை உருவாக்கியவர்.

பட்டாம்பூச்சி விளைவின் படி, எனக்கு தமிழ்க்கணிமையில் ஆர்வம் வரவும், சிறு முயற்சிகளான கணியம்,, விக்கி பங்களிப்புகள் போன்றவற்றுக்கு ஆதாரமானவர்களில் இவரும், இவரது முயற்சிகளும் முக்கியமானவை.

என் தம்பி அருளாளன் உருவாக்கிய ஒருங்குறி மாற்றி, இவரது மாற்றியையும் அடிப்படையாகக் கொண்டது.

இது போல, இவரிடம் ஏகலைவனாகக் கற்றவர் பலரும் இருப்பர்.

எனது நண்பர்கள் இரவிசங்கர், செல்வமுரளி, உதயன், ஆமாச்சு எனப் பலருக்கும் நெருங்கிய நட்பில் இருந்தவர். நான் மிகவும் தாமதமாக தமிழார்வம் கொண்டதால், பழகத் தவறவிட்டவர்களில் இவரும் ஒருவர்.

மாரடைப்பும் சர்க்கரை வியாதியும் இளவயதினருக்கும் வருவது இயல்பாகி விட்டது.

எல்லா இலையும் ஒருநாள் உதிர்ந்தே தீரும். ஆனால் இலை பழுத்து உதிர்வதே இயற்கை.

முதிரும் முன் உதிரும் இலைகள், நமக்கு போதிப்பது என்ன?

  • உடல் நலம் பேணுக.
  • குடும்பத்தினருக்கு போதிய நேரம் தருக.
  • வேலை மட்டுமல்ல வாழ்க்கை.
  • போதிய உறக்கமும், நல்ல உணவும், உடற்பயிற்சியும், உடல் நலமும் பெற ஆவன…

View original post 66 more words

“What is this Indian language ?”

ezhil-release-screenshotதமிழில் மென்பொருள் பற்றிய விமரிசனங்கள்

சென்ற மூன்று மாதங்களாக எனது முழுநேர அலுவலக வேலையில், தமிழில் [தமிழ் இடைமுகத்தில் மட்டும்] Microsoft Outlook, Office செயலிகளை தினமும் வேலை நெருக்கடியில் பயன்படுத்தி ஒரு தமிழில் செயல்படும் ஒரு முழுநேர அனுபவத்தை நேர்கிறேன். இதே வேளையில் வீட்டில் திற மூல மென்பொருள் பங்களிப்பிற்கும், திட்டமிடுதல், கட்டுரை, குறிப்புகள் ஆகியவற்றிக்கும் Open Office பயன்படுத்தி வருகிறேன். இதற்க்கு சிறிதளவாவது காரணம் அழகாக தமிழில் பேசி படைத்த செல்லினம் செயலியை வெளியிட்ட, முரசு அஞ்சல், முத்து நெடுமாறனின் “கருவாக்கல், உருவாக்கல், விரிவாக்கல்” என்ற தமிழ் இணைய மாநாடு 2017-இன் போது கேட்ட பேச்சு – அவர் “நாம் தமிழில் இடைமுகங்களை செயல்படுத்தினால் நம்மளுடைய மொழி பற்றி மாதவர் கேட்பார்கள், நமது மொழிக்கும் விளம்பரம் கிடைக்குமே!” என்பது போல் பேசினார்.

இதே  போலே எனது சீன வேலை-நண்பர்  [இது முற்றிலும் ஒரு வேடிக்கையான “தெரிந்தவர் -ஆனால் நண்பர் அல்ல” என்பதற்கு அமெரிக்கர்கள் கூறும் நாசூக்கான சொல் என அறிவேன்] “என்ன இந்தியன் மொழி இது?” என்றும் கேட்க – [பாவம் அவருக்கு ஆரியம்-திராவிடம் போன்ற மொழிகள், 1500 கூடுதலான மொழிகள் பற்றியெல்லாம் பேசி பாடம் நடத்தாமல்] தமிழ் என்று சொல்லி “இந்தியாவில் இல்லை, சிங்கப்பூரில் சீன மொழிக்கு நிராக இருக்கு” என்றும் சொல்லி, அவரது பெயரை தமிழில் எழுதி அனுப்பினேன். தமிழ் இடைமுகம் பயன்படுத்தினால் அதற்கும் ஒரு மதிப்பு, தனித்துவம்!

இந்த பதிவில் எனது Microsoft Office, Open-Office பற்றிய அனுபவங்கள் குறித்து எழுதுகிறேன்.

அழகிய மென்பொருள், beautifully crafted software, ஒரு திரைப்பட காதல் கட்சியில் எப்படி காதலன்-காதலி சேர்கின்ற நொடியில்  (படம் பார்ப்பவரின் பார்வையில் இயக்குநர் மறைந்து இருப்பதுபோல்), வேலைக்கும் வேலைசெய்யும்ப-யனர் இடையே ஊடுறுவாமல் பின்புலத்தில் இருக்கவேண்டும். இதனை சரியே செய்யும் இடைமுகம் நல்ல மென்பொருள்; இத்தகைய தமிழாக்கம் கொண்ட இடைமுகம் இவ்வாறே ஊடுறுவாமல் இருக்கவேண்டும்.

உண்மையில் Microsoft நிறுவனத்தின் தமிழாக்கம், (l10n – [localization-இக்கு இட்ட சுருக்கம்]), மிக எளிமையாக உள்ளது. இதனை கையாண்ட குழு நல்ல வேலை செய்தார்கள். சில default-கள் அபத்தமாக இருந்தாலும் பெரும்பாலும் ஓரளவு தமிழ், தமிழ் கணிமை கலைச்சொற்கள், எதார்த்தமாக தமிழில் புழங்கும் ஒரு சாமானியன்/யர், இதில் எளிதாக இயங்கும் வகையில் அமைந்தது!

முதலில் Open Office இடைமுகத்தை தமிழில் தந்த ழ-கணினி-குழுவிற்கு நன்றி. Open Office இடைமுகம், உண்மையில் ழ-கணினி திட்டத்தில் வழி தன்னார்வலர்களால் வெளியிடப்பட்ட மொழியாக்கம் – மிக பாராட்டத்தக்கது ஆயினும், Microsoft நிறுவனத்தின் மென்பொருளுக்கு இணையாக இல்லை. நிறைய பிழைகள் – “text fields” என்பதை வயல்கள் என்றும் ஓரிடத்தில் தவறாக மொழி பெயர்க்கப்பட்டது. இவ்வாறு சில வேறுபாடுகளும், தரம் சார்ந்த வகையில் முன்னேற்றங்கள் தேவைப்படுகின்றன. நான் ஒன்றை மட்டுமே இங்கு குறிப்பிட்டாலும், நீண்ட நாள் திற மூல பயனாளர் என்பதனாலும் இதில் கருத்து வேறுபாடுகள் கிடையாது.

இதே நேரத்தில் மற்றோரு மென்பொருளையும் இவற்றோடு ஒப்பிடவேண்டும்; தமிழில் சிறந்து விளங்கும் “மென்தமிழ்” ஆவண திருத்தி (Word processor) முழுமையும் தமிழ் மொழியியல் கொண்டு, சிறப்பாக பேரா. திரு. தெய்வசுந்தரம்நயினார், அவர்களது தலைமையில் வெளியிடப்பட்டு வருகிறது. இதற்கும் அவரது பல தமிழ் கணினி மொழியியல் பங்களிப்பிற்கும் அவருக்கு 2015-ஆம் ஆண்டு தமிழக அரசு கணினி விருது அளித்து சிறப்பிக்க பட்டார். இந்த மென்தமிழ் திருத்தியை சில நேரம் மட்டுமே பயன்படுத்தியதால் நான் இதற்கு தற்போது ஒப்பீடுகள் கொடுக்க முடியவில்லை.


தமிழில் இடைமுகங்களை கிடைக்கும் இடங்களில் பயன்படுத்துங்கள்; இவற்றை பற்றி வெகுஜன இதழ்களிலும், வலை பதிவுகளிலும் இடுங்கள்; நண்பர்களுக்கும், குடும்பங்களுக்கும் சொல்லுங்கள். தமிழ் மொழியில் கணினியியல், கணினி இடைமுகவியல் (interface design) போன்ற துறைகளின் வளர்ச்சி விமர்சன பார்வைகள், பின்னூட்டங்கள், இல்லாவிடில் தேய்ந்து போய்விடும்; மறக்கப்படும். காற்றோடு தூசியாகிவிடும். இது மென்பொருள் வடிவமைப்பாளருக்கு நீங்கள் அளிக்கும் பரிசு.

நன்றி, முத்து (01/27/18: சான் ஓசே, கலிஃபோர்னியா)

அடிக்குறிப்பு : சில சொற்பிழைகளை திருத்தியுள்ளேன்

GPUs powering the AI revolution

Ganapathy Raman Kasi*, Muthiah Annamalai+

[This article originally appeared in the 2017 Tamil Internet conference, UT-SC, Toronto, Canada, magazine ]


The current hot trend in AI revolution is “deep learning” – which is a fancy way of talking about multi-layered convolutional neural networks; this field of study has heralded a new age in computing extending human capabilities by automation and intelligent machines [1].

These neural networks aren’t the same as neuron networks in your brain! We are talking about artificial neural networks which reside in computers and tries to mimic the biological neural network with its synapses (connections) of axons, dendrons and their activation potentials. These thinking machines have their beginnings in post WW-II research at MIT, in the work of Seymour Papert who introduced “Perceptrons,” and Norbert Weiner’s “Cybernetics”.

But do we know why there is sudden interest in these biologically inspired computer models ? It is due to GPUs which has accelerated all the complex computations associated with neural networks for it be practical in such a large scale. They allow these networks to operate on gigabytes (or even terabytes) of data and have significantly reduced the computation time from months to days, or days to hours, or hours to minutes usually by an order of magnitude – not possible in an earlier generation of computing. Before we jump into the details let us understand why we need deep learning and convolutional neural networks in the first place.

Scientific Innovations

Science and engineering have traditionally advanced by our ability to understand phenomena in natural world and describe them mathematically, since the times of Leonardo Da Vinci, Nicolas Copernicus, Galileo Galilei, Tycho Brahe, Johannes Kepler and Isaac Newton. However gaining models through experimentation and scientific breakthroughs piece-meal for each problem at hand is a slow process. Outside of Physics and Mathematics the scientific method is largely driven by an empirical approach.

It is in such pursuits of building models of unknown processes where observational data far exceed our human intelligence to divine an analytical model, the advent of deep learning and GPU based multi-layered neural networks provide an ad-hoc computable model. System identification for particular classification tasks, image recognition, and speech recognition to the modern miracle of a self-driving cars are all enabled by deep learning technology. All this came about due to the seminal work of many innovators culminating in the discovery of efficient convolutional neural networks by Prof. Geoff Hinton, who trained them by hardware acceleration via GPUs.

An original pioneer in the field of AI, before the AI winter, Prof. Geoff Hinton and co-workers [2] recently showed deep learning models that beat status-quo benchmarks on classification and prediction tasks on the following speech, text or image datasets: Reuters, TIMIT, MNIST, CIFAR and ImageNet, setting off the renewed interest in the field of AI from academia and industry giants – Google, Microsoft, Baidu and Facebook alike [3].

What is a GPU ?

GPU stands for Graphics Processing Unit [4]. These were originally designed for graphics rendering used in video games in 1990s. They have a large number of parallel cores which are very efficient for doing simple mathematical computations like matrix multiplications. These computations are the fundamental basis for machine learning methods such as deep learning. While the improvement in CPUs over years has slowed down over the years as Moore’s law has hit a bottleneck, the GPUs increase in performance has continued unabated showing tremendous improvements over the generations.

Figure. 1 (left): Deep Learning training task times as function of various GPU processors from NVidia. Figure. 2(right): AlexNet training throughput for 20 iterations on various CPU/GPU processing platforms.

Such GPUs were originally invented for shading algorithms algorithms, are now applied in training large machine learning models using a Open CL or CUDA like frameworks (variants of C-language with description for parallel execution via threading) from the vendors.

The pioneering hardware vendors include Nvidia with their GPU series like GeForce, Tesla; AMD with its Radeon, GP GPU, Google has entered this race with its TPU (Tensor Processing Unit) and some offerings from Intel for ML training applications. Nvidia and AMD are the main players in the GPU space with Nvidia laying special emphasis on parallel computing and deep learning over the years. Nvidia just announced the new Volta generation chip based GPU V100 which is about 2.5 x faster than the previous generation chip Pascal GP100 which was announced less than 2 years ago [5].Compared to CPU, however GPUs are more than 50x faster for Deep learning. Performance of GPUs as function of various GPU families in shown in Figure. 1, and for another AlexNet data set is shown in Figure. 2.

Hardware Innovation

If the Harvard architecture and RISC architecture based CPUs have been workhorses of personal computer revolution, then the advent of high framerate video-gaming pushed the CPU based graphics rendering from CPU + Video card based rendering to CPU + GPU, to CPU + GPU + GP-GPU (general purpose GPU); some of this overview is shown in Figure. 3a, 3b.

Figure. 3(a,b): Evolution of GPU performance from video graphics cards and rendering from CPU; courtesy PC Magazine [4]; Figure. 3(c): NVIDIA Tesla GPU applications in scientific research.


GPU’s are suitable for large numerical algorithms where various data have to be moved through a computational pipeline often in parallel; this SIMD problem, like genome sequencing shown in Figure. 3c, when solved by GPU gain the maximum speedup/acceleration. However, there is a fundamental limitations of GPU acceleration due to the Amdahl’s law which saturates the parallelization upto the available serial bottlenecks for a given computational task.

Software Frameworks

To build a deep learning application one may use their labeled datasets to build a learning model on any of the various frameworks [6] (both open-source or closed) provided from competing vendors in the industry as follows:

  1. TensorFlow, developed by google, python API over C++ engine, low level api, good for researchers, not commercially supported; notably Google is in process of developing a TPU – an advanced version of GPU for direct use with TensorFlow.

  2. Caffe 2, developed by UC Berkeley used at Facebook among other places, focussed on computer vision, one of the earlier frameworks to gain significant adoption, Python API over C++ and CUDA code

  3. Scikit Learn (Python based) general inference and machine-learning framework

  4. Theano written in python, grand-daddy of deep learning frameworks

  5. CNTK developed by Microsoft


Tamil applications for deep learning including providing or improving existing solutions to the problems of,

  1. Tamil Speech Recognition
  2. Tamil Character Recognition [7,8]
  3. Natural Language Processing for Tamil

Hardware acceleration and availability of big-data (labeled datasets) will play key role in the success of applying deep learning techniques to these problems.


  1. Jensen Huang, “Accelerating AI with GPUs: A New Computing Model,” link

  2. G. E. Hinton et-al. “Imagenet classification with deep convolutional neural networks,” Advances in Neural Information Processing Systems (2012).

  3. LeCun, Y., Bengio, Y. and Hinton, G. E., “Deep Learning” Nature, Vol. 521, pp 436-444. (2015), link.

  4. GPU definition at PC Magazine Encyclopedia, PC Magazine, (2017) link.

  5. Tesla GPU Application notes from NVidia, (2017) link.

  6. Comparing deep learning frameworks”, (2017), link.

  7. Prashanth Vijayaraghavan, Mishra Sra, “Handwritten Tamil Recognition using a Convolutional Neural Network,” NEML Poster (2015) link.

  8. R. Jagadeesh Kannan, S. Subramanian, “An Adaptive Approach of Tamil Character Recognition Using Deep Learning with Big Data-A Survey”, Proceedings of 49th Annual Convention of Computer Society of India (vol. 1) pp 557-567 (2015), link.